Merge "Fix packaging tox-verify to run only master"

Merge "Install Openstack Clients Before Test"

Install Openstack Clients Before Test

This will install Openstack Clients
required for testing before invoking
pybot in the robot VM. The patch is using
the upper-contrainststxt from requirements
project in openstack to ensure the
compatiable version of clients.

Change-Id: I7041a463f80ebdf47a3a7f33bd3c219adbca5a2e
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Merge "Increase ocata packer timeout from 60m to 75m"

Merge "Remove COE openstack based CSIT"

Disable duplicate-finder plugin for validate

odlparent introduced a duplicate-finder plugin which breaks our
validate job as the finder plugin appears to want to be able to
discover dependencies in the local m2 repo. Disable it as we do
not need it in this job.

Change-Id: I9db3fea19edbd6a3e09d8ccdb290e9dc81e19b54
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch to using new odl-maven-jobs group

Introduced in Ia2d57da839fe2502c05f506c194a9ea4e06a0d08 the new
group allows us to globally configure an ODL specific maven post
build job configuration needed for testing.

Change-Id: Id27b04ff93042d703ef1dbf15a8d562ec19bb52a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Create odl-maven-jobs group

Create an odl-maven-jobs group that can set the maven-merge
job's post_build_task globally for all ODL projects.

Also for future maintenance it will be easier to modify global
configuration in this file.

Change-Id: Ia2d57da839fe2502c05f506c194a9ea4e06a0d08
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pull global-jjb quickfix for 60 minute timeout

Increases maven jobs to have a build timeout of 60 by default.
Infra overall seems slower and we keep having to bump this so
lets do it in global-jjb.

Change-Id: I341688ecbf5e81eed62034bcd781aad58cce4f7c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix feature-test repo"

Fix feature-test repo

- Add karaf4 condition in cluster CSIT
- Add karaf4 condition in distro CSIT

Change-Id: I1f4c873fe2aea94f658a29692f4e5f1d7e478772
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update cloud flavors list

Update the flavors list to include the new v2-standard-* and
v2-highcpu-* flavors Vexxhost provides to us.

Change-Id: I99f95d4b1b05e84a81c7799013ae2bfdc73c60bb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix packaging tox-verify to run only master

Lock in the tox-verify job to a single stream/branch master.

Change-Id: I5da93b4127e11d36e1558987a949c0a5f548d63a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove COE openstack based CSIT

OpenStack has gone out of scope for COE and this
csit has not been useful for some time.

Change-Id: Iba2ae454c3645d78539ef74c6a5b1d8a165a4628
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add common-functions.sh bash lib

tired of looking at duplicated code and having to remember to
search for all instances of it. This can be the start of some
cleanup, if others agree it's a good idea.

first round:
  - move the Java vars setup code to a common function.
  - move some common vars to common location as well
  - added "export" to some vars to get around local tox
    shellcheck error

Change-Id: If03949e16aae3561ac8636bc4de0b1a17dad01ae
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Fix multipatch job for upstream bump verification"

Fix multipatch job for upstream bump verification

- Main change is to do ordered per-project build rather than
a single build with a crafted root pom file.

Change-Id: Ifac781e379c192aa32601c57fd833936b0b82c05
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Pin novaclient to v9.0.0"

Increase coretutorials build timeout

coretutorials contain a large number of projects, with a lot
of features/karaf distributions and it cannot complete a build
in the default 60 minut internal. Increase the timeout to 120
minutes pending better data.

Change-Id: Ibea29b30901523b42faca1ce427be3ef9b42bf11
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Pin novaclient to v9.0.0

this overcomes the following error, which happens with the newly
released v10.0.0

launchpad bug here for novaclient to track it:
https://bugs.launchpad.net/python-novaclient/+bug/1743964

Change-Id: I78428e30600656b6175ee985e45ad21da28805c6
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Update global-jjb to latest master"

Use 2c-2g VMs for jjb jobs

1g of ram is not enough for OpenDaylight's jjb repo. Bump
this to the next step.

Change-Id: I65779aa77ef60ab27708b037a4ea894cfb83b8d2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update global-jjb to latest master

Pulls in a quick fix to set the default python back to py2
for tox-verify jobs.

Change-Id: I6d1a5c8dec30166ac5d6045543174c380054cd61
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix feature repo add for new distribution"

Merge "Switch releng ci jobs to 2c-1g vms"

Switch releng ci jobs to 2c-1g vms

These jobs do NOT need 8g to run and we should try to use the
smallest unit of VMs we can to save resources. Let's bump them
down to v1-standard-1 machines.

Change-Id: Idb48023b94358ee598816d6c181f2ceca568a547
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix feature repo add for new distribution

New distribution does not list any repo name but UUID
therefore we need to add repo instead of substute existing.

Change-Id: I764506c3fcbebe38985566e1beaffe9a8d1f995d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Un-pin openstackclient to a specific version

trying to fix the suddenly broken openstackclient that
is returning with most commands a python attr error

Change-Id: I1ab90b2ab7557d648ec5f8ee25909f916f16005e
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix new karaf version deploy failure

It fails because missing log folder

Change-Id: Ie30961a1bb114737e9822214c0a245228a6f773c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Switch all projects to use new maven-merge job"

Merge "add ovsdb-tool logs and cleanup"

Merge "Add tests for uninstalling ODL RPM"

Merge "Arrange compute nodes in hostname order"

Arrange compute nodes in hostname order

The below is how a current job looks. Notice the CMP2_HOSTNAME with -0
maps to COMPUTE_2_IP and smae for the other vm. So we swap the
two HOSTNAME's and then they align with what is passed to pybot.
Without this, mentally when looking at debugs, you have to remember
to swap the two.

OS_CMP1_HOSTNAME: releng-17212-771-2-devstack-ocata-1.vexxhost.net -
OS_CMP1_IP: 10.30.170.121 - OS_COMPUTE_1_IP: 10.30.170.121
OS_CMP2_HOSTNAME: releng-17212-771-2-devstack-ocata-0.vexxhost.net -
OS_CMP2_IP: 10.30.170.13 - OS_COMPUTE_2_IP: 10.30.170.13

Change-Id: Ifab24ca30c24523f35591517338af7e9946d072e
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Update URLs in RPM tests"

Add tests for uninstalling ODL RPM

Fixes: INTPAK-128
Change-Id: I3343325e97b3ee1899b530ab88add796973dc6df
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

add ovsdb-tool logs and cleanup

Change-Id: I334d15892a55c69e960180c29427b24e9ece2cca
Signed-off-by: Sam Hague <shague@redhat.com>

Update URLs in RPM tests

Some have expired, use new ones.

Change-Id: I04ec0c09cdc486d8f2a95ac97f42b566a0ff77c7
Fixes: INTPAK-126
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Switch all projects to use new maven-merge job

Pull in Maven patch deploy the maven-merge jobs to all projects.
Also pulls in patch to add '-e' to Maven calls to print full stack
trace.

Change-Id: I96750a05f845485ddb7807e18a54e907b00ee9fe
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Switch bgpcep to using new gjjb maven-merge jobs"

Switch bgpcep to using new gjjb maven-merge jobs

Works around issue with javadoc and JAVA_HOME which Jenkins
Maven project types do not appear to configure.

Change-Id: Id441d6761bb5c3226f67bba40c1b6ebcf05f20b0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch dlux to using new gjjb maven-merge jobs

Works around issue with javadoc and JAVA_HOME which Jenkins
Maven project types do not appear to configure.

Change-Id: Icb049d02d1da936ca559c4fe2f45d68324d03ee0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add job to copy logs from a sandbox path to prod

As requested by the netvirt project to provide capabilities for
storing logs for a longer amount of time in cases where they need
to perform complex troubleshooting. This patch adds a job which
when given a log path will pull the logs from path on sandbox
and copy them to the releng system.

Change-Id: I96c8b8eb8d54c266ccab1c9bf19450b11d5bea69
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable error stack traces in dlux jobs

We are facing a NPE which is preventing merge job from succeeding,
which we cannot replicate in local builds. Enable stack trace
reporting to give us a clue about what is going on.

Change-Id: I7e7d932829c565edf46a118978d8ea032bd3f7e2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Merge "Addition of Suite Variable"

Update to JJB 2.0

Change-Id: I8345d43d769c981c9eaff9755ddc7393a56db695
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Addition of Suite Variable

Adding SUITE variable from netvirt scripts into others.

Change-Id: I985ef095592b579c5b6cc4c25bd10347acf14cab
Signed-off-by: Tomas Markovic <tomas.markovic@pantheon.tech>

Add trigger for genius cluster test

Change-Id: I463207cb6e2da1164ceb7c82d89c2b5ea996bce0
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Add support for build-node var to ar-release job

This job type had the build-node hardcoded to a specific machine
so did not allow variable overriding. Let's fix that.

Change-Id: I6f722082728db8c39c6abb84b18e45b48d77fed5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use v1-standard-16 to build autorelease

Autorelease needs 16G of RAM and 100 GB of disk in order to build
so bump it to a standard vm flavor so that we can pick the
appropriate disk size. We are not able to choose volume size with
the Jenkins OpenStack cloud plugin and the performance flavor types.

Change-Id: Ic7fb1e21ca7fe68b847d92c8bfb553db410f6634
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add notify script start marker in the console logs

Helps while searching through the console logs.

Change-Id: I4d3a9aa001928c6d038089c10b39318b6f9a96dd
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Reapply Switch mdsal to using new maven-merge job

This reverts commit cfe8194b57be9fb0d3827b1be0e3f08ca433fd8d --
the fault was not with the job, but with the patch being merged.

Change-Id: Ie8e52d0a6b3505bca635bd7997fbaf388e278ab4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Revert "Switch mdsal to using new maven-merge job"

This reverts commit 23f64b47684853e481bda28ae0f529144596c5b3.

The job does not correctly deploy all artifacts, leaving
yang-binding out for some reason.

Change-Id: I258f1c6b084da8b9ffbf75398e3e45f4af725d2d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update cloud image list docs

Change-Id: I0c1be0fc76548bfbffe26b5494b19816008632df
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Update to global-jjb v0.14.1

Pulls in fix for verify-deps jobs in new CI, as well as updates to
the packer ci jobs to handle common-packer, and a fix for the
packer-install macro trying to cd into a directory that does not
exist.

Change-Id: Ib10be017dc41482109ace2bde8f0a0472942cf28
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow 90 minutes build timeout for quagga

Quagga appears to add pretty significant build time on our builds
so let allow some extra build time for this.

Change-Id: I5e107eab85e6ee5255fd6a20fb7838cbb5c4480a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix for Pike Jobs Failure

Problems:
a. qemu-img not installed in Control Node
b. Images forcefully converted as raw in compute node
Fixes
a. Installed qemu-img in the nodes, before stacking
b. set force_raw_images as False in nova.conf, this
will ensurethe images arenot forcefully converted.

Change-Id: I0305447504c676997fadd867954e43bd35f8c0ad
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Pull in libcurl-dev fix for Ubuntu systems

Change-Id: I7bfcd932f26f387fd44c9a86df00295444de80fd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pull in lf-ansible netcat patch

Change-Id: I81ac21511c9f4e7f2d37197f136dcb9ec2205f38
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add maven-verify-dependencies job for int/dist

Change-Id: I2dc2228a26acb926c6e33bafa1f43855efc8fc80
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add ability to karaf console install features"

Add ability to karaf console install features

Change-Id: I30b64f6110439aa9dc80c1a22dff2b060f348082
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add mininet-ovs-2.8 packer job

Change-Id: Ia70fb4a5058875ea45bc882d4b8956084eefba8e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Archive some extra file for lispflowmapping"

Merge "Update user variables to match common-packer"

Merge changes from topic 'ansible'

* changes:
  Use bash to run quagga build script
  Add mininet-ovs-2.8 image

Archive some extra file for lispflowmapping

Change-Id: Id44243a5fddcd9733b3fa3344527529f353e8fca
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Update user variables to match common-packer

common-packer changes some of the variable names in order to
standardize with all the other clouds managed by LF. Let us update
the variables to match.

Change-Id: I7d3783fa728a51c86176a0325d0b69a1e0d9bea5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unused baseline template

We do not actually use the baseline template in ODL. We only use
the baseline.sh script provisioner to provision all the images so
let us remove this unnecessary file.

Change-Id: Ice2a263e17c1651ec469fbe2063f3fc297d67d9a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use bash to run quagga build script

Change-Id: Ib47b9992e96f4b3791c67ba64f3b98d3686fcfa2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add mininet-ovs-2.8 image

Change-Id: Ida6424204a3d0c399ac4834176d06314f1ff23ce
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Remove unused mininet image

Change-Id: I5e3f0d7173841cd75729313f39d9055142af7eec
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Resolve ShellCheck v0.4.7 linting in integration

Change-Id: I1f7fbd407634367342587ede2fdeecd3699d3af3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use > system prompt as that's robots expectation

Change-Id: I479bdb17c1eab5cbda1f1c41aa773cc5bf77e366
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

ODL is found by string builder, not java

the below patch removed the string "java" from our image
names, so we can't figure out the odl system with it.
https://git.opendaylight.org/gerrit/c/66978/

Change-Id: I08a84326c3f08fae5b6dfc2873a133cb8dd4c633
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Increase ocata packer timeout from 60m to 75m

Change-Id: I0e6f419baa7ee6503102d54f5d65e31b58973ddc
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Switch controller to using new maven-merge jobs"

Merge "Switch aaa to new maven-merge jobs"

Merge changes Ib6c87492,I5a1453d2

* changes:
  Switch to new common-packer docker image
  Switch mdsal to using new maven-merge job

Merge "Switch lf-ansible build-node to docker"

Switch to new common-packer docker image

Change-Id: Ib6c8749211ba9b52173bfd44f98c52e62b0be8c6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch mdsal to using new maven-merge job

Change-Id: I5a1453d25920fc5a2f5e38927c945b65cac98ebf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch controller to using new maven-merge jobs

Change-Id: Id0b679add1aa12db2e75242b3d4b2b38774110c1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch aaa to new maven-merge jobs

Change-Id: I4809d61be15ab2e3a96510aae4bb9946c66400ca
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch lf-ansible build-node to docker

lf-ansible needs to use docker to run it's molecule tests.

Change-Id: I8486b3216bcbae7a6f5dee4fc58ecb90ac74768c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Convert robot packer to ansible provisioner

Change-Id: Icec7459c969446f19e4506f7501b5adf38188d4b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make netvirt use java-builder-4c-16g"

Merge "Fix Flavors table syntax"

Merge changes I6a150d66,I86f53018,I2c4db835,Ib0870a3c

* changes:
  Remove java-builder packer scripts
  v1-standard-4 to get larger disk for autorelease
  Remove autorelease template
  Switch from java-builder to new builder systems

Remove java-builder packer scripts

Migrated to the new "builder" scripts so java-builder is now
unnecessary.

Change-Id: I6a150d6697155001e42802153015897a01d358a4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make netvirt use java-builder-4c-16g

Change-Id: I0de9f6bbf910245440b2a7511789485b9e2f66dd
Signed-off-by: Sam Hague <shague@redhat.com>

v1-standard-4 to get larger disk for autorelease

Create builder images on v1-standard-4 to get larger disk
for autorelease jobs.

Change-Id: I86f53018cd4ec71adb296a2f618ab4a8d6719d37
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove autorelease template

Originally thought we might need this in Vexxhost due to the
volume requirements with performance nodes however we figured
out a way around it so this can be removed.

Change-Id: I2c4db835e14d2e648d9fc5108d1489f8df9a06c2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch from java-builder to new builder systems

Change-Id: Ib0870a3c9edbb68e0fb255dfcb1ce22f37d8ef1c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add features for bgpclustering ha

Features for Bmp ha tests for Oxygen.
Features for Pcep ha tests for Oxygen.

Change-Id: Ic90326a309fb4c3dd3d995cff3ff134c49456373
Signed-off-by: Tomas Markovic <tomas.markovic@pantheon.tech>

Add ODL custom builder

This will replace java-builder as the default generic builder.

Change-Id: I490f6eff6fce1521061150e1d8bd9131cbf288e5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix Flavors table syntax

Change-Id: Id9d8d2c5d4fab8019ae1e17cf97d4bc4affd0023
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch Docker template to common-packer

Switch to the common-packer Docker template. Split out the merge
job templates so that we do not need to maintain that epic
exclusion list.

Change-Id: Ia2f62e3c8f602d7f3232277864386ae9d53f9889
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Resolve ShellCheck 0.4.7 issues

Disable ShellCheck in integration as there are too many issues for
now that need to be resolved to work in SC 0.4.7. Also disable
shellcheck in global-jjb since this is an external project.

Change-Id: Ie449aeb708f0532626858168e2bfb606ce19066e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch releng jobs to using new builders

Switch the releng jobs to using the new common-packer builders.

Change-Id: Idaca2803ef000f6d251528c46b1b34e3975b95b7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>