Arrange compute nodes in hostname order

The below is how a current job looks. Notice the CMP2_HOSTNAME with -0
maps to COMPUTE_2_IP and smae for the other vm. So we swap the
two HOSTNAME's and then they align with what is passed to pybot.
Without this, mentally when looking at debugs, you have to remember
to swap the two.

OS_CMP1_HOSTNAME: releng-17212-771-2-devstack-ocata-1.vexxhost.net -
OS_CMP1_IP: 10.30.170.121 - OS_COMPUTE_1_IP: 10.30.170.121
OS_CMP2_HOSTNAME: releng-17212-771-2-devstack-ocata-0.vexxhost.net -
OS_CMP2_IP: 10.30.170.13 - OS_COMPUTE_2_IP: 10.30.170.13

Change-Id: Ifab24ca30c24523f35591517338af7e9946d072e
Signed-off-by: Sam Hague <shague@redhat.com>

Enable error stack traces in dlux jobs

We are facing a NPE which is preventing merge job from succeeding,
which we cannot replicate in local builds. Enable stack trace
reporting to give us a clue about what is going on.

Change-Id: I7e7d932829c565edf46a118978d8ea032bd3f7e2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Merge "Addition of Suite Variable"

Update to JJB 2.0

Change-Id: I8345d43d769c981c9eaff9755ddc7393a56db695
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Addition of Suite Variable

Adding SUITE variable from netvirt scripts into others.

Change-Id: I985ef095592b579c5b6cc4c25bd10347acf14cab
Signed-off-by: Tomas Markovic <tomas.markovic@pantheon.tech>

Add trigger for genius cluster test

Change-Id: I463207cb6e2da1164ceb7c82d89c2b5ea996bce0
Signed-off-by: Vishal Thapar <vishal.thapar@ericsson.com>

Add support for build-node var to ar-release job

This job type had the build-node hardcoded to a specific machine
so did not allow variable overriding. Let's fix that.

Change-Id: I6f722082728db8c39c6abb84b18e45b48d77fed5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use v1-standard-16 to build autorelease

Autorelease needs 16G of RAM and 100 GB of disk in order to build
so bump it to a standard vm flavor so that we can pick the
appropriate disk size. We are not able to choose volume size with
the Jenkins OpenStack cloud plugin and the performance flavor types.

Change-Id: Ic7fb1e21ca7fe68b847d92c8bfb553db410f6634
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add notify script start marker in the console logs

Helps while searching through the console logs.

Change-Id: I4d3a9aa001928c6d038089c10b39318b6f9a96dd
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Reapply Switch mdsal to using new maven-merge job

This reverts commit cfe8194b57be9fb0d3827b1be0e3f08ca433fd8d --
the fault was not with the job, but with the patch being merged.

Change-Id: Ie8e52d0a6b3505bca635bd7997fbaf388e278ab4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Revert "Switch mdsal to using new maven-merge job"

This reverts commit 23f64b47684853e481bda28ae0f529144596c5b3.

The job does not correctly deploy all artifacts, leaving
yang-binding out for some reason.

Change-Id: I258f1c6b084da8b9ffbf75398e3e45f4af725d2d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update cloud image list docs

Change-Id: I0c1be0fc76548bfbffe26b5494b19816008632df
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Update to global-jjb v0.14.1

Pulls in fix for verify-deps jobs in new CI, as well as updates to
the packer ci jobs to handle common-packer, and a fix for the
packer-install macro trying to cd into a directory that does not
exist.

Change-Id: Ib10be017dc41482109ace2bde8f0a0472942cf28
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow 90 minutes build timeout for quagga

Quagga appears to add pretty significant build time on our builds
so let allow some extra build time for this.

Change-Id: I5e107eab85e6ee5255fd6a20fb7838cbb5c4480a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix for Pike Jobs Failure

Problems:
a. qemu-img not installed in Control Node
b. Images forcefully converted as raw in compute node
Fixes
a. Installed qemu-img in the nodes, before stacking
b. set force_raw_images as False in nova.conf, this
will ensurethe images arenot forcefully converted.

Change-Id: I0305447504c676997fadd867954e43bd35f8c0ad
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Pull in libcurl-dev fix for Ubuntu systems

Change-Id: I7bfcd932f26f387fd44c9a86df00295444de80fd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pull in lf-ansible netcat patch

Change-Id: I81ac21511c9f4e7f2d37197f136dcb9ec2205f38
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add maven-verify-dependencies job for int/dist

Change-Id: I2dc2228a26acb926c6e33bafa1f43855efc8fc80
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add ability to karaf console install features"

Add ability to karaf console install features

Change-Id: I30b64f6110439aa9dc80c1a22dff2b060f348082
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add mininet-ovs-2.8 packer job

Change-Id: Ia70fb4a5058875ea45bc882d4b8956084eefba8e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Archive some extra file for lispflowmapping"

Merge "Update user variables to match common-packer"

Merge changes from topic 'ansible'

* changes:
  Use bash to run quagga build script
  Add mininet-ovs-2.8 image

Archive some extra file for lispflowmapping

Change-Id: Id44243a5fddcd9733b3fa3344527529f353e8fca
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Update user variables to match common-packer

common-packer changes some of the variable names in order to
standardize with all the other clouds managed by LF. Let us update
the variables to match.

Change-Id: I7d3783fa728a51c86176a0325d0b69a1e0d9bea5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unused baseline template

We do not actually use the baseline template in ODL. We only use
the baseline.sh script provisioner to provision all the images so
let us remove this unnecessary file.

Change-Id: Ice2a263e17c1651ec469fbe2063f3fc297d67d9a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use bash to run quagga build script

Change-Id: Ib47b9992e96f4b3791c67ba64f3b98d3686fcfa2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add mininet-ovs-2.8 image

Change-Id: Ida6424204a3d0c399ac4834176d06314f1ff23ce
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Remove unused mininet image

Change-Id: I5e3f0d7173841cd75729313f39d9055142af7eec
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Resolve ShellCheck v0.4.7 linting in integration

Change-Id: I1f7fbd407634367342587ede2fdeecd3699d3af3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use > system prompt as that's robots expectation

Change-Id: I479bdb17c1eab5cbda1f1c41aa773cc5bf77e366
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

ODL is found by string builder, not java

the below patch removed the string "java" from our image
names, so we can't figure out the odl system with it.
https://git.opendaylight.org/gerrit/c/66978/

Change-Id: I08a84326c3f08fae5b6dfc2873a133cb8dd4c633
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Switch controller to using new maven-merge jobs"

Merge "Switch aaa to new maven-merge jobs"

Merge changes Ib6c87492,I5a1453d2

* changes:
  Switch to new common-packer docker image
  Switch mdsal to using new maven-merge job

Merge "Switch lf-ansible build-node to docker"

Switch to new common-packer docker image

Change-Id: Ib6c8749211ba9b52173bfd44f98c52e62b0be8c6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch mdsal to using new maven-merge job

Change-Id: I5a1453d25920fc5a2f5e38927c945b65cac98ebf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch controller to using new maven-merge jobs

Change-Id: Id0b679add1aa12db2e75242b3d4b2b38774110c1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch aaa to new maven-merge jobs

Change-Id: I4809d61be15ab2e3a96510aae4bb9946c66400ca
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch lf-ansible build-node to docker

lf-ansible needs to use docker to run it's molecule tests.

Change-Id: I8486b3216bcbae7a6f5dee4fc58ecb90ac74768c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Convert robot packer to ansible provisioner

Change-Id: Icec7459c969446f19e4506f7501b5adf38188d4b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make netvirt use java-builder-4c-16g"

Merge "Fix Flavors table syntax"

Merge changes I6a150d66,I86f53018,I2c4db835,Ib0870a3c

* changes:
  Remove java-builder packer scripts
  v1-standard-4 to get larger disk for autorelease
  Remove autorelease template
  Switch from java-builder to new builder systems

Remove java-builder packer scripts

Migrated to the new "builder" scripts so java-builder is now
unnecessary.

Change-Id: I6a150d6697155001e42802153015897a01d358a4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make netvirt use java-builder-4c-16g

Change-Id: I0de9f6bbf910245440b2a7511789485b9e2f66dd
Signed-off-by: Sam Hague <shague@redhat.com>

v1-standard-4 to get larger disk for autorelease

Create builder images on v1-standard-4 to get larger disk
for autorelease jobs.

Change-Id: I86f53018cd4ec71adb296a2f618ab4a8d6719d37
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove autorelease template

Originally thought we might need this in Vexxhost due to the
volume requirements with performance nodes however we figured
out a way around it so this can be removed.

Change-Id: I2c4db835e14d2e648d9fc5108d1489f8df9a06c2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch from java-builder to new builder systems

Change-Id: Ib0870a3c9edbb68e0fb255dfcb1ce22f37d8ef1c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add features for bgpclustering ha

Features for Bmp ha tests for Oxygen.
Features for Pcep ha tests for Oxygen.

Change-Id: Ic90326a309fb4c3dd3d995cff3ff134c49456373
Signed-off-by: Tomas Markovic <tomas.markovic@pantheon.tech>

Add ODL custom builder

This will replace java-builder as the default generic builder.

Change-Id: I490f6eff6fce1521061150e1d8bd9131cbf288e5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix Flavors table syntax

Change-Id: Id9d8d2c5d4fab8019ae1e17cf97d4bc4affd0023
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch Docker template to common-packer

Switch to the common-packer Docker template. Split out the merge
job templates so that we do not need to maintain that epic
exclusion list.

Change-Id: Ia2f62e3c8f602d7f3232277864386ae9d53f9889
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Resolve ShellCheck 0.4.7 issues

Disable ShellCheck in integration as there are too many issues for
now that need to be resolved to work in SC 0.4.7. Also disable
shellcheck in global-jjb since this is an external project.

Change-Id: Ie449aeb708f0532626858168e2bfb606ce19066e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch releng jobs to using new builders

Switch the releng jobs to using the new common-packer builders.

Change-Id: Idaca2803ef000f6d251528c46b1b34e3975b95b7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update system_type script map builder

Change-Id: I1226122d65487449e83d1d79437784a79c75af41
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update to latest lf-ansible and common-packer

Change-Id: Ib0278f2a85cc11a89690e9de4d3c074f4e5bebdc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add missing common-packer variables"

Add missing common-packer variables

This is a temporary solution to allow us to pass packer while we
transition over to common-packer templates. Ultimately we need to
redesign the packer-verify job to work with common-packer too.

Change-Id: Iceb86bbdf87340b6bce130af301be5cb96c7fc97
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add quotes around -z (empty or null) test"

Add quotes around -z (empty or null) test

Change-Id: Ifac861abe0d34a50c20f0f7324b3b51e3083ce48
Signed-off-by: Sam Hague <shague@redhat.com>

Add lf-ansible and common-packer modules

Will be used to build out the common-packer builders that
can more easily be shared across projects.

Change-Id: If6e5a360ed680b45ad280985ae2ce78239a3cc9e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add jenkins param to use featuresBoot (or not)"

Switch to using gjjb maven-merge jobs

This new Maven merge job type does away with the Jenkins Maven
project type and is capable of deploying at end.

Change-Id: I7a39adb4de59c5626913379927acbcf0e18e043a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update to global-jjb v0.13.1

Pulls in the much awaited maven-merge job. We will deploy this to a
few projects to test before making it available to all projects.

Change-Id: Idcdf63bd76510481deef06c13fb9983a47e36486
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Revert "Download/install JDK9""

Revert "Download/install JDK9"

Need to revert this. We should be using OpenJDK and not the Oracle one.

This reverts commit 51f49d3bb5dcd9054a3ed89413ed760aa54579b0.

Change-Id: Id64e5c94c9e6e1f1be2064163fb7f9dedef4249f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Download/install JDK9"

Merge "Add check for max robot node types"

Add check for max robot node types

We do not allow more than 1 robot node type to be in use at the same
time. This ensures that we can properly limit the number of
simultanious robot builds properly due to the way the Jenkins
OpenStack cloud plugin works. All templates should always use the
same Robot VM so any updates to change this needs to be changed in
all robot templates.

Issue: RELENG-75
Change-Id: Id2087bb92a860379fc2437a1a58cac578e853be5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Archive some extra file for lispflowmapping

Change-Id: I9277a9ee9555d2c35e6bc069c9ac28a595bfd5db
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Update ALL robot systems to 2c

Unfortunately due to the way OpenStack Jenkins plugin allows us to
limit minions we cannot have multiple robot nodes in play at the same
time. Otherwise there will be 2 robot queues allowing too many
parallel csit runs in production.

Bump all nodes to the 2c machines to ensure we are properly limiting
parallel csit runs.

Issue: RELENG-75
Change-Id: I8923c0b67a6a2c9385ae7f6684af8a27b44d2d3e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve orphaned-nodes to check on each delete

Similar to I2fcc0a9bef34708062e69f4d8a4ee04dfd6108b5 improve the
script here to check closer to the delete to reduce the race
condition timing.

Issue: RELENG-75
Change-Id: I8aff148efc11ede656747978ba570075ce679e3a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve debugging output

Try to pick more useful debug output rather than spamming with every
detail from `openstack stack show`.

Change-Id: I376abc2d3213e98dfa81d1baefc8eee652715d58
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve Stack cleanup to check on each delete

There is a race condition between when we query Jenkins for a list
of in use builds to compare with stacks and when they are actually
deleted. Shorten that race condition by querying on every stack
check.

Hopefully this will reduce the chance that Jenkins deletes a stack
that is in progress building and has not yet attached to Jenkins.

Issue: RELENG-75
Change-Id: I2fcc0a9bef34708062e69f4d8a4ee04dfd6108b5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary echo

`openstack stack show` already prints to the screen so it does not
really make sense to store it in a variable and echo it again.

Change-Id: Idfbfae0b686867044b6fe4981156dac18cc4c3a4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Beef up lispflowmapping performance VMs to 4 CPUs

Change-Id: I19f1e705cc71ebb83eb9ae4f5083093c0f86fe09
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Add jenkins param to use featuresBoot (or not)

This should only add a parameter and default everything to
'True' so there will be no functional changes to the jobs.

This is to prepare for the next step which will stop
the netvirt csit from installing with featuresBoot in
order to let those jobs install from the karaf console.

Change-Id: I1ed9c28b3360a14286c6d512cabe3db7a696e531
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Fail with helpful message if RPM not found"

Merge "OFP test adjustments"

Fail with helpful message if RPM not found

When testing RPMs after builds, if something goes wrong in the build and
the RPM isn't at the expected path, report that error vs a false
negative about whatever check happens next.

Change-Id: Id5e0773bb939045ed81b4a5800ac2a25ceb69f54
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Keep RPM in build out dir for snapshot builds

This is like 66401 but for snapshot builds.

Change-Id: I0b7a8d1f14903847c17f787d462c6ec4bd92700f
Fixes: INTPAK-119
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

OFP test adjustments

- Longevity will run with 16 switches
- SW scale test requires more CPU in ODL and Tools

Change-Id: If4e28f88e822b5b23478e49df82cb1b9684a3d7f
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Set SFC build timeout to 120

Change-Id: Id4b0a039d067309d3b274c9c054aca4e76e7822f
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update OFP mininet VM to OVS 2.6

Change-Id: I90d15064318fc45fca2f7095f6d8ec0ccfa7737d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Make sfc use java-builder-4c-16g

Change-Id: I30e3d23d4a4bd2cd2040fa7a1eda0a677523feb3
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Use 4c-16g vms for eman and lispflowmapping"

Use 4c-16g vms for eman and lispflowmapping

Change-Id: I15bfa8e3f5c96c39fe0ac4e04ff2b4edbeb56d77
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Auto Update CSIT Jobs to run for oxygen"

Merge "Auto Update CSIT Jobs to run for nitrogen"

Merge "Make autorelease & unimgr use java-builder-4c-16g"

Merge "Add lf-ansible jobs"

Auto Update CSIT Jobs to run for nitrogen

Change-Id: I910fc7c7730616cf1d7c57f40c6943795fc202c2
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Auto Update CSIT Jobs to run for oxygen

Change-Id: Ic10ad468cbeb3bbc8b2c226a5b45b88228d56cad
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Make autorelease & unimgr use java-builder-4c-16g

Change-Id: I023c7d499c58815b00cb5240a91e8d77e1efafcb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Cluster tests template for daexim

  - Add cluster support for daexim

Change-Id: Ib60c1f86344529c7bd77857e4c9966727109af24
Signed-off-by: Sreekalyan Devaraj <kalyan.ds@gmail.com>

Add lf-ansible jobs

Change-Id: I6956950158fabfb4a8f016feebcf99db78de5d85
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Revert "Create RAM disk on ODL VM /tmp folder""