Merge "Revert "Create RAM disk on ODL VM /tmp folder""

Fix cbench test

- Increase ODL system and tools VM specs

Change-Id: If4106807292a32abcc24bf83a1d79d04c059d47d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Revert "Create RAM disk on ODL VM /tmp folder"

This reverts commit a0607226ca33abebacc31c76fe76e969f6f74429.

Change-Id: I807a926d798d1acbf7a741853cb86036d5f17343
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update cloud image list docs

Change-Id: Ic0baf0a1befc8909d261bbc7dcd11ce9670e3896
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Update GBP jobs to use Ubuntu 16.04 GBP image"

Merge "Use ramdisk for /opt/stack"

Use ramdisk for /opt/stack

Change-Id: I16b558093a87565c4d72d1a6f6c17d0d5f361045
Signed-off-by: Sam Hague <shague@redhat.com>

Restore robot vms to 2c

Change-Id: If302dff24a2d5db8c02b0f1b98c0eb0a7e69cda6
Signed-off-by: Sam Hague <shague@redhat.com>

Add cluster-netvirt to ovsb test-patch

Change-Id: I05095a92573477698b8b594e1c51ad9ab7f62c69
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Add infrautils patch-test"

Merge "Update the IP for Nexus SNI issue"

Update the IP for Nexus SNI issue

This should be reverted once Sonatype has an updated nexus staging
plugin for us.

Trello: https://trello.com/c/VBeO8STM
Change-Id: I4869a4d9825e2f28a8a215a9992d5aa700759b5c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add infrautils patch-test

Change-Id: I1c2ab0acbca884d0eb26b074c0a5c1948a460c9c
Signed-off-by: Sam Hague <shague@redhat.com>

Fix OF scale test

Change-Id: I03d38ba7eafee56146067c1a62107da3219bd126
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Create RAM disk on ODL VM /tmp folder"

Create RAM disk on ODL VM /tmp folder

Change-Id: I559b458f6e46e99049d1487b555eb9ed7e0a0f7d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update HEAT scripts to use local gerrit mirror

With Gerrit no longer living in the same cloud as the CI infrastructure
a localized mirror has been put in place to speed up git operations as
much as possible. Since instance bring-ups should be as fast as we can
possibly make them we need to point at this localized mirror for the
spin-up scripts.

Change-Id: I7bbeaf36bd7ccd5f5c9d45707d3c1f8a8507ee5f
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Add more build timeout in bgpcep

Change-Id: Ie93d507001f942469b1acca1083c78e74fb41d3a
Signed-off-by: Claudio D. Gasparini <claudio.gasparini@pantheon.tech>

Merge "Increase build timeout"

Increase build timeout

Change-Id: I3eb8d182d05573809598ad6daa53f9c000427040
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Remove accidental shague in job name

Change-Id: I45d5ec4615c9a2ad3893825a03a4e90fc97e3890
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Increase build timeout for docs

Change-Id: Ic52df443b3bc167e2392895c566a6cc40580de44
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Increase build timeouts for genuis"

Increase build timeouts for genuis

Change-Id: I32b5f9c9a1470cd3aab1c3605b079b7dfe2120b2
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Increase build timeout

Change-Id: I4ff9de481fb3c168120b2abb027dd71448feac6a
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Remove unused os compute nodes"

Update GBP jobs to use Ubuntu 16.04 GBP image

Update image:
ZZCI - Ubuntu 16.04 - gbp - 20171213-2018

RELENG-719
Change-Id: I7a3a6956744ec1833eb96434a793ce4760902455
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Increase vm perf

Change-Id: Id0415fc5ab391e631918db74fdba04edc174e5a6
Signed-off-by: Sam Hague <shague@redhat.com>

Remove unused os compute nodes

Change-Id: I2454ac80bd57ac92fe76732551ca399153834548
Signed-off-by: Sam Hague <shague@redhat.com>

Move CSIT perf job to 4c ODL image

Change-Id: I6ec5fd9a707f0d5416c8b015a62f71bd30dc0ea0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Bump up vm images"

Merge "Refactor Is Feature Installed"

Refactor Is Feature Installed

Change-Id: I9075f80fb5f66ea59e01632f81ee7abc9415e0b7
Signed-off-by: Sam Hague <shague@redhat.com>

Bump up vm images

Change-Id: I5933b78f512c51bf29d15d39add8913ea79c980d
Signed-off-by: Sam Hague <shague@redhat.com>

Change deafult ODL image to 2c

Change-Id: I2698325d99ec775b638f981ee6d639f714b592b9
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add more build timeout in bgpcep

Change-Id: I298cb46e640bc08c242bb55d725d3c69b1d7c379
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Auto Update CSIT Jobs to run for oxygen

Change-Id: I4cf20c8a5f1b9b62762bdae390eb49b58907db28
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Bump all java-builders to 2 core machines"

Merge "Remove TSDR from Oxygen CSIT blacklist"

Bump all java-builders to 2 core machines

This should hopefully get us back to the same build times as we had
in the old cloud.

Change-Id: Ib8266fe7b875f25257233aa6d803c088b3871696
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update cloud image list docs"

Remove TSDR from Oxygen CSIT blacklist

Change-Id: I95624a429df6f45b52a847dcd5c5858c3fdb4e24
Signed-off-by: AbdulRahman AlHamali <a.alhamali93@gmail.com>

Update cloud image list docs

Change-Id: Ia52cc872543732456321a74636a86300d5229b18
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Fix auto-update image docs script

Should pick up the new Vexxhost images now.

LF-Issue: RELENG-724
Change-Id: Ic0f898e9f84c7adc4bdc2346c52a1169d5b4705a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add Vexxhost flavors docs

Include Vexxhost performance node flavor docs since they do not
document this on their own website.

Change-Id: I05d0df32a5a4b1ea2088fe09229adbcfc5d4fa2f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix orphaned nodes script

Looks like unintended changes from
4d3119e3d3dbd7743517854174a5f6e75ad59c67 snuck in somehow.

Change-Id: I9d0f1de4e4b54bdf61204fae4113a2d9c2317050
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix indent

Change-Id: Ia0178f5f04472bdf55498989d53a4c048906a835
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Continue to delete instead of abandon"

Merge "Print the name of the stack being deleted"

Merge "Add a job to cleanup orphaned nodes"

Merge "Remove unnecessary jq call in stale-stacks"

Create volume using Cinder

This switches the volume creation to be done using Heat and
attached via Nova instead of letting Nova create it right away.

The reason behind this is that it will probably be much cleaner
for clean-up and Heat is much more 'patient' in order to get
the resource created.

Change-Id: Ifc70acb967a8a2f4007aa3b020232258b4032aec
Signed-off-by: Mohammed Naser <mnaser@vexxhost.com>

Continue to delete instead of abandon

The abandon API is not supported by Vexxhost so keep trying deletes
and see if it eventually works out.

Change-Id: Ibe51c820f971b62c94047be4facf23cadc86167f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Print the name of the stack being deleted

Change-Id: Id7da06b3d91b4b60b6e5f5b477bcb4b716f65324
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a job to cleanup orphaned nodes

This job assumes that releng minions have a 'prd' prefix and
sandbox has a 'snd' prefix. These minions are Jenkins managed
minions and are not Heat managed minions.

The script get's a list of jobs with the prd or snd prefix and then
checks against Jenkins to see if the nodes are attached to Jenkins
if they are not then issue a delete call as it is likely Jenkins
lost track of them.

Issue: RELENG-724
Change-Id: I624102ace279d49d2696d287cfea9e4e89ba7a20
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary jq call in stale-stacks

jq is not actually necessary to run our query. By getting values
instead of json data we can remove the unnecessary complexity of
this part of the script.

Change-Id: I090862af675af35df1755aa94f55baea083a1dae
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use right pid for jstack collection

The jstack collection fails in post-carbon distros.
Starting with karaf 4 there are two processes for karaf
where the existing code expected one.

Grep was reworked to use the main process of the
karaf shell to return a single pid. This works for
carbon also since that is the only process found.

Change-Id: Ic3b0fc0f3c171e5c18228e3e537c79983dc26f96
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Update cloud image list docs"

Merge "Change default RPM repo, CentOS CBS to ODL Nexus"

Update cloud image list docs

Change-Id: Ie2a087b2c90640055cf5c4dc2308a767dccf0a1d
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Change default RPM repo, CentOS CBS to ODL Nexus

Default to new fully-automated CD repos, away from manual CBS.

Also move to Nitrogen from Carbon while changing upgrade test URLs.

Change-Id: Ic80207ecebe3b0ea454805ed12555b2e56529f3b
Fixes: INTPAK-112
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Modify mtu values in ml2 conf

smaller mtu values are needed in the new cloud
provider

Change-Id: I7ecc2bab64759082347935ca4f92fac9c80c94aa
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Do not use domain part of hostname"

Do not use domain part of hostname

Change-Id: Ib1b569502978fed052592f9ff7a5d96646702a52
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Use 4x16 VM for control nodes

Change-Id: Iba4b163f9d0b67de58a7e7fc36e012ee9df9ba0c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Fix dep tests to work with both Karaf 3/4"

Fix dep tests to work with both Karaf 3/4

Karaf 4 distros built on the CentOS CBS (should be clean env) end up
with a requirement listing /usr/bin/env whereas Karaf 3 distros don't.

I don't think these simple requirements are functional, but this gets
the test passing so it can catch actually-harmful requirements if they
slip in.

Fixes: INTPAK-120
Change-Id: I5976618c54957714bb55932b3e9d61b42cc1c3fc
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Revert "Consolidate a single openstack-cron job"

This actually does not work as expected so reverting for now.
Will need to explore this again at a later point.

This reverts commit 893b5ff40571682200424fce68bada556db4cece.

Change-Id: Ia12317ba76017f5d6329d1a8e65aeab40de723ee
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump builder jjb job timeouts to 30

The new cloud servers have less CPUs so less actual parallel
can happen despite having a worker # of 4. Job updates are taking
longer now.

Change-Id: Ief668d0ca6c6624180f619cf48f1498847691c3a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Consolidate a single openstack-cron job

Rather than wasting VMs to run a bunch of separate OpenStack
maintenance jobs, consolidate into a single cron job which
runs at our shortest needed interval.

Change-Id: I074b93ada1a5438b9505e82f92dd86cdac4e4841
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix broken log collections"

Merge changes from topic 'RELENG-704'

* changes:
  Use protected to prevent cleanup script rming img
  Update cleanup scripts to work in Vex
  Update Orchestration scripts to work with Vex
  Update mininet and docker builders
  Update java-builder build-nodes for new cloud
  Update packer config to work in Vexxhost

Merge "Do RPM tests in RPM build job to gate publish"

Merge "Do RPM dep tests in snapshot build, minor cleanup"

Fix broken log collections

Change-Id: I25d46a306308d6376ea8a22cb5a4ef98aa31e8d9
Signed-off-by: Sam Hague <shague@redhat.com>

Update cloud image list docs

Change-Id: If17e8df8e7cb301fe552cd478b5e35e968859e57
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Always keep copy of RPM in build out dir"

Merge "Copy dhcp files"

Do RPM dep tests in snapshot build, minor cleanup

Verify RPM dependencies are as expected during snapshot builds using the
logic already included in normal builds. Also add verification that
there's exactly one RPM at the path we expect so we don't claim there
are dependency problems if there are actually RPM building problems (0
RPMs) or something strange (>1 RPM). Also minor output cleanup.

Fixes: INTPAK-113
Change-Id: Iac3a765924fffe7506f8cd6fbb0944bf9839f55a
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Use protected to prevent cleanup script rming img

With a pure OpenStack cloud we can use the "protected" setting to
mark an image and prevent the cleanup script from removing in use
images.

Needs a new lftools release with the following patch
https://gerrit.linuxfoundation.org/infra/7887

Issue: RELENG-705
Change-Id: I1096c2e7724494f9e24db5f31ee396eaea024fdc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update cleanup scripts to work in Vex

This patch depends on a new lftools release with
https://gerrit.linuxfoundation.org/infra/7887

This is needed so that we can filter images with the
ci_managed=yes metadata field and also hide protected images from the
search query as we only want to delete images that are managed by
changes which are not protected.

Issue: RELENG-705
Change-Id: Id8724035ed470f20418d6bbf181802592ffe18d0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update Orchestration scripts to work with Vex

The Heat scripts as well as cleanup scripts all need to be recoded to
work with Vexxhost.

Issue: RELENG-705
Issue: RELENG-707
Change-Id: I5557e8fc7e760fb49da99eb62074b15039554bd5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Copy dhcp files

Change-Id: Ibfa15960dac793d443c6c5803ddf688a5096eda1
Signed-off-by: Sam Hague <shague@redhat.com>

Do RPM tests in RPM build job to gate publish

We currently only run our RPM tests after the RPM build job finishes.
This isn't good because by the time we've tested the RPM it has already
been pushed to Nexus and is being consumed by downstreams. Instead we
should fail the RPM build job if the tests fail and not publish.

Change-Id: I215de288923a308b95ebd242578d2a90d0b8e6ec
Fixes: INTPAK-115
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Always keep copy of RPM in build out dir

The RelEng and sandbox silos need to behave differently with regard to
uploading artifacts to Nexus (sandbox shouldn't, RelEng should).
However, moving the artifacts in RelEng but not in the sandbox was
causing the new dependency tests to work in the sandbox but not in
RelEng because the artifact no longer existed at the path we expected.
Instead of moving the artifacts, copy them.

We needed to mv and not cp initially because we were still hosting on
Jenkins and after a cp it found both old and new, but we no longer have
that logic.

Change-Id: I22ac9cca0c9a5a4ff9d3a11b841a6584ffeb3aa5
Fixes: INTPAK-119
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Update mininet and docker builders

The new cloud provider has different flavours than what we were using
so need to update the flavours to work in the new cloud.

Issue: RELENG-707
Change-Id: I42617eba8c780fbf7152874937b9305b3e04b4b0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update java-builder build-nodes for new cloud

The new cloud provider has different flavours than what we were using
so need to update the flavours to work in the new cloud.

Issue: RELENG-707
Change-Id: I86ba856d71c429c4310054614cd22e516bbd90c3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update packer config to work in Vexxhost

Improved the templates to support SOCKS 5 proxy configuration
via the `ssh_proxy_host` configuration that is optional. This
can be configured in the vars file.

Additionally we are now prefixing image names with "ZZCI - " so that
you can immediately tell from the name that the image is managed by
our automated systems as well as having them sorted last. This should
make it easier to manage images in the WebUI.

Update packer version from 0.12.2 to 1.1.3 so that we can use the
ssh_proxy_host parameter.

Issue: RELENG-706
Change-Id: I3b7200c6a917a961f9da38e5eeea95347ceed4a7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Enable packer job for Ubuntu 16.04 GBP"

Update netconf jobs to use Ubuntu 16.04 GBP image

RELENG-719
Change-Id: I7dbddec92e3885e31d379619047a31d98510579a
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Enable packer job for Ubuntu 16.04 GBP

Change-Id: I88a2ebc19d1dc25cb9b1314c0cdf441478a56372
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Fix HEAT userdata scripts

The migration of the Gerrit server to a different environment has caused
the startup scripts to fail. The issue is that the new location does not
allow a ping. Instead, we will use the host command to do a DNS query
since that tests for network connetivity just as well.

Change-Id: I83755e7fca0afda7e8d71fa9598dc73b7db94853
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Revert "Use eval command to append mail options""

Revert "Use eval command to append mail options"

This reverts commit cbf45c195d170f6703b53e2bde7a9f97c96998b2.

Using eval for dynamic code expansion is not a best practice.
Ref: http://mywiki.wooledge.org/BashFAQ/048

The script also has portability issues which works well on Ubuntu 16.04
but not CentOS7 (due to diffirences in the version of bash) also
making the code less readable and difficult to maintain, therefore
reverting change.

RELENG-213
Change-Id: I4f457d382575e3aa85ec0e164cdea6cb9bef9f6d
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Increase wait for rabbitmq

Change-Id: I38ff9e9fde50abddece4a729e45bb6ec2ad5e51f
Signed-off-by: Sam Hague <shague@redhat.com>

Auto Update CSIT Jobs to run for oxygen

Change-Id: I361dff170d06da2fba921caf6ba240bc2f6c8123
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "add csit stream for p4plugin"

Merge "Add test for RPM requirements"

add csit stream for p4plugin

Change-Id: I97d574db2393ee982fcff7f5dd205b99f84b2a12
Signed-off-by: Wsx25289 <10200860@zte.com.cn>

Merge "Use eval command to append mail options"