Merge "Update devstack images"

Update devstack images

Change-Id: I3f5927355e137459c33c0cadc9fb8c54d411ea66
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: I28c8b5af0540096f1a0daa45fbdfb578c917ca57
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Remove vpnservices from hwvtep job names"

Remove vpnservices from hwvtep job names

Couple reasons:
1. we removed vpnservices from the jobs a while back
2. path is too long problem as described below.

The virtualenv pip install has a limit for the path that [1] hit. The error is below. Notice the output is truncated at ...nodl-v2-up.

23:54:53 /tmp/hudson6603185957697917851.sh: /w/workspace/netvirt-vpnservices-csit-hwvtep-1node-openstack-newton-nodl-v2-upstream-transparent-boron/.venv-openstack/bin/pip: /w/workspace/netvirt-vpnservices-csit-hwvtep-1node-openstack-newton-nodl-v2-up: bad interpreter: No such file or directory

[1] https://jenkins.opendaylight.org/releng/job/netvirt-vpnservices-csit-hwvtep-1node-openstack-newton-nodl-v2-upstream-transparent-boron/15/console

Change-Id: I80c7560d9ea58674cd2e52bf1d5dbc7ece8e7812
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Add distribution diff collection between newly created distribution and latest on nexus"

Update cloud image list docs

Change-Id: I854c7ef4c0256c9b8590b07f370f941ebbf716ef
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Update gbp image to one that exists

Not sure why the previous gbp image did not exist in Rackspace but
forced a rebuild to get a new one created.

Change-Id: I822213b78947a3293296644d35eae9390eee9e37
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Capture stack info in console logs"

Capture stack info in console logs

Change-Id: Ic454384ed37e5a36d702efc8271a30777436d360
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Do not run apt-get update in spinup script"

Merge "Update mininet"

Do not run apt-get update in spinup script

Also move installers to provision scripts.

Change-Id: Iee1d260a74ea50e196792ff9e6ff1db760c95eae
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update mininet

Change-Id: I01ae6a70712317f1231ccd730456c2cea658045e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "move heat-stack delete to include shell script"

Update mininet-ovs-23

Fixes compile build issues with CPqD.

Change-Id: If51a36aa2886f526a3b821a54b5c8e5b7277237b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add missing dependency on db-autoreconf and pkg-config"

Add missing dependency on db-autoreconf and pkg-config

oflops requires db-autoreconf to run it's boot script.

Change-Id: Ic8de19f85c3a39798216cd26a0f04558126e2b1e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Exclude ubuntu14.04 devstack from being built

Change-Id: I66c7f895a9d2e6ef44d29b63da2341e161fa1091
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Update mininet-ovs-25 image

Change-Id: I852db0b8b1bfa28f0445c0aeefe685104d57834c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add distribution diff collection between newly created distribution and latest on nexus

Change-Id: Ic785538490bef15d92434723b798515cbb731306
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Install mininet 2.2.1

We get build failures with mininet 2.2.2 because it's not a valid git
tag in github for the project. Revert back to 2.2.1 as it's the closest
next thing.

Change-Id: Ie18f8be125fbc7a7972acf66fced91c640353c33
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Print stack outputs before copying ssh keys

Change-Id: I8d357be9305f74795d58a08735255ed615a24ee4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove labels without node specs"

Merge "Add PUBLIC_PHYSICAL_NETWORK to pybot command and yaml files"

Pass BRANCH to changes

Change-Id: Idd8ccb8d18d922f76d25087f9f0e27afe237e2c0
Signed-off-by: Sam Hague <shague@redhat.com>

Add PUBLIC_PHYSICAL_NETWORK to pybot command and yaml files

Change-Id: Iaba2c4e61dd7e62794eb315a255abfd16309bab5
Signed-off-by: Revital Aronis <revital.aronis@hpe.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Remove labels without node specs

Change-Id: I31e87f3ef8e9751e1a20fa1f8dfbafbae8fd0845
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Include baseline.sh in the file-path"

Include baseline.sh in the file-path

* Fix `templates` name in path

Change-Id: I9393cdffb752ba115b096645059fe4d18fb4d19a
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Handle Java install on Ubuntu and CentOS more sanely"

Handle Java install on Ubuntu and CentOS more sanely

* Also fix problem with RH case statement

Change-Id: I0e98767239ed0f67cc03513a19b65ff183a4a196
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Enable merge job to build image relevant to change

Change-Id: I719d0b98dd9893948c25a1e56fe59b290fcee950
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Remove system_reseal_local_env.sh call"

Merge "Add a comment to explain dependencies.log archiving"

Remove system_reseal_local_env.sh call

The script provides an invalid local path when called from packer.
Packer actually pushes the script into the system as a randomly named
file in /tmp preventing us from actually calling ./script_2. This breaks
our packer builds and is not a working configuration.

See: https://trello.com/c/0aVtSTuR
Change-Id: I64eba9e703e07dc1b637c9f10d3e661739049580
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Create a git status report at the end of build

git-status report can be useful at the end of a build to identify
projects that left their project repo either with modified files or
untracked files.

Change-Id: I3f9f9c01991699574e1a9ca81885728117144b26
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve if statements with case statements

Change-Id: Iee5ed56df8a3dc568fe328679d1321b4a8f71e24
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fail build on unexpected status"

Add a comment to explain dependencies.log archiving

Change-Id: I08b34485542b5d661a7b6e1df61665a58e775c95
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update cloud image list docs"

move heat-stack delete to include shell script

Change-Id: Id75f9143e93b30b94dccbc5eb3760aadb570420d
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Fail build on unexpected status

If an unexpected status happens we should immediately fail the build
otherwise we cannot be sure what will happen.

Change-Id: Ie3589c03fa4e2278e9e4ad2fba4f247bb10a051b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add OPENSTACK_BRANCH to the pybot command line -v args"

Update cloud image list docs

Change-Id: I6c37b340716c38a1e85333f8c117f03b37266d32
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Trigger build-rpm job from autorelease"

Fix typo pipefail for set name-options

Change-Id: I9a1a90f560ed5dd6ced74e98e1e404ef99dbb76c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Make packer templates fail on any problems

Change-Id: If5e49cabb8ea9e26d2bb723f66bb11a228ed78e3
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Trigger build-rpm job from autorelease

Uses $BUNDLEURL from autorelease as DOWNLOAD_URL for build-rpm
job and triggers it.

Change-Id: Ic2c845baa517b8274a5b1e6b54cf735532e3354b
Signed-off-by: Alok Anand <alok4nand@gmail.com>

Add OPENSTACK_BRANCH to the pybot command line -v args

Change-Id: I8aedb6485ce76529c60e0de9fa6a41cb4fdf9df2
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Update ubuntu-mininet vm to a working one

Packer failed to create the previous image and produced a bad image that
was missing packages. This patch switches over to a newer image verified
to be working.

Change-Id: Ibf0ef712a01e46a2ec18185170b7eb145c0521e5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Make controller jobs use 16GB nodes"

This reverts commit 54574339603cad1d125418ba144bb5b7e5529192.

Change-Id: I6913e1d90b8f0a0dc7e24c64857a3f6066e62eed
Signed-off-by: Robert Varga <rovarga@cisco.com>

Update cloud image list docs

Change-Id: I581723799e850c4aca95d908a02ee86ad054c0ec
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Change netvirt gates to newton, networking-odl_v2, stateful SG"

Change netvirt gates to newton, networking-odl_v2, stateful SG

Change all default netvirt gates to use Newton,
and networking-odl_v2, and stateful SG.

Keep two optional gate keywords for Mitaka, and Newton
with networking-odl_v1 as backup.

Change-Id: I347fb7284f3e6efa0db54882ff5180ad3cdeaef8
Signed-off-by: Alon Kochba <alonko@hpe.com>

Print Quota to logs before infra-stack

Change-Id: Id2985f047439ca23c33ba18a376d9c74901e8e11
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add job to generate an image list for docs"

Merge "Display API limit before stacking"

Merge "move network id to local jenkins configuration managed files"

Display API limit before stacking

Change-Id: I4f239b568ec46825e0ab7675deb423d3bf1f232b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add job to generate an image list for docs

With Heat now available we need a way to automate the list of available
images projects can use in their jobs in the docs. This creates a job
that will pull from openstack a list of available public images and
pushes a patch automatically to Gerrit to update the relevant
documentation page. The script will automatically detect if an unmerged
image update patch already exists and update existing patch if available
otherwise create a new one.

Change-Id: If5ea2c53b21b06ab1ed5d6c9c17f30356a930dc4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Fix default mininet image name"

This reverts commit 671c7f131175e352b227021ecb851c3936857297.

Change-Id: I4004b16ae5836a721a1d6b3151f3e44530eed723
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix default mininet image name

Most of csit jobs are currently failing to create tools system VM.
This is a quick fix to use 25 version as the default.
Jobs who use mininet application may not expect this newer version,
but most of csit jobs are using tools system for other things than mininet.

Change-Id: I105551d5a5912be1ecb1db5172faa3c9863bc286
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Update packer version to 0.12.2"

Update packer version to 0.12.2

Change-Id: Ib67965461dad8414fcf245a1f25c38d5cd235db7
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Update include_path to only include cwd"

Update include_path to only include cwd

We only care to include paths from the current working directory based
on our current usage of JJB so update the example to remove paths we
don't care about.

Change-Id: I54047753cbf9f6812751a395692773c3f616dad2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: I110fc9a805a2c52fc67a3131ec38add0e2b25ba4
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Reorganize polling stacks to minimize messing up jobs"

Merge "Use a smaller vm for distribution-test job"

Reorganize polling stacks to minimize messing up jobs

We could potentially mess up jobs started while we are polling for
stacks. Moving the stack polling to before we poll for active jobs might
be better. This way we might delete jobs that are already deleted but
that may be less disruptive then the other way around.

Change-Id: Iffc2c867e67893eda6fa9b0e9278354ba2d55ed8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Replace dynamic_verify from existing jobs"

Replace dynamic_verify from existing jobs

* dynamic_verify is replaced with centos7-java-builder-2c-4g

Change-Id: I6bbce618d691a2d184990d3bf85cf3b67bd45770
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Update labels and template names to docs"

Update labels and template names to docs

* Depricate labels and template names starting with dynamic_*
  and does not have a number of cpus or ram in the label or template

Change-Id: I32fcc46f0d6a6c5cf29c8f4ea623ff586463249e
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Update mininet nodes

Change-Id: Id9dab616e44a3559a63c6f9277fa4054be8a6739
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use a smaller vm for distribution-test job

The distribution-test job is a shell job that just spawns csit labs.
Using a 8g machine is a waste. Switch to a smaller 4g machine to save
resources.

Change-Id: Ib739c246a849776be363050847dafee4828baca3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add log server url to emails"

Add genius to netvirt integration dependencies

Change-Id: I0ff7fb8cb876e1b4f46e0af6c4ec26140bb1244f
Signed-off-by: Sam Hague <shague@redhat.com>

Make controller jobs use 16GB nodes

This is temporary workaround to attempt to get progress
on merge jobs, which are currently running out of OS RAM.

Change-Id: I81c371324b67e7b33f16cbc32ac88715be1c899f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Archive hs_err_*.log files

If the JVM runs out of host memory, or otherwise fails,
it will leave a hs_err_pidXXXX.log file. Archive these
for analysis.

Change-Id: Ic3929afaacd607588a54d4daa3d136beaaa3fee4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add log server url to emails

When sending emails about build failures we should be providing the log
server url rather than the jenkins build url.

Trello: https://trello.com/c/xAA51pNj
Change-Id: Ie566607e5b8f76f32bd9ebaa2c1f909a3b2c4369
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make orphaned stacks cleanup script run every 30 minutes"

Make orphaned stacks cleanup script run every 30 minutes

Change-Id: I2df11c1a622b09991b08d346001cee68e578dba6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set timeout parameter back in openstack command

Change-Id: Ie0938edb6159d5b30a4edf6e84801616a00021d0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve Heat implementation error handling

Using Heat has increased our ability to spawn 33% more robot builders
but we're now hitting some issues with Rackspace that we will need to
the error handling of our scripts for when Rackspace returns a status
such as Error: None, or CREATE_IN_PROGRESS due to stacks taking longer
than expected to spawn. Rackspace has told us we cannot delete stacks
that are in CREATE_IN_PROGRESS or DELETE_IN_PROGRESS states and that we
should exit our code carefully.

This patch makes the following changes:

* Wait and query stack create status every minute for 15 minutes
* Check status is CREATE_IN_PROGRESS within timeout
* Continue with the job once stack create returns CREATE_COMPLETE
* Fail job on CREATE_FAILED and cleanup stack
* Notify publisher not delete stack when CREATE_IN_PROGRESS
  or DELETE_IN_PROGRESS
* Improve delete-stale-stacks to search for inactive stacks not being
  used by either releng or sandbox siloes and remove them.
* Delete stacks job will now run every hour to cleanup orphaned systems

Change-Id: Ifdc927f601c07e519cdc502a2fb56fca138c659e
Also-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Enhance Hwvtep templates for integration project to use the image 'Ubuntu 14.04 - mininet-ovs-25 - 20170130-0414'"

Update jenkins.ini.example

+ Put actual Sandbox URL there.
+ Comments instead fake values for user and password.

Change-Id: Ia4e8de870d6be0e9b6f5d91cfbb7981d3ef2f1e1
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Enhance Hwvtep templates for integration project to use the image 'Ubuntu 14.04 - mininet-ovs-25 - 20170130-0414'

Change-Id: I7b9635146e58ce666c98b8ba1eb61244d7815235
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Fix typo in dependecies.log

Change-Id: I88c3e8c6e7ae911d8510974389767aeffd1a6bd0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add COE jobs to jenkins

Change-Id: Ib8941df857f56143d8cf63fef4de3556dcbc9c34
Signed-off-by: Faseela K <faseela.k@ericsson.com>

Merge "make upstream jobs run daily"

Merge "Update spectrometer webapp deploy job"

Update spectrometer webapp deploy job

Some changes to spectrometer-web made the job no longer able to
successfully deploy the web component. This update bumps the
spectrometer node version to 6.9.4 and also adds a few tweaks to help
Spectrometer's deploy job work a little better.

Change-Id: Id07109b9247bf353b03e7a0c91abe27caee10bd3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add Hwvtep templates for integration project

This templates creates three type of vms (ODL VMs, Openstack VMs and
Tools System VMs).

Change-Id: Iab252bc2402ba55372339498ce8591371047368c
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Merge "Remove bgpcep-verify-python-carbon"

Add federation jobs to Jenkins

Change-Id: If0f9f72f72e5608cbd5b3a8465db1989bb2e46a0
Signed-off-by: Guy Sela <guy.sela@hpe.com>

Remove bgpcep-verify-python-carbon

Pcepy (the Python part of Bgpcep) is already removed from Carbon.

Change-Id: Iab5e3d91f5c309a96ca7beacd4fad5c4feb4dfed
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove integration- from distribution jobs

The main motivation is that distribution-verify-{stream}
was trying to trigger integration-distribution-deploy-{stream}
which was already renamed.
This also updates comments, renames the yaml file, but leaves
integration-distribution-test-{stream} as that is more int/test than int/dist.

Change-Id: Ie3a2bb40dd8d07c6b4f47dd91e82a26328fb5851
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Fix publisher definition in the incorrect spot"