Merge "move network id to local jenkins configuration managed files"

Revert "Fix default mininet image name"

This reverts commit 671c7f131175e352b227021ecb851c3936857297.

Change-Id: I4004b16ae5836a721a1d6b3151f3e44530eed723
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix default mininet image name

Most of csit jobs are currently failing to create tools system VM.
This is a quick fix to use 25 version as the default.
Jobs who use mininet application may not expect this newer version,
but most of csit jobs are using tools system for other things than mininet.

Change-Id: I105551d5a5912be1ecb1db5172faa3c9863bc286
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Update packer version to 0.12.2"

Update packer version to 0.12.2

Change-Id: Ib67965461dad8414fcf245a1f25c38d5cd235db7
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Update include_path to only include cwd"

Update include_path to only include cwd

We only care to include paths from the current working directory based
on our current usage of JJB so update the example to remove paths we
don't care about.

Change-Id: I54047753cbf9f6812751a395692773c3f616dad2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: I110fc9a805a2c52fc67a3131ec38add0e2b25ba4
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Reorganize polling stacks to minimize messing up jobs"

Merge "Use a smaller vm for distribution-test job"

Reorganize polling stacks to minimize messing up jobs

We could potentially mess up jobs started while we are polling for
stacks. Moving the stack polling to before we poll for active jobs might
be better. This way we might delete jobs that are already deleted but
that may be less disruptive then the other way around.

Change-Id: Iffc2c867e67893eda6fa9b0e9278354ba2d55ed8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Replace dynamic_verify from existing jobs"

Replace dynamic_verify from existing jobs

* dynamic_verify is replaced with centos7-java-builder-2c-4g

Change-Id: I6bbce618d691a2d184990d3bf85cf3b67bd45770
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Update labels and template names to docs"

Update labels and template names to docs

* Depricate labels and template names starting with dynamic_*
  and does not have a number of cpus or ram in the label or template

Change-Id: I32fcc46f0d6a6c5cf29c8f4ea623ff586463249e
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Update mininet nodes

Change-Id: Id9dab616e44a3559a63c6f9277fa4054be8a6739
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use a smaller vm for distribution-test job

The distribution-test job is a shell job that just spawns csit labs.
Using a 8g machine is a waste. Switch to a smaller 4g machine to save
resources.

Change-Id: Ib739c246a849776be363050847dafee4828baca3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add log server url to emails"

Add genius to netvirt integration dependencies

Change-Id: I0ff7fb8cb876e1b4f46e0af6c4ec26140bb1244f
Signed-off-by: Sam Hague <shague@redhat.com>

Make controller jobs use 16GB nodes

This is temporary workaround to attempt to get progress
on merge jobs, which are currently running out of OS RAM.

Change-Id: I81c371324b67e7b33f16cbc32ac88715be1c899f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Archive hs_err_*.log files

If the JVM runs out of host memory, or otherwise fails,
it will leave a hs_err_pidXXXX.log file. Archive these
for analysis.

Change-Id: Ic3929afaacd607588a54d4daa3d136beaaa3fee4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add log server url to emails

When sending emails about build failures we should be providing the log
server url rather than the jenkins build url.

Trello: https://trello.com/c/xAA51pNj
Change-Id: Ie566607e5b8f76f32bd9ebaa2c1f909a3b2c4369
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make orphaned stacks cleanup script run every 30 minutes"

Make orphaned stacks cleanup script run every 30 minutes

Change-Id: I2df11c1a622b09991b08d346001cee68e578dba6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set timeout parameter back in openstack command

Change-Id: Ie0938edb6159d5b30a4edf6e84801616a00021d0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve Heat implementation error handling

Using Heat has increased our ability to spawn 33% more robot builders
but we're now hitting some issues with Rackspace that we will need to
the error handling of our scripts for when Rackspace returns a status
such as Error: None, or CREATE_IN_PROGRESS due to stacks taking longer
than expected to spawn. Rackspace has told us we cannot delete stacks
that are in CREATE_IN_PROGRESS or DELETE_IN_PROGRESS states and that we
should exit our code carefully.

This patch makes the following changes:

* Wait and query stack create status every minute for 15 minutes
* Check status is CREATE_IN_PROGRESS within timeout
* Continue with the job once stack create returns CREATE_COMPLETE
* Fail job on CREATE_FAILED and cleanup stack
* Notify publisher not delete stack when CREATE_IN_PROGRESS
  or DELETE_IN_PROGRESS
* Improve delete-stale-stacks to search for inactive stacks not being
  used by either releng or sandbox siloes and remove them.
* Delete stacks job will now run every hour to cleanup orphaned systems

Change-Id: Ifdc927f601c07e519cdc502a2fb56fca138c659e
Also-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Enhance Hwvtep templates for integration project to use the image 'Ubuntu 14.04 - mininet-ovs-25 - 20170130-0414'"

Update jenkins.ini.example

+ Put actual Sandbox URL there.
+ Comments instead fake values for user and password.

Change-Id: Ia4e8de870d6be0e9b6f5d91cfbb7981d3ef2f1e1
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Enhance Hwvtep templates for integration project to use the image 'Ubuntu 14.04 - mininet-ovs-25 - 20170130-0414'

Change-Id: I7b9635146e58ce666c98b8ba1eb61244d7815235
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Fix typo in dependecies.log

Change-Id: I88c3e8c6e7ae911d8510974389767aeffd1a6bd0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add COE jobs to jenkins

Change-Id: Ib8941df857f56143d8cf63fef4de3556dcbc9c34
Signed-off-by: Faseela K <faseela.k@ericsson.com>

Merge "make upstream jobs run daily"

Merge "Update spectrometer webapp deploy job"

Update spectrometer webapp deploy job

Some changes to spectrometer-web made the job no longer able to
successfully deploy the web component. This update bumps the
spectrometer node version to 6.9.4 and also adds a few tweaks to help
Spectrometer's deploy job work a little better.

Change-Id: Id07109b9247bf353b03e7a0c91abe27caee10bd3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add Hwvtep templates for integration project

This templates creates three type of vms (ODL VMs, Openstack VMs and
Tools System VMs).

Change-Id: Iab252bc2402ba55372339498ce8591371047368c
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Merge "Remove bgpcep-verify-python-carbon"

Add federation jobs to Jenkins

Change-Id: If0f9f72f72e5608cbd5b3a8465db1989bb2e46a0
Signed-off-by: Guy Sela <guy.sela@hpe.com>

Remove bgpcep-verify-python-carbon

Pcepy (the Python part of Bgpcep) is already removed from Carbon.

Change-Id: Iab5e3d91f5c309a96ca7beacd4fad5c4feb4dfed
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove integration- from distribution jobs

The main motivation is that distribution-verify-{stream}
was trying to trigger integration-distribution-deploy-{stream}
which was already renamed.
This also updates comments, renames the yaml file, but leaves
integration-distribution-test-{stream} as that is more int/test than int/dist.

Change-Id: Ie3a2bb40dd8d07c6b4f47dd91e82a26328fb5851
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Fix publisher definition in the incorrect spot"

Merge "De-template project-name in JJB"

Merge "Update new images built for changes #50992 and #50976"

Fix jenkins doc after latest changes

Change-Id: I090c9774bbed321bc94c9a84065585a8eff28a28
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update new images built for changes #50992 and #50976

Change-Id: Ic6b998cb9f769dd84647cae07c78b2e73699f9b9
Also-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix publisher definition in the incorrect spot

Patch Id05a75f86788ddfd62098d013e841eec40d439a4 was incorrect and this
patch fixes that.

Change-Id: I7d0ca4101373100d94400205197dbbeb55a416f9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make message more clear"

Rename image name format to suit Heat implementation

Heat template scripts require the format <distro> - <name> - <date-stamp>
since the Heat template derives the name from the mid section of our
image names. Having multiple words between hypens in the name causes scripting
issues.

Change-Id: I0712086b0a765eaffdf2bf751ec3cf4daef7962c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Refactor packer var files to extend the use for different envs

Change-Id: Icdb55915b9ce99f1b4d5e3c27a67ca523feb20ef
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Fix csit list variable expression

Change-Id: I9d173b06d06f2e8a523ac789a8139348c21eed9b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

make upstream jobs run daily

Change-Id: I4518f3ff559e7df857ff5a163acb4d498866f3dc
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Auto Update CSIT Jobs to run"

Do not let failure conditions of changes.py abort deployment script

Change-Id: Iad83d47bb73048feff4b992a8781466f175a2c32
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix trigger for builder-update-csit-tests job

Change-Id: I7e87c37224d904a1bc85f0f2b493acbbc7bac377
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Auto Update CSIT Jobs to run

Change-Id: I40b908171baecd3162b7088372a76d321e3c75ab
Signed-off-by: jenkins-sandbox <jenkins-sandbox@opendaylight.org>

Fix builder-update-csit-tests

Change-Id: Idfddff0e79bfa9caf97da418a2af555e56041443
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Add job to update auto update CSIT Tests"

Add job to update auto update CSIT Tests

This job adds auto update funtionality
for csit tests run by integration-distribution-test
jobs.

- Adds a variable for csit blacklist
- Add job named builder-update-csit-tests
- Adds explanitory comments to each section
- Fixed issue with default variable values
  in include-raw-integration-list-jobs.sh

Change-Id: I7363c91949e957281feda1976ac49aa976fae611
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Make builder jobs use a machine with less RAM"

De-template project-name in JJB

Changed project-name to packaging to make the jobs packaging specfic

Change-Id: Ic05749c242997b1ba4af71cab09782bcaedbb557
Signed-off-by: srisankethu <sanketh.uppalapati@research.iiit.ac.in>

Merge "Revert gerrit-patch macro back to git review"

Revert gerrit-patch macro back to git review

Use git review for pushing gerrit
patches from jenkins. This was
changed due to absence of
git review on some nodes. It is
changed back with a note warning
that not all jenkins nodes have
git review installed.

Change-Id: I43e37b909d26b4940a24132713b5145aa60ea628
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Archiving dependencies.log"

Merge "Make distribution test job run daily for active branches"

Merge "Update builder docs after removing project distribution job"

Make distribution test job run daily for active branches

And weekly for non active.

- Distribution test will contain all csit and run daily.
- This can be merged after we remove projects distribution job.

Change-Id: Ic30beb0e32cab9f47733ceb8b18f078374ba32a0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Remove project distribution job"

Update builder docs after removing project distribution job

Change-Id: I09f41c6a59ad3459f060f7b8808322070f9de8b5
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Remove project distribution job

- Remove the project distribution job.
- Remove the dependencies on the distribution job.
- Remove daily triggers, new distribution test will be daily.
- This has to be merged after new global distribution job.

Change-Id: If663d4577c93644a89554206a7a6a27fe45faf05
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add step in all projects merge job to trigger distribution merge

- distribution merge will be the only job uploading distros to Nexus.
- Also changing the distribution jobs name to just distribution.

Change-Id: I0bfb0b1c8fd800094d1323edd95fab8f84e80d27
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update git commmand in opendaylight-infra-push-gerrit-patch macro

Change-Id: I222c3258d40c2d9b8ca18b4215198cca8877e78c
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Add integration-replace-block-text macro

Part of refactor of distribution jobs
workflow. This auto updates
csit run list for integration-test-jobs.yaml

Moved storage of tests to run from integration-test-jobs
to variables in releng-defaults.
Variables are named: csit-list-carbon,
csit-list-boron, csit-list-beryllium

Change-Id: Ib989ce0cc1b206596c8b3cc4f069e5c714309f7f
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Make message more clear

Change-Id: Ib10b7dc474b8411419d8e809e2d87c8341b60125
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

enable filtering CSIT jobs

This patch will enable filtering the list of CSIT jobs that DO
NOT match a supplied set of strings and DO match a supplied stream.
Streams correspond to development cycles like beryllium, boron,
carbon, etc.

Change-Id: Ia32164f97b9b506f7635e7a4bd6bd9e4ef005e7f
Signed-off-by: Matt Welch <matt.welch@intel.com>

Archiving dependencies.log

this is to make it easy to grab from a standard jenkins URL (e.g. lastSuccessfulArtifacts)
so that other tools can access it more easily

Change-Id: Id05a75f86788ddfd62098d013e841eec40d439a4
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge changes from topic 'packer'

* changes:
  Update java-builder csit image
  Move HBase/Cassandra/ElasticSearch to packer

Update java-builder csit image

Change-Id: I3c4dc7bed003e25905c432ce3fc64fb8ee6ccff6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Change iotdm-csit-basic to install odl-onem2mall-iotdm"

Merge "Add a macro opendaylight-infra-push-gerrit-patch"

Move HBase/Cassandra/ElasticSearch to packer

These wgets cause the spinup script to take long to run so move to
packer.

Change-Id: I624b7f5c3f023353c1029b7d34eff7635b741ab3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Reduce verbosity of shiplogs

The end of a build there's a lot of download details from wget. This
patch aims to reduce that unnecessary verbosity. We will still get
error messages / success messages just not the download status of wget.

Change-Id: I10b9cffc6b74abc6fe2dd7f90924498b9f99197f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a macro opendaylight-infra-push-gerrit-patch

This macro allows projects to push an automated patch to their project
repo via Jenkins.

This script requires the following JJB variables to be passed in:
     {project}       Gerrit project-name
     {gerrit-topic}  Gerrit topic, please make a unique topic.
     {gerrit-commit-message}  Commit message to assign to commit.

Change-Id: I97a4eea5196ee512e33ee17cfe24307c04704ec9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "move spinup scripts installation to image creation"

Merge "Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status""

Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status"

This patch causes us to have many uncleaned stacks in Rackspace.

This reverts commit c4e686122e32211b16769c0cf8292794d9350666.

Change-Id: I5458e96f4212ee517f3bf360186863716482e8f4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Change iotdm-csit-basic to install odl-onem2mall-iotdm

Install odl-onem2mall-iotdm feature instead of odl-iotdm-onem2m.
Feature odl-onem2mall-iotdm includes all features implemented
in iotdm.

Change-Id: I528d494ff2b6a4d744a91ff9e6e4354f0a7bb52d
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

move network id to local jenkins configuration managed files

Change-Id: Idb14f91010d0548266cfb03b22cefa4a0e44f335
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Merge "Update images names used with HOT and CSIT jobs."

Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status

This patch will make the post build cleanup script only clear
stacks with CREATE_COMPLETE and CREATE_FAILED statuses.

Let the periodic cleanup job clear CREATE_FAILED and DELETE_FAILED
statuses. This is to help Rackspace troubleshoot our orchestration
stacks getting stuck in Rackspace.

Change-Id: I6fe75fe380508533bd440297e32bdddce2a7cc71
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Rename images to not use periods

Our Heat template derives the hostname from the mid section of our image
names. Having periods in the name causes scripts to think we're
connecting to a fqdn rather than just a hostname so rename the scripts
to not use periods.

Change-Id: Ief69400533acbf8fca09ccd434e0f47238db1893
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove matrix system type

Matrix systems have not existed in our builders for a long time now.
Let's clean this up.

Change-Id: Ib472bf85643b5f1e7fb0baebf8e4968d82912240
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove autorelease spinup script

The spinup script was useful in the past when we were in the public
cloud and needed to utilize a 2nd storage disk. In the private cloud it
doesn't really do anything.

Change-Id: I574cb4d68cea39a0696729d53340ade963963317
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Override csit verify stream for Iotdm

Change-Id: Ia632b3d3e649e56cb634b4f8318365c05644fe15
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Make stream for CSIT verify configurable

Change-Id: I48ed352fbe6937fb9f675298741f9b037e01b3d9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

move spinup scripts installation to image creation

Change-Id: Iefd20051a9dbd6ea3930c100d772add43bd2e9b7
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Update images names used with HOT and CSIT jobs.

Change-Id: I232826fe2d1ec038cb78a82f5a3c648793589a8c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add puppet-opendaylight test job"

Make builder jobs use a machine with less RAM

I'm pretty sure we don't need 8GB for the builder jobs to run. Let's
find out.

Change-Id: I0c8ec45f6694f187fb28dae7087995ecec473f74
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove depricated bgp "all" feature for carbon bgpclustering-ha jobs"

Merge "Make distribution-check job logic more strict"

fix packer jobs syntax

Change-Id: I1a00700bbdf88c698a881f573f891c263f0b4a5c
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>