Fix csit list variable expression

Change-Id: I9d173b06d06f2e8a523ac789a8139348c21eed9b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Auto Update CSIT Jobs to run"

Do not let failure conditions of changes.py abort deployment script

Change-Id: Iad83d47bb73048feff4b992a8781466f175a2c32
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix trigger for builder-update-csit-tests job

Change-Id: I7e87c37224d904a1bc85f0f2b493acbbc7bac377
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Auto Update CSIT Jobs to run

Change-Id: I40b908171baecd3162b7088372a76d321e3c75ab
Signed-off-by: jenkins-sandbox <jenkins-sandbox@opendaylight.org>

Fix builder-update-csit-tests

Change-Id: Idfddff0e79bfa9caf97da418a2af555e56041443
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Add job to update auto update CSIT Tests"

Add job to update auto update CSIT Tests

This job adds auto update funtionality
for csit tests run by integration-distribution-test
jobs.

- Adds a variable for csit blacklist
- Add job named builder-update-csit-tests
- Adds explanitory comments to each section
- Fixed issue with default variable values
  in include-raw-integration-list-jobs.sh

Change-Id: I7363c91949e957281feda1976ac49aa976fae611
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Make builder jobs use a machine with less RAM"

Merge "Revert gerrit-patch macro back to git review"

Revert gerrit-patch macro back to git review

Use git review for pushing gerrit
patches from jenkins. This was
changed due to absence of
git review on some nodes. It is
changed back with a note warning
that not all jenkins nodes have
git review installed.

Change-Id: I43e37b909d26b4940a24132713b5145aa60ea628
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Merge "Archiving dependencies.log"

Merge "Make distribution test job run daily for active branches"

Merge "Update builder docs after removing project distribution job"

Make distribution test job run daily for active branches

And weekly for non active.

- Distribution test will contain all csit and run daily.
- This can be merged after we remove projects distribution job.

Change-Id: Ic30beb0e32cab9f47733ceb8b18f078374ba32a0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Remove project distribution job"

Update builder docs after removing project distribution job

Change-Id: I09f41c6a59ad3459f060f7b8808322070f9de8b5
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Remove project distribution job

- Remove the project distribution job.
- Remove the dependencies on the distribution job.
- Remove daily triggers, new distribution test will be daily.
- This has to be merged after new global distribution job.

Change-Id: If663d4577c93644a89554206a7a6a27fe45faf05
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add step in all projects merge job to trigger distribution merge

- distribution merge will be the only job uploading distros to Nexus.
- Also changing the distribution jobs name to just distribution.

Change-Id: I0bfb0b1c8fd800094d1323edd95fab8f84e80d27
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update git commmand in opendaylight-infra-push-gerrit-patch macro

Change-Id: I222c3258d40c2d9b8ca18b4215198cca8877e78c
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Add integration-replace-block-text macro

Part of refactor of distribution jobs
workflow. This auto updates
csit run list for integration-test-jobs.yaml

Moved storage of tests to run from integration-test-jobs
to variables in releng-defaults.
Variables are named: csit-list-carbon,
csit-list-boron, csit-list-beryllium

Change-Id: Ib989ce0cc1b206596c8b3cc4f069e5c714309f7f
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

enable filtering CSIT jobs

This patch will enable filtering the list of CSIT jobs that DO
NOT match a supplied set of strings and DO match a supplied stream.
Streams correspond to development cycles like beryllium, boron,
carbon, etc.

Change-Id: Ia32164f97b9b506f7635e7a4bd6bd9e4ef005e7f
Signed-off-by: Matt Welch <matt.welch@intel.com>

Archiving dependencies.log

this is to make it easy to grab from a standard jenkins URL (e.g. lastSuccessfulArtifacts)
so that other tools can access it more easily

Change-Id: Id05a75f86788ddfd62098d013e841eec40d439a4
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge changes from topic 'packer'

* changes:
  Update java-builder csit image
  Move HBase/Cassandra/ElasticSearch to packer

Update java-builder csit image

Change-Id: I3c4dc7bed003e25905c432ce3fc64fb8ee6ccff6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Change iotdm-csit-basic to install odl-onem2mall-iotdm"

Merge "Add a macro opendaylight-infra-push-gerrit-patch"

Move HBase/Cassandra/ElasticSearch to packer

These wgets cause the spinup script to take long to run so move to
packer.

Change-Id: I624b7f5c3f023353c1029b7d34eff7635b741ab3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Reduce verbosity of shiplogs

The end of a build there's a lot of download details from wget. This
patch aims to reduce that unnecessary verbosity. We will still get
error messages / success messages just not the download status of wget.

Change-Id: I10b9cffc6b74abc6fe2dd7f90924498b9f99197f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a macro opendaylight-infra-push-gerrit-patch

This macro allows projects to push an automated patch to their project
repo via Jenkins.

This script requires the following JJB variables to be passed in:
     {project}       Gerrit project-name
     {gerrit-topic}  Gerrit topic, please make a unique topic.
     {gerrit-commit-message}  Commit message to assign to commit.

Change-Id: I97a4eea5196ee512e33ee17cfe24307c04704ec9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "move spinup scripts installation to image creation"

Merge "Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status""

Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status"

This patch causes us to have many uncleaned stacks in Rackspace.

This reverts commit c4e686122e32211b16769c0cf8292794d9350666.

Change-Id: I5458e96f4212ee517f3bf360186863716482e8f4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Change iotdm-csit-basic to install odl-onem2mall-iotdm

Install odl-onem2mall-iotdm feature instead of odl-iotdm-onem2m.
Feature odl-onem2mall-iotdm includes all features implemented
in iotdm.

Change-Id: I528d494ff2b6a4d744a91ff9e6e4354f0a7bb52d
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Merge "Update images names used with HOT and CSIT jobs."

Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status

This patch will make the post build cleanup script only clear
stacks with CREATE_COMPLETE and CREATE_FAILED statuses.

Let the periodic cleanup job clear CREATE_FAILED and DELETE_FAILED
statuses. This is to help Rackspace troubleshoot our orchestration
stacks getting stuck in Rackspace.

Change-Id: I6fe75fe380508533bd440297e32bdddce2a7cc71
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Rename images to not use periods

Our Heat template derives the hostname from the mid section of our image
names. Having periods in the name causes scripts to think we're
connecting to a fqdn rather than just a hostname so rename the scripts
to not use periods.

Change-Id: Ief69400533acbf8fca09ccd434e0f47238db1893
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove matrix system type

Matrix systems have not existed in our builders for a long time now.
Let's clean this up.

Change-Id: Ib472bf85643b5f1e7fb0baebf8e4968d82912240
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove autorelease spinup script

The spinup script was useful in the past when we were in the public
cloud and needed to utilize a 2nd storage disk. In the private cloud it
doesn't really do anything.

Change-Id: I574cb4d68cea39a0696729d53340ade963963317
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Override csit verify stream for Iotdm

Change-Id: Ia632b3d3e649e56cb634b4f8318365c05644fe15
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Make stream for CSIT verify configurable

Change-Id: I48ed352fbe6937fb9f675298741f9b037e01b3d9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

move spinup scripts installation to image creation

Change-Id: Iefd20051a9dbd6ea3930c100d772add43bd2e9b7
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Update images names used with HOT and CSIT jobs.

Change-Id: I232826fe2d1ec038cb78a82f5a3c648793589a8c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add puppet-opendaylight test job"

Make builder jobs use a machine with less RAM

I'm pretty sure we don't need 8GB for the builder jobs to run. Let's
find out.

Change-Id: I0c8ec45f6694f187fb28dae7087995ecec473f74
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove depricated bgp "all" feature for carbon bgpclustering-ha jobs"

Merge "Make distribution-check job logic more strict"

fix packer jobs syntax

Change-Id: I1a00700bbdf88c698a881f573f891c263f0b4a5c
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Remove depricated bgp "all" feature for carbon bgpclustering-ha jobs

Also clustered netconf topology is removed because it is not used in carbon

Change-Id: Id3bf98e4d2b0a14ff9cb1829051bc81b3acd37c9
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Add puppet-opendaylight test job

Installs deps and runs lint/rspec/beaker sanity tests.

Change-Id: I7b8488cbf54844618e6bd4ae1a566e8a19a844f1
Also-by: Daniel Farrell <dfarrell@redhat.com>
Signed-off-by: srisankethu <sanketh.uppalapati@research.iiit.ac.in>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Remove unused variables passed to packer validate

Change-Id: I64ee0b66630f4c705a9589cf41bc4c5321f6d6b0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

add ability to run stateful or transparent jobs alone and give all three (+transparent) to the current keyword

Change-Id: Iaefee6f3961eb7b79dbc433f9ea30f6c13a80b47
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

refactor to support one template for both 1/3 node-openstack

Change-Id: Ie030b6c5963a00d6f7ae6cc9978fcc9a97542bd6
Signed-off-by: Sandra Biton <sandra.biton@hpe.com>

Merge "Improve vm ip search code to be more generic"

Merge "Remove JClouds code"

Add job to cleanup stale stacks

Sometimes a job might fail to delete the heat stack at the end of the
job for an unknown reason. Add a cleanup job to run periodically and
remove these stacks if found.

This job is currently designed to run every 6 hrs.

Change-Id: Ib486c108acc15cd58bc12cc473e934d25cb38457
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update java-builder image to pull in jq

The 20170120 has the handy jq command so bump the version to get it.

Change-Id: Ib1e9cd570b1e3f7a672379b1680554fb123225a4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Prepend  to vm names"

Merge "adding change discovery tool to run and display merged patches from the running distribution"

Prepend  to vm names

Change-Id: I0f2535ce3c27ea6bcf496abd0ca8777d331e7faf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve vm ip search code to be more generic

Change-Id: Ic695203315c422d84cf6fcb168e849edca4156c8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove JClouds code

JClouds is no longer deployed in our jobs so remove our TODO items.

Change-Id: I2b93add5cbfffba7c9502f9d7ef99f011c39f5ef
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix image timestamp for docker

Change-Id: I5236615c87d6619f1fd5085bfae9c9c4cf190da5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update devstack and docker images

Change-Id: I9634dc48cf541e52f3d1a1955f81ca624651deb0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update images

Change-Id: I1b3b4d9fd9ff91bbc33716869ba8943c094c3891
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update images

Change-Id: I0d0975d1524178b5905a6bedb2be3b1fc4b42d8d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove deprecated pcep "all" feature from throughpcep carbon jobs"

Merge "Remove deprecated bgp "all" feature from bgpclustering carbon jobs"

Merge "Disable automatic system updates on Ubuntu"

Make distribution-check job logic more strict

Multiple build steps use a fake remote repository
in order to discover missing POM references and other failure modes.

Change-Id: I28c2eb56c48fac3953acc0d2dfd858e0a3d914ed
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove deprecated pcep "all" feature from throughpcep carbon jobs

Change-Id: Ida168a4f9d80ae055d809a2b33cbaccd3f53f631
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp "all" feature from bgpclustering carbon jobs

Change-Id: Ic52d6fcc584ed540a7ca32f1cbc55a3d409e32ac
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp "all" feature from ingest carbon jobs

Change-Id: Ia23d35532c8b08fa8c46e8298bf0dd1fc7e9898d
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp and pcep "all" features from userfeatures carbon jobs

Change-Id: If2fe7c17cef0dbb7952a53eedad75016d78e0508
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Disable automatic system updates on Ubuntu

The cloud-init package has a hard dependency on the automatic update
mechanism in Ubuntu 14.04. As removing this causes systems to not be
accessible when booted, instead we're just going disable all of the
options for the automatic update system

Change-Id: Ic6a8af2dfdaa7238e6273919b93da32a9d3f6692
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Fix docs-rtd curly brace escape

Didn't realize in the previous patch
I0ed5176a3216b6a115bd2bae527df4bb5b1d2c45 that we needed to escape curly
braces but keep {rtdproject} as it's a JJB variable we're passing in.

Change-Id: I7357262e12219c642f29d507087e5ea1a45496a6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make RTD docs job build correct branch

We can use version_slug post data to pass in the docs version to build
in ReadTheDocs.

Change-Id: I0ed5176a3216b6a115bd2bae527df4bb5b1d2c45
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

adding change discovery tool to run and display merged patches from the running distribution

this is hopefully a temporary place to run this tool. Ideally I would like to expose it at
the robot level and/or create jenkins artifact files with the relevant info collected
by changes.py. This will take more work, and this is an easy way to start taking advantage
of this new tool.

Change-Id: If3cd5c74b4591be16a0f0518402a4c92ad4c5fec
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Resouce optimize packer verify job to single instance"

Merge "Add jq to baseline"

Add --remove-source-files to rsync call

Autorelease is running out of space and part of the reason is that we're
duplicating artifacts while copying them around to produce the staging
repo. This is an attempt to save some space by removing some of our
duplication.

Change-Id: I71c02437bf027be765d41c90a4e161c79e97e719
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add VLAN private network support to devstack"

Resouce optimize packer verify job to single instance

* Use single instance of the job for verifying changes
  instead of starting a job for each platform and template
  combination.
* Validate provision scripts bash syntax

Change-Id: I14eceb03130b2c40404bde049b292637d5d6653c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Enable JJB weekly job

Long ago we disabled this job because we were having issues with the job
always timing out and failing. JJB has since introduced things like
parallel updates which should make this job more stable. It is good to
run something like this once a week to reset our jobs and ensure
there's no discrepency with what is in releng/builder vs the jobs in
production.

Change-Id: I11ca998c907a219c0be05d2473737a37ad6362d9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow stack 15 minutes to spawn before giving up

Change-Id: I09be14d48fd4c86773866786455638dbbeca5ceb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Put link to current job into distribution"

Add jq to baseline

This package is useful on all vm types so install it everywhere.

Change-Id: I756000271ebbc9a2fe0856d421404c85006c004c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Put link to current job into distribution

This is to help with tracking which Changes were tested.

Change-Id: Ieee0fae05068384dcb88b8c73e4f82f1dabaa650
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "OVS 2.5 image packer script is enhanced for openvswitch-vtep installation"

Add VLAN private network support to devstack

Add ML2_VLAN_RANGES configuration to devstack local.conf,
to support configuration of any VLAN networks using the
physical_network physnet1.

Change-Id: I03c637f529763e36046d45e26cd528d4b1d7776d
Signed-off-by: Alon Kochba <alonko@hpe.com>

Merge "Remove odl-netconf-connector-all feature from bgp userfeatures suite in carbon"

OVS 2.5 image packer script is enhanced for openvswitch-vtep installation

Change-Id: Ia622f9a00a24c3c3b31706d0dcc3440e408709cf
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Add git-review to centos systems

Change-Id: Ibd9a23c7064a3f5388553cb65cc483ca3c09ff4c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove git-review install from autorelease spinup script"

Remove git-review install from autorelease spinup script

Change-Id: I4d256cc26c84fbed7264011579fd3205da9d702c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Remove jobs testing Beryllium and Boron branches of IoTDM project"

installing haveged to try and avoid low entropy causing ssh rejections

Change-Id: I44c9a67ac58c02cab301f8b826344cd289ee7647
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Remove jobs testing Beryllium and Boron branches of IoTDM project

Test suites for Carbon are backward incompatible and there is not enough
capacity to maintain older versions of test suites

Change-Id: Ie10741f1eae77c584ed9a897bbed10d13228b228
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Merge "Add git-review to base system"

Remove the setting of ODL_VERSION from robot parameters

Change-Id: I54fae0f36f8d727867402eee24d54ab5e2e06274
Signed-off-by: lbuckuli <lbuckuli@cisco.com>
Signed-off-by: Peter Gubka <pgubka@cisco.com>