Remove project distribution job

- Remove the project distribution job.
- Remove the dependencies on the distribution job.
- Remove daily triggers, new distribution test will be daily.
- This has to be merged after new global distribution job.

Change-Id: If663d4577c93644a89554206a7a6a27fe45faf05
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Update git commmand in opendaylight-infra-push-gerrit-patch macro

Change-Id: I222c3258d40c2d9b8ca18b4215198cca8877e78c
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

Add integration-replace-block-text macro

Part of refactor of distribution jobs
workflow. This auto updates
csit run list for integration-test-jobs.yaml

Moved storage of tests to run from integration-test-jobs
to variables in releng-defaults.
Variables are named: csit-list-carbon,
csit-list-boron, csit-list-beryllium

Change-Id: Ib989ce0cc1b206596c8b3cc4f069e5c714309f7f
Signed-off-by: Marcus G K Williams <marcus.williams@intel.com>

enable filtering CSIT jobs

This patch will enable filtering the list of CSIT jobs that DO
NOT match a supplied set of strings and DO match a supplied stream.
Streams correspond to development cycles like beryllium, boron,
carbon, etc.

Change-Id: Ia32164f97b9b506f7635e7a4bd6bd9e4ef005e7f
Signed-off-by: Matt Welch <matt.welch@intel.com>

Merge changes from topic 'packer'

* changes:
  Update java-builder csit image
  Move HBase/Cassandra/ElasticSearch to packer

Update java-builder csit image

Change-Id: I3c4dc7bed003e25905c432ce3fc64fb8ee6ccff6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Change iotdm-csit-basic to install odl-onem2mall-iotdm"

Merge "Add a macro opendaylight-infra-push-gerrit-patch"

Move HBase/Cassandra/ElasticSearch to packer

These wgets cause the spinup script to take long to run so move to
packer.

Change-Id: I624b7f5c3f023353c1029b7d34eff7635b741ab3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Reduce verbosity of shiplogs

The end of a build there's a lot of download details from wget. This
patch aims to reduce that unnecessary verbosity. We will still get
error messages / success messages just not the download status of wget.

Change-Id: I10b9cffc6b74abc6fe2dd7f90924498b9f99197f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a macro opendaylight-infra-push-gerrit-patch

This macro allows projects to push an automated patch to their project
repo via Jenkins.

This script requires the following JJB variables to be passed in:
     {project}       Gerrit project-name
     {gerrit-topic}  Gerrit topic, please make a unique topic.
     {gerrit-commit-message}  Commit message to assign to commit.

Change-Id: I97a4eea5196ee512e33ee17cfe24307c04704ec9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "move spinup scripts installation to image creation"

Merge "Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status""

Revert "Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status"

This patch causes us to have many uncleaned stacks in Rackspace.

This reverts commit c4e686122e32211b16769c0cf8292794d9350666.

Change-Id: I5458e96f4212ee517f3bf360186863716482e8f4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Change iotdm-csit-basic to install odl-onem2mall-iotdm

Install odl-onem2mall-iotdm feature instead of odl-iotdm-onem2m.
Feature odl-onem2mall-iotdm includes all features implemented
in iotdm.

Change-Id: I528d494ff2b6a4d744a91ff9e6e4354f0a7bb52d
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Merge "Update images names used with HOT and CSIT jobs."

Only delete stack at end of job if CREATE_[COMPLETE|FAILED] status

This patch will make the post build cleanup script only clear
stacks with CREATE_COMPLETE and CREATE_FAILED statuses.

Let the periodic cleanup job clear CREATE_FAILED and DELETE_FAILED
statuses. This is to help Rackspace troubleshoot our orchestration
stacks getting stuck in Rackspace.

Change-Id: I6fe75fe380508533bd440297e32bdddce2a7cc71
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Rename images to not use periods

Our Heat template derives the hostname from the mid section of our image
names. Having periods in the name causes scripts to think we're
connecting to a fqdn rather than just a hostname so rename the scripts
to not use periods.

Change-Id: Ief69400533acbf8fca09ccd434e0f47238db1893
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove matrix system type

Matrix systems have not existed in our builders for a long time now.
Let's clean this up.

Change-Id: Ib472bf85643b5f1e7fb0baebf8e4968d82912240
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove autorelease spinup script

The spinup script was useful in the past when we were in the public
cloud and needed to utilize a 2nd storage disk. In the private cloud it
doesn't really do anything.

Change-Id: I574cb4d68cea39a0696729d53340ade963963317
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Override csit verify stream for Iotdm

Change-Id: Ia632b3d3e649e56cb634b4f8318365c05644fe15
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Make stream for CSIT verify configurable

Change-Id: I48ed352fbe6937fb9f675298741f9b037e01b3d9
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

move spinup scripts installation to image creation

Change-Id: Iefd20051a9dbd6ea3930c100d772add43bd2e9b7
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Update images names used with HOT and CSIT jobs.

Change-Id: I232826fe2d1ec038cb78a82f5a3c648793589a8c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add puppet-opendaylight test job"

Merge "Remove depricated bgp "all" feature for carbon bgpclustering-ha jobs"

Merge "Make distribution-check job logic more strict"

fix packer jobs syntax

Change-Id: I1a00700bbdf88c698a881f573f891c263f0b4a5c
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>

Remove depricated bgp "all" feature for carbon bgpclustering-ha jobs

Also clustered netconf topology is removed because it is not used in carbon

Change-Id: Id3bf98e4d2b0a14ff9cb1829051bc81b3acd37c9
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Add puppet-opendaylight test job

Installs deps and runs lint/rspec/beaker sanity tests.

Change-Id: I7b8488cbf54844618e6bd4ae1a566e8a19a844f1
Also-by: Daniel Farrell <dfarrell@redhat.com>
Signed-off-by: srisankethu <sanketh.uppalapati@research.iiit.ac.in>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Remove unused variables passed to packer validate

Change-Id: I64ee0b66630f4c705a9589cf41bc4c5321f6d6b0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

add ability to run stateful or transparent jobs alone and give all three (+transparent) to the current keyword

Change-Id: Iaefee6f3961eb7b79dbc433f9ea30f6c13a80b47
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

refactor to support one template for both 1/3 node-openstack

Change-Id: Ie030b6c5963a00d6f7ae6cc9978fcc9a97542bd6
Signed-off-by: Sandra Biton <sandra.biton@hpe.com>

Merge "Improve vm ip search code to be more generic"

Merge "Remove JClouds code"

Add job to cleanup stale stacks

Sometimes a job might fail to delete the heat stack at the end of the
job for an unknown reason. Add a cleanup job to run periodically and
remove these stacks if found.

This job is currently designed to run every 6 hrs.

Change-Id: Ib486c108acc15cd58bc12cc473e934d25cb38457
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update java-builder image to pull in jq

The 20170120 has the handy jq command so bump the version to get it.

Change-Id: Ib1e9cd570b1e3f7a672379b1680554fb123225a4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Prepend  to vm names"

Merge "adding change discovery tool to run and display merged patches from the running distribution"

Prepend  to vm names

Change-Id: I0f2535ce3c27ea6bcf496abd0ca8777d331e7faf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve vm ip search code to be more generic

Change-Id: Ic695203315c422d84cf6fcb168e849edca4156c8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove JClouds code

JClouds is no longer deployed in our jobs so remove our TODO items.

Change-Id: I2b93add5cbfffba7c9502f9d7ef99f011c39f5ef
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix image timestamp for docker

Change-Id: I5236615c87d6619f1fd5085bfae9c9c4cf190da5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update devstack and docker images

Change-Id: I9634dc48cf541e52f3d1a1955f81ca624651deb0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update images

Change-Id: I1b3b4d9fd9ff91bbc33716869ba8943c094c3891
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update images

Change-Id: I0d0975d1524178b5905a6bedb2be3b1fc4b42d8d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove deprecated pcep "all" feature from throughpcep carbon jobs"

Merge "Remove deprecated bgp "all" feature from bgpclustering carbon jobs"

Merge "Disable automatic system updates on Ubuntu"

Make distribution-check job logic more strict

Multiple build steps use a fake remote repository
in order to discover missing POM references and other failure modes.

Change-Id: I28c2eb56c48fac3953acc0d2dfd858e0a3d914ed
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove deprecated pcep "all" feature from throughpcep carbon jobs

Change-Id: Ida168a4f9d80ae055d809a2b33cbaccd3f53f631
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp "all" feature from bgpclustering carbon jobs

Change-Id: Ic52d6fcc584ed540a7ca32f1cbc55a3d409e32ac
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp "all" feature from ingest carbon jobs

Change-Id: Ia23d35532c8b08fa8c46e8298bf0dd1fc7e9898d
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Remove deprecated bgp and pcep "all" features from userfeatures carbon jobs

Change-Id: If2fe7c17cef0dbb7952a53eedad75016d78e0508
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Disable automatic system updates on Ubuntu

The cloud-init package has a hard dependency on the automatic update
mechanism in Ubuntu 14.04. As removing this causes systems to not be
accessible when booted, instead we're just going disable all of the
options for the automatic update system

Change-Id: Ic6a8af2dfdaa7238e6273919b93da32a9d3f6692
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Fix docs-rtd curly brace escape

Didn't realize in the previous patch
I0ed5176a3216b6a115bd2bae527df4bb5b1d2c45 that we needed to escape curly
braces but keep {rtdproject} as it's a JJB variable we're passing in.

Change-Id: I7357262e12219c642f29d507087e5ea1a45496a6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make RTD docs job build correct branch

We can use version_slug post data to pass in the docs version to build
in ReadTheDocs.

Change-Id: I0ed5176a3216b6a115bd2bae527df4bb5b1d2c45
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

adding change discovery tool to run and display merged patches from the running distribution

this is hopefully a temporary place to run this tool. Ideally I would like to expose it at
the robot level and/or create jenkins artifact files with the relevant info collected
by changes.py. This will take more work, and this is an easy way to start taking advantage
of this new tool.

Change-Id: If3cd5c74b4591be16a0f0518402a4c92ad4c5fec
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Resouce optimize packer verify job to single instance"

Merge "Add jq to baseline"

Add --remove-source-files to rsync call

Autorelease is running out of space and part of the reason is that we're
duplicating artifacts while copying them around to produce the staging
repo. This is an attempt to save some space by removing some of our
duplication.

Change-Id: I71c02437bf027be765d41c90a4e161c79e97e719
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add VLAN private network support to devstack"

Resouce optimize packer verify job to single instance

* Use single instance of the job for verifying changes
  instead of starting a job for each platform and template
  combination.
* Validate provision scripts bash syntax

Change-Id: I14eceb03130b2c40404bde049b292637d5d6653c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Enable JJB weekly job

Long ago we disabled this job because we were having issues with the job
always timing out and failing. JJB has since introduced things like
parallel updates which should make this job more stable. It is good to
run something like this once a week to reset our jobs and ensure
there's no discrepency with what is in releng/builder vs the jobs in
production.

Change-Id: I11ca998c907a219c0be05d2473737a37ad6362d9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow stack 15 minutes to spawn before giving up

Change-Id: I09be14d48fd4c86773866786455638dbbeca5ceb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Put link to current job into distribution"

Add jq to baseline

This package is useful on all vm types so install it everywhere.

Change-Id: I756000271ebbc9a2fe0856d421404c85006c004c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Put link to current job into distribution

This is to help with tracking which Changes were tested.

Change-Id: Ieee0fae05068384dcb88b8c73e4f82f1dabaa650
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "OVS 2.5 image packer script is enhanced for openvswitch-vtep installation"

Add VLAN private network support to devstack

Add ML2_VLAN_RANGES configuration to devstack local.conf,
to support configuration of any VLAN networks using the
physical_network physnet1.

Change-Id: I03c637f529763e36046d45e26cd528d4b1d7776d
Signed-off-by: Alon Kochba <alonko@hpe.com>

Merge "Remove odl-netconf-connector-all feature from bgp userfeatures suite in carbon"

OVS 2.5 image packer script is enhanced for openvswitch-vtep installation

Change-Id: Ia622f9a00a24c3c3b31706d0dcc3440e408709cf
Signed-off-by: Dhevendran Kulandaivel <dhevendran.k@tcs.com>

Add git-review to centos systems

Change-Id: Ibd9a23c7064a3f5388553cb65cc483ca3c09ff4c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove git-review install from autorelease spinup script"

Remove git-review install from autorelease spinup script

Change-Id: I4d256cc26c84fbed7264011579fd3205da9d702c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Remove jobs testing Beryllium and Boron branches of IoTDM project"

installing haveged to try and avoid low entropy causing ssh rejections

Change-Id: I44c9a67ac58c02cab301f8b826344cd289ee7647
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Remove jobs testing Beryllium and Boron branches of IoTDM project

Test suites for Carbon are backward incompatible and there is not enough
capacity to maintain older versions of test suites

Change-Id: Ie10741f1eae77c584ed9a897bbed10d13228b228
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Merge "Add git-review to base system"

Remove the setting of ODL_VERSION from robot parameters

Change-Id: I54fae0f36f8d727867402eee24d54ab5e2e06274
Signed-off-by: lbuckuli <lbuckuli@cisco.com>
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "schedule transparent boron/carbon to run every 4 hours"

Remove odl-netconf-connector-all feature from bgp userfeatures suite in carbon

Change-Id: Iec4cb783386899bace50222486b8adce971dd857
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Remove JClouds configuration"

schedule transparent boron/carbon to run every 4 hours

Change-Id: Ic41d3dc1a87bbe91da66008847e60ece3ae2935b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Do not clone builder repo in Heat task

The releng spinup scripts already clone the builder repo to /builder on
the host system. Save us from wasting extra build resources by not
cloning the repo again.

Change-Id: I6790f4729148441b6b69706fc0ef854427e4077b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Enable Heat for csit-1node-periodic template"

Merge "let number of hypervisors be 1 in the case that it's a single node openstack deployment"

Merge "removing unused and old script"

removing unused and old script

Change-Id: I555a442a61a7c95220286b049e52fbacec2bf195
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Remove JClouds configuration

With the Heat migration complete we no longer need any of the JClouds
related configuration. Cleanup the obsolete config.

Change-Id: I12c55eabb7bc0a7c9e6820fb34c87760fc5e32c3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable Heat for csit-1node-periodic template

Change-Id: I9c95849443816e10061dc0bf2dabedf910eede8c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable Heat for csit-1node and csit-verify-1node

1node-periodic will be complete in a separate patch.

Change-Id: I0729a1cd279d09a6f31593900a9c33e9f7cd1d4c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix netvirt csit-1node openstack jobs

Missed some job config during the openstack template migration for Heat.

Change-Id: Idb275a37ddde50fbe3f0801aa94ee96880887723
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

let number of hypervisors be 1 in the case that it's a single node openstack deployment

a recent patch [0] was merged to double check that devstack has brought up the correct
number of hypervisors in the multinode openstack deployments. this patch didn't take
in to account that some jobs (e.g., vtn's openstack job) is doing control and compute
in a single node. this should fix that.

Change-Id: Ib7fd8a8c1d854199c0b501d2f3f71104c1914d87
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Enable Heat for integration-csit-verify-1node-library job"

Merge "Remove old branches from yangtools csit"

Remove old branches from yangtools csit

There are no plans for backporting yang-system-test artifact to pre-carbon branches.

Change-Id: Ied82a25b7a1d4e362d66dd3477a5b5e343fadd37
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Make system detection script detect gbp for Heat

Our Heat script uses the gbp part of the image name such as "Ubuntu
14.04 - gbp - 20161031-0916" to detect which image spinup script to
initialize. This patch makes removes the os portion of the hostname as
it is not used in Heat instance names.

Change-Id: I36fd58271bd7a67721e65dbc4724e088c0f1f8bb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable Heat for integration-csit-verify-1node-library job

Change-Id: I0c330fe29535c381d08dbb2c6d04463cc282db83
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Enable Heat for docker templates"