Distribution test optimization

Autorelease will trigger distribution test for autorelease distro
if the build does not fail. In case of failure, it will trigger
distribution test on latest snapshot (no parameters).

Change-Id: I55212207819753e293c9d64892972b5e54970115
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Archive control node nova.conf

Change-Id: Ic638f92f9ed0a8af0839f2c2123f445970f7c2f1
Signed-off-by: Sam Hague <shague@redhat.com>

Revert "Use OS_CLOUD variable for openstackclient"

This reverts commit c2f0ef0dfe76f143acdd25cedc91b07e0b362816.
This reverts commit 5043edcf621ddc51a2c134d2a8c880a1e2dfe677.

Change-Id: Ic126b2e84e3e6c5005bef3e763f5c8ebfb568aae
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Refactor stats collection test"

Merge "Recursively clone submodules as well"

Fix missing os-cloud parameter

Change-Id: Ic51ee271c533fc3a744663e980fa8d97501773a7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Use OS_CLOUD variable for openstackclient"

Recursively clone submodules as well

Some projects like docs / autorelease need to clone submodules too. So
add the submodule recursive setting to ensure they get their
dependencies. Should be a NOOP for projects that don't have submodules.

Change-Id: I4c3cd5f9f149cea5c5992729b73aa0afda5c86f1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update cloud image list docs

Change-Id: Ife2ee707c4dcd085a955cf599f8013c7c32c5b7e
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Disable shellcheck for specific scripts"

Refactor stats collection test

- Move to ovs 2.5 tools VM
- Make stats graph more clear
- Set 100K flows in all perf jobs (except Beryllium)

Change-Id: Ib56eb1aef0281db5c87846d3946788cac148be3f
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Add docs linting job"

Merge "Add Archiving... log message to archives.log"

Auto Update CSIT Jobs to run

Change-Id: I9dcc988c6b636b3b12d1fb07470237a84b4d18e2
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Add bier project system test job"

Merge "Auto Update CSIT Jobs to run"

Merge "Disable elasticsearch jobs for Boron and Beryllium"

Auto Update CSIT Jobs to run

Change-Id: I2714bdd634695e17d02c312b2b54579ab777c332
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Add SXP cluster-routing job

Adds JJB job for test suite https://git.opendaylight.org/gerrit/#/c/49334/

Change-Id: Ib6f599495b6cce52e80fb520ae88826d8a754cc3
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Disable elasticsearch jobs for Boron and Beryllium

Change-Id: I1523c9ffff4e6b95b75652945947691cc200518a
Signed-off-by: lbeles <lbeles@frinx.io>

Fix virtualenv should be python-virtualenv

Change-Id: Id86bc42f0697665e72e22b2eb649492b2e7d3a5d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Install python-netaddr with centos7 robot

Change-Id: Iddb99f171c949c8f4789335de35be97b3f5391d2
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add docs linting job

Use the tox job template to run docs linting.

Change-Id: I3ae6f9cdfcf5e3846b50f9fa5bbebb8792dd666a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Archive everything in the patches directory"

Disable shellcheck for specific scripts

This ensures new scripts going into integration pass shellcheck and we
can fix shellcheck issues with existing scripts as we go.

Also fix shellcheck linting when trivial.

Change-Id: Ia77a514ed90ed3685ef4d3dd8ea9548544ebc7c0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update docs with new Ubuntu 16.04 images"

Merge "Remove depricated flags and add fix missing"

Merge "Improve autorelease notify"

Remove npm install commands

- npm is no longer available as a part of the centos image
- update to commit 3102dbb45ebac66ba53c9b428982ccb3248e17e7

Change-Id: I287d406dd04e2ece458b7398a486167b8b050ef8
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Improve autorelease notify

- Search console log for mvn goals to retrive failed ARTIFACT_ID
- Determine project mailing list with xmlstarlet using xpaths
- If ARTIFACT_ID is same across project groups, then determine
  all project groups into a list as follows:
  if project.groupId:
     project.groupId is set and is not inherited
  else if project.parent.groupId:
     project.groupId is not set but IS inherited from
     project.parent.groupId
  else
     exclude project mailing list

Change-Id: Id2b9f1abd08792cc772f2c375c21d0321de419ad
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Revert "Install npm on java builder system""

Merge "Pip freeze after all pip installs"

Merge "Fix typo in find command"

Update docs with new Ubuntu 16.04 images

- Ubuntu 16.04 with ovs 2.5 and mininet 2.2.1-2
- Ubuntu 16.04 with gbp
- Update descriptions

Change-Id: I33ea79769762e9039da1ac1f2270f3dae182f8a9
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Remove depricated flags and add fix missing

* Fix warning "W: --force-yes is deprecated, use one of the options
  starting with --allow instead."
* use -m to ignore missing packages
* get package policy information

Change-Id: Ibab58db7675864d882438ba04e4059002faf78e6
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Remove email notifications in autorelease jobs"

Archive everything in the patches directory

Everything in the patches directory is useful so just archive it all.

Change-Id: Ib77ecad26121772786a0c6a011b49a3c377a327b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove email notifications in autorelease jobs

The email notifications send an email to the jenkins mailing list. We
don't really pay attention to these so remove them. We now have the
ar-notify scripts in place which provides sufficient notification for
these jobs anyway.

Change-Id: Ie9b06e99c3e92b4911b355524bb79b335c2505e3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pip freeze after all pip installs

pip freeze allows us to confirm what version is finally installed on the
servers so it should be run after all the pip install commands are run
for it to be most useful.

Change-Id: Id54bdd4b25655e9f6fee3bf13d6edbae0a80767f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add Archiving... log message to archives.log

Cut down on text spam at the end of the build. We can always investigate
the log file if necessary.

Change-Id: I58c97f34ef90f2b937a330f0faaf6ed3c22f68c8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix unintentional JJB escape

Change-Id: I4afea4116bea2cc8439c300cc0f203275b92b664
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix typo in find command

Change-Id: I157cc5cb349f14a8955e3863361b84d2bb510e20
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Install npm on java builder system"

Removing since we do not actually need this and would rather keep the
build system npm / node clean if we can.

This reverts commit 5eae3b1af01960854d2a4740928fc6b7d0735a88.

Change-Id: Ie8be4bb9434b83970acd8dabe4cda1474df5b99e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add jenkins job to test deb"

Remove escape from \${FEATURESCONF}

Change-Id: Ib732b576c7294d95f7821ff7f8d49528892aa903
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add jenkins job to test deb

Change-Id: I33896dc3cfae5a05733bb6adab85307f914f538a
Signed-off-by: Akshita Jha <zenith158@gmail.com>

Merge "Remove SYSD_COMMIT var"

Remove SYSD_COMMIT var

This is no longer needed as RPM logic now uses latest Int/Pack repo
commit hash as sysd_commit.

Change-Id: Ia11eb40437b48a9804c88775fe87536965f39345
Signed-off-by: Akshita Jha <zenith158@gmail.com>

Merge "Change featuresBoot sed to be multi-line"

Install npm on java builder system

Change-Id: I8ca44b729768017379273df1151484bc18055155
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add Coala deps to java-builder, cleanup docs

Change-Id: Ic10d8c610f99a241b25d4e42c4e9e48a69f7dd00
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Change featuresBoot sed to be multi-line

this is how karaf4 featuresBoot is by default instead
of older version that were on a single line.

Change-Id: Icbb6ddc070f8a37f60aad9f1392a293e568e9ade
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Disable ubuntu16.04 packer merge job for gpb"

Disable ubuntu16.04 packer merge job for gpb

Change-Id: Ic01a5c20bc76e534c88eae20fa0c08559b0443f5
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Use OS_CLOUD variable for openstackclient

Use the OS_CLOUD variable instead of passing --os-cloud to the openstack
client. This allows us to more easily define alternative clouds per job
if there is a need to use additional clouds for different jobs.

Change-Id: I3cb41914b9886aefa98bf9684a5c09f8859f9c46
Signed-off-by: Guy Belotzerkovsky <guy@hpe.com>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Build Ubuntu 16.04 for mininet-ovs-2.5"

Merge "Add job to automatically cleanup old images"

Build Ubuntu 16.04 for mininet-ovs-2.5

- Use default version of mininet and openvswitch
- Add workaround for mtcbench build issue
  https://github.com/intracom-telecom-sdn/mtcbench/issues/10
- Enable Ubuntu1604 image only for mininet-ovs-2.5
- Enable Ubuntu1404 image only for mininet, mininet-ovs-2.3
- trello: https://trello.com/c/chIxf7ca

Change-Id: Ide927e10cd35f131a4507bb898ad5d4520843f07
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Bug 8033: Change path_mtu to fix mtu tempest test"

Bug 8033: Change path_mtu to fix mtu tempest test

Change-Id: Ia33f7a0d2ad484b209b792ef58f629a5a1df77e9
Signed-off-by: Revital Aronis <revital.aronis@hpe.com>

Merge "Bug 7974: Create check job for distribution"

Merge "Add jmespath module used by TeplatedRequests lib"

Merge "Update docs with renamed ubuntu labels"

Merge "Trigger verify on commit-message-only changes"

Auto Update CSIT Jobs to run

Change-Id: I51fea1d215431db8bf2181bb6562edc3b63209c6
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Change iotdm-csit-basic to use odl-iotdmcsitdist"

Trigger verify on commit-message-only changes

Some project check commit message formatting in -tox- jobs.

This change is global across all Gerrit-triggered jobs,
so all other verify-type jobs are triggered as well.
That is to avoid false Verify+1 votes
when the previous patch set failed on a code-sensitive job.

Also, values without variables do not need to be quoted.

Change-Id: I8eb8cb21c99acd9d2f92a76c941312ce21efa89c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Change iotdm-csit-basic to use odl-iotdmcsitdist

Install odl-iotdmcsitdist  feature instead of odl-onem2mall-iotdm
Feature odl-iotdmcsitdist includes all features implemented
in iotdm and adds testing specific features.

Change-Id: I8e905ab5cff5d0cc6c98b71dfd6501b0e7c34a60
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Update docs with renamed ubuntu labels

Change-Id: Ib5d0079c8895e7d0f2c64c8234eeb92313e8d712
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Remove zombie ovsdb scalability job with no csit

Change-Id: Ie255a98f71b348e55e6e244147bb167c7853fc8f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add CSIT job support for distribution-check links

Change-Id: I73ca4f223ed8bdb135839ae3896f03de7ace3f4c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Auto Update CSIT Jobs to run

Change-Id: I8db9feb978ac5f88d48fa9e3fbefcc64b973c33f
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Fix openflowplugin gate job names

Change-Id: I2c988f7368374241dbe5c259b6c28cc00b0b66e0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Create gate and sanity job for openflowplugin"

Merge "Add option to not skip git.properties"

Merge "Compress Java heap dumps using xz"

Bug 7974: Create check job for distribution

The new jobs uses some steps of the usual
{project}-distribution-check-{stream}
which are now defined as macros.

Change-Id: I3ab85ba932b382c793bd5a713e8ee813cecd566c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Create gate and sanity job for openflowplugin

Also removing some obsolete jobs.

Change-Id: I145b18abe102f18b8e77dcd2383c504cdbf52b52
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add jmespath module used by TeplatedRequests lib

Change-Id: Ic9f11fa4e9eb83590ce4a03b11c33d576b0b009a
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Compress Java heap dumps using xz

xz is included in the baseline image.

Change-Id: Ie9cf324331d3a82c89b2265259448dd708759d66
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Merge "Enable tox verify for odlparent"

Merge "Replace image code name with version numbers"

Add vlan interface to the gateway

Change-Id: I308cbd0273d7d5e016f45657bdc7f04c9b09042b
Signed-off-by: Revital Aronis <revital.aronis@hpe.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Refactor netvirt job params to use default values"

Add option to not skip git.properties

The q(uick) profile skips the git-commit-id-plugin.
This patch adds the skip override so that the plugin
wil run and the git.properties file included in the jars
so that the distchanges tool works properly.

There is also some cleanup to make the distribution builders
be more consistent and use the quick profile.

Change-Id: I5476f8c911ed7899a78577a6e61e1e88b620b747
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Only send autorelease failure email in releng silo"

Enable tox verify for odlparent

Change-Id: I8065c837de819c8fbf21ee904c6797ce6754b870
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Update cloud image list docs

Change-Id: I98f13ad2642b683e4b6d4f7805f02b602a18c7e5
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Replace image code name with version numbers

Change-Id: Icf2f6f708ab7dce560ccc9cb1072b32b7a5a0c24
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Refactor netvirt job params to use default values

Change-Id: Icbd7609272a46a4f628a8fc9276211ecf2f4149b
Signed-off-by: Alon Kochba <alonko@hpe.com>
Signed-off-by: Sam Hague <shague@redhat.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Only send autorelease failure email in releng silo

Don't send emails to release and project lists during sandbox testing.

Change-Id: I595b23f1314f9c6ab2e92b6de4658842ab679400
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Temporary workaround for Nexus SNI issue"

Merge "Set recommended ~/.ssh folder permissions"

Run a sync before restarting spectrometer-api

Fixes issue with mirroring when a new repo is created in Gerrit.

Change-Id: I730df43d856e026ab1b002cd6a03cb6ea9666328
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Temporary workaround for Nexus SNI issue

This should be reverted once Sonatype has an updated nexus staging
plugin for us.

Trello: https://trello.com/c/VBeO8STM
Change-Id: Ia7c0916d6b181bfd153183ea5defb39ed8f7b7d5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix mailing list address

Change-Id: I3ccd5cb92aa9b1f9a70ab8cd3390aab30954a521
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update devstack images to latest available

Change-Id: I94092f80cdb52b8d9a11a8c7fa5a53f70f18fb9e
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Bump staging plugin to latest version

Hopefully this fixes the SNI issue on deploy due to certificate change
on nexus.opendaylight.org.

Change-Id: I7648841c98563b77f18066e6aae36dd3c091b88e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set recommended ~/.ssh folder permissions

- set ~/.ssh permissions to 700, which is being set as 755 by default

Change-Id: I2ed9c0ad5494b02f503fa9616f6ca5dee5e9af9d
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add job to automatically cleanup old images

Depends on lftools>=0.0.8. Adds a jjb job to automatically cleanup
non-public images in the Private Cloud and Rackspace Public clouds.

Criteria:

    - Uses the sandbox account and checks only the sandbox tenant
    - Images 30 days or older
    - Non-public images

In ODL we mark images public when we want to allow the community to use
them. These are officially supported images that has passed testing
typically in the sandbox.

Change-Id: Id4ce204393408a087739ea18d1dd9700d346ad30
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>