Add SXP cluster CSIT job

Adds jobs for SXP clustering suite
https://git.opendaylight.org/gerrit/#/c/46454/

Change-Id: Iec9a3e90f461044a0a7e4acafac9ca287f06a2f5
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Update Jenkins minion definition matrix

We switched to using packer from vagrant some time back. This along with
having changed how we're doing labels and instance names means that the
defition matrix for what supports the minion definitions is woefully out
of date.

Change-Id: I13e5e91865a6c55f6283f5648f91af6e6fdd78b5
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "jenkins job networking odl v2"

remove unused macros

Change-Id: I2cec2c939b7f16d517a2527606cf024fca81583e
Signed-off-by: Sandra Biton <sandra.biton@hpe.com>

Simplify val-autorelease and distro-check state definition

The validate-autorelease and distribution-check jobs use a
activate/disable mechanism from before when releng/builder was using a
custom scripting layer. This is no longer needed as projects can just
remove the unneeded templates directly in their 'project' definition
jjb so let's simplify the JJB code by removing the complexity here.

Also simplify streams to no longer be a list as that is no longer
necessary with the way we are now defining project definitions.

- templates now have a setting of 'disabled: false' to ensure they are
  always enabled if defined.
- remove validate-autorelease and distro-check templates from projects
  that are not participating in the distribution / autorelease.
- enable validate-autorelease job on projects that are participating in
  the distribution / autorelease but mistakenly had those jobs disabled.

Change-Id: Ia4edb4ad0207ddcf9ca4508886fb3f37488f4788
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add builder autorelease-deps to invoke script"

Merge "corrections to netvirt jobs naming following rename"

Merge "general improvement of published  graphs for 1node and 3node controller benchmark job"

Merge "move odl ml2 driver repo to parameter in order to run from local networking odl ml2 repository"

general improvement of published  graphs for 1node and 3node controller benchmark job

the main purpose is to split unreadable graphs in
controller-csit-Xnode-periodic-benchmark-x-y

to be merged after https://git.opendaylight.org/gerrit/#/c/47424/

Change-Id: I573518012039d99eb7db88ffdb4930cb0d496043
Signed-off-by: Peter Gubka <pgubka@cisco.com>

jenkins job networking odl v2

Change-Id: I390b2a7f4acd411ce87ed675f53631ed5936a24b
Signed-off-by: talr <tal.rosenzweig@hpe.com>

corrections to netvirt jobs naming following rename

Change-Id: Ib4ecf72fbb0acf584ffacf22ac760b3f4bf15b36
Signed-off-by: Alon Kochba <alonko@hpe.com>

Merge "Remove normal docs jenkins job from Boron"

Merge "Bump release tag for next Boron release"

Merge "reverting 47860"

reverting 47860

Change-Id: I0d2f657bbb26208f7a90d0d25e0f8280dd6dc1d5
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Bump release tag for next Boron release

Change-Id: I943ddc2d21e6a0db69317358abf1c572db2e06df
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

use new name of netvirt csit job for genius patch test

the netvirt-vpnservice jobs have been renamed [0] to just netvirt now.
fyi, the old netvirt impl jobs are now using netvirt-legacy in their names.

[0] https://git.opendaylight.org/gerrit/#/c/47643/

Change-Id: Ie5e42a9c2ea3d05d89f8c74d1606cc9fc7962819
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "removing the dynamic naming of the expected testplan"

move odl ml2 driver repo to parameter in order to run from local networking odl ml2 repository

Change-Id: I6e29e3166a2a4513a11867cffb98daf3dc4623c7
Signed-off-by: Sandra Biton <sandra.biton@hpe.com>

Remove normal docs jenkins job from Boron

Change-Id: I629d8ef822c532228bd7f63811ea02ae8f603c89
Signed-off-by: Colin Dixon <colin@colindixon.com>

add clustering patch test keyword

Change-Id: I8c82ea8abe46c0717335766c0f5439e0e158941c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

removing the dynamic naming of the expected testplan

now that these jobs are using expanding functionalities (e.g. upstream vs gating)
but expecting those multiple jobs to still use the same set of robot suites, we
can pin these jobs to a single testplan file.  otherwise, we'd need to create
a bunch of duplicate testplan files.

Change-Id: If9def1ae8aa3b30095dc781e0a48197220dce9a0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add cronjob to trigger all packer jobs periodically"

Merge "Remove normal docs jenkins job from Carbon"

Add cronjob to trigger all packer jobs periodically

Jobs are triggered monthly @ 10am UTC to ensure OS security
system updates are available on minions images.

Change-Id: I1be5ebe2029103d501fd12e410b5fa52ba940113
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Remove normal docs jenkins job from Carbon

Change-Id: Icd31f1d18d4d209ab4926c38d3d445c65707b4fb
Signed-off-by: Colin Dixon <colin@colindixon.com>

rename netvirt jobs and create new gating jobs

- jobs that use odl-ovsdb-openstack as their feature should now be using
  the name netvirt-legacy
- jobs that are using odl-netvirt-openstack are now changed from
  netvirt-vpnservice to just netvirt.
- all "periodic" (e.g. daily) CSIT should now have a duplicate
  job with the string "gate" in it's name and those jobs will not
  run periodically
- all patch test jobs will now use the "gate" job.  This allows
  for WIP netvirt patches to run the CSIT without polluting the
  normal CSIT with failures

Change-Id: I4e7624be053f5b11937825747ae79d8a95f094c6
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Update default params for RPM build job"

Merge "Rename _console-output.log to console.log"

refactor email recipients to parameter with default value

Change-Id: Ieea6f5ed1d14aaae8581c6077d27aea9490dc91a
Signed-off-by: Sandra Biton <sandra.biton@hpe.com>

remove all list from netvirt patch test as it's given by default

Change-Id: Ie121c564b7c74bec52e2e023a65782073a4a1c91
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "remove extra/erroneous csit line from stream section and change "all" to "genius""

Merge "adding pyhocon installation"

adding pyhocon installation

it is needed for the libraries/ConfGen.py from
https://git.opendaylight.org/gerrit/#/c/46551

Change-Id: I902d5f93cb0ba9edacf0a26404de7cdbfb9b65cd
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Fix library verify job"

Merge "add netvirt basic csit job to patch test"

Merge "Refactor OpenFlow sw/link scalability and longevity tests"

remove extra/erroneous csit line from stream section and change "all" to "genius"

Change-Id: I1b55641026debd0ed40952ad6db49e10ce002374
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add builder autorelease-deps to invoke script

Change-Id: Ide2dc4867b562fe5c13e391bea602d825c400769
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

add netvirt basic csit job to patch test

Change-Id: I318919efc2281608540780acddb19b7b922e57a9
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Update default params for RPM build job

Updating sysd commit was most important, had to know
to do so manually otherwise. Also updated to Boron
as default build. Make example date clearly an example.

Change-Id: Ief4519519d000cea2593bd1644a2ca5395ae1e2b
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Adding daexim jobs to Jenkins"

Fix library verify job

OF tests are designed for OVS 2.5

Change-Id: I50bf916d7bc882c08af3d151cb92fb5d766e9922
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Refactor OpenFlow sw/link scalability and longevity tests

- Add support for OVS 2.5
- Add topology discovery time and plot for it.
- Add JVM monitoring.
- Remove redundant sw scale test.

This goes with https://git.opendaylight.org/gerrit/#/c/47192

Change-Id: I4174efa5a6084fc8784f0360369ba717b350ebba
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Updated the mirror image of Cassandra Package"

Adding daexim jobs to Jenkins

Change-Id: I50fb832e284087c57ba0a9ebe68cf9c8f42c5cdb
Signed-off-by: Richard Kosegi <rkosegi@brocade.com>

Bump Beryllium release tag for next release

Change-Id: If9c8aa31191754aa0851e1e894447a65327617d2
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "add some netvirt csit to genius patch test job"

Archive all-bundles.tar.gz

Since https://git.opendaylight.org/gerrit/45610 we've lost the archives
of all of our bundles. We need to ensure this is available so that we
can perform the release.

Change-Id: I45c2fc273b8f5d8518a4ad3c09fc3dab8a60a683
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Updated the mirror image of Cassandra Package

Change-Id: Id5c1bca663b73f7592043377ae4f8391886463b8
Signed-off-by: Chaudhry Usama <chaudhryusama@gmail.com>

Fix l2switch job name

Change-Id: Ic68155d76028c4da8e78577270a09d82cd7ae0f8
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix l2switch patch test

Add missing commas
Add beryllium branch

Change-Id: I9f6a8b77462c43b6de60a502587b3505ae00dc8b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "add l2switch patch test job"

Merge "Set distro-check job time limit to 60 minutes"

add l2switch patch test job

Change-Id: I273894b0e870a4147d8f56d0b12ca3f00363ea1b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Bug 6926: Unify verify triggers and improve trigger words"

Merge "Revert "Robot installation: Pinpoint pycparser version""

add some netvirt csit to genius patch test job

Change-Id: Ie3d253eb53ff28f0bbaca70e11f85fed0f67f9cb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add --removekeywords wuks option to pybot command"

Rename _console-output.log to console.log

This allows someone to take a url like:

https://jenkins.opendaylight.org/releng/job/genius-verify-carbon-mvn33-openjdk8/253/console

and convert it to

https://logs.opendaylight.org/releng/jenkins092/genius-verify-carbon-mvn33-openjdk8/253/console

and be able to expect to see the console logs despite the BASE_URL
changing.

Change-Id: I093f851f816cc71a55cbadbfd085b58baa289835
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set distro-check job time limit to 60 minutes

Distro-check jobs should run fairly quick so the default 6 hr timeout is
way too long and wastes resources for much longer than required.

Spawned from discussions on integration-dev list
https://lists.opendaylight.org/pipermail/integration-dev/2016-October/008464.html

Change-Id: Ied5342dc6dcbd5ae7f97c8474daa4ca0d1b40da6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix for VTN Jobs Failure in Beryllium

The OVS version 2.5 is causing some issues
so reverted to the old mininet for Beryllium

Change-Id: Ic619cfe98ae05c99bbec3ec5c55487482d5a0335
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Merge "Force Jenkins to not change it's votes for merge"

Add --removekeywords wuks option to pybot command

This will only log last WUKS attempt saving lot of log space.

Change-Id: Ie93bf070f281d732aa233aee0de8f102ed61beba
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

add odl-jolokia to distribuition features

Change-Id: I6fcebb2ec9ade5719a7147b189af14aac084b13c
Signed-off-by: lbuckuli <lbuckuli@cisco.com>

Bug 6926: Unify verify triggers and improve trigger words

All patch-triggered jobs now ignore drafts and commit-message-only edits.
This is to prevent situations when only a subset of verify jobs is triggered,
as that could lead to false Verified+1.

Also, only 'recheck' now triggers all verify-type jobs.
Other words such as reverify, revalidate, redistcheck, retox, renode and redocs
only trigger one job, to save time when other job results are reliable.

Docs: Trigger words updated and distribution-check added.

Change-Id: I5769d7e4d148e01428de8b13747b1f04148e7581
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Force Jenkins to not change it's votes for merge

Jenkins by default resets the votes it has in Gerrit to 0. Gerrit 2.13 has
problems with this and causes us to catch an error. As such, we should make
sure that Jenkins does not try to change its votes when it starts during a
merge job. We assume that any merge run will be with our normal mechanically
set votes.

Change-Id: Id7aad85b0d87378660e017f20a0efe35b0a39dff
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Delete nova-manage command to Fix Newton jobs"

Merge "Bump Boron release tag for next release"

Merge "Add jobs for VTN with Openstack Newton"

Bump Boron release tag for next release

Change-Id: Ieac6f3374571e2571e7b43814742394c399ac039
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Redirect zip logs to file and store on logs.o.o

The zip logs take a lot of the console log lines at the end of a build.
The output might be useful for troubleshooting so lets redirect the
output to a file and store it in logs.opendaylight.org instead of
outputting it to the Jenkins console logs directly.

Change-Id: Ie56d2a5348c9a55854199539e647f21894febe68
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix integration-test downstream trigger in autorelease"

Fix integration-test downstream trigger in autorelease

Autorelease-release-{stream} jobs were not triggering downstream
integration-test triggers. This was due to the introduction of
opendaylight-infra-ship logs which moves files for archiving out of the
$WORKSPACE and into the archives directory for shipping to
logs.opendaylight.org. While this is normally fine, Parameterized build
triggers actually are designed to run as a final step in a build rather
than earlier so we need to ensure the input file is still around at the
end of the build.

The solution presented here copies the autorelease variables.prop to a
new variables.jenkins-trigger. One copy is for archiving while the other
copy is for triggering the final build.

Change-Id: Idcf419378fd8f60fab653350be856d60f7ba19aa
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix error Missing reply-to from an instance of 'publisher.email-ext'

In the master branch of JJB we now get an error message thrown when
reply-to is blank. Set it explicitly to '' to avoid the error message.

Change-Id: I7f84a0f549f1653d406dda140cc9b41ff1649407
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Delete nova-manage command to Fix Newton jobs

The "nova-manage service list"  command fails in Newton.
Removed this command to fix Newton job.

Change-Id: If0c4d497d94ee80ead06459e47054c9c70752b07
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Rename test *-python-* job to *-tox-*

Change-Id: I44e590a6c2b669fd5ff86529a29527b03aa55a40
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Prevent merge jobs from voting Verify

Change-Id: Ib5e00ee31fb389f2d404b9f2ffa489b03d5a63b6
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Introduce verify-tox to replace verify-python over time

The python-verify job has been executing "tox",
which runs tox environments specified in envlist.
At first, this was only "pep8" (hence python),
but now it can be "docs" or combinations with anything else.

Because of that, "python" is no longer a correct description in general.

This Change introduces template with "tox" instead of "python"
in its name, They are aliases to each other so are identical except in
name.

Change-Id: Ibe2121281ba24b4f6a102900721e57ff7a6977be
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Exclude yangide from builder-check-poms"

Merge "Add a note regarding deploy maven jobs"

Migrate all jobs to use new mvn shortnames

This is a follow up patch (for change 46811) to use new mvn33 profile
name for Maven path. The patch replaces all occurances of {mvn33},
{mvn32} with new shortname mvn33, mvn32.

Change-Id: I40ca16e8ab89c151f111f534752e3a5ea7cb24c4
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Preserve property files to trigger test jobs"

Preserve property files to trigger test jobs

The tigger to the ingetration-test jobs are in the publisher
section, while the workspace gets cleaned up at the end of builders
resulting in downstream jobs to fail, as the property file is not found
once the workspace is cleaned up.

As a workaround we have to preserve the variables.prop file for the
autorelease jobs to tigger the downstream jobs, which is accomplished
excluding the file.

Change-Id: I7c023bcb70ea8f4ec4bd9cf648e37a5748ee111c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add RAM for dsbenchmark job"

Merge "Add sfc features and update carbon project branch"

Add RAM for dsbenchmark job

Change-Id: I203e058f57c31fe60c9435a53eafd7676f85f277
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Purge un-needed references to lithium stream"

Purge un-needed references to lithium stream

+ Mostly removed comment lines from {project}.yaml (and similar) files.
+ Releng template comments updated to mention boron and carbon.
+ Removed if from autorelease distribution version detection script.
+ Added FIXMEs to references in neutron project files.
+ Updated comment on Bgpcep *-all features.
- Remaining references are for Openflowplugin Lithium redesign, relevant even for Carbon.

Change-Id: Ifb82e3ef9c3e248c7d2a9964d69333c3dd8f94c7
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Refactor flow service test"

Merge "Fix rsync script not picking up subprojects correctly"

Add jobs for VTN with Openstack Newton

- Removed the Liberty job
- Added the parameters for Newton

Change-Id: I267c81c5a2ef9f189bb9f6ad7a729403bf33a479
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Merge "Restore older OpFlex build streams and further fixes to carbon build"

Refactor flow service test

Change OVS 2.0 -> OVS 2.5
Add table miss feature for OVS 2.5
Adjust FRS test to check functionality (add flow stats delay)
This change requires https://git.opendaylight.org/gerrit/#/c/46797

Change-Id: Ida2bfc316f1770358d9f7e604f4201d5813cb6c0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix rsync script not picking up subprojects correctly

Patch the rsync script to pick up subprojects in the correct path. This
patch actually simplifies the rsync script to pull all of
org/opendaylight rather than looping each project.

Originally we were rsyncing from ~/.m2/repository so it was necessary to
run the loop to ensure we only pick up projects built by autorelease as
at one time the ODL CI was sharing the local maven repo and build
minions were reused so could accidently pick up old build artifacts.
This is no longer the case.

Change-Id: I0b7a313cf147bc0fd6e3f2dc671aa3ab5f8e50d3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix maven-exec path to path on minion nodes

The Maven tools directory on minion nodes is in /w so fix maven-exec to
point there. Also JJB doesn't handle space -> underscore (_) conversion
so use new mvn33 profile name for Maven path.

Follow on patches should be created to migrate all jobs to use new mvn
shortnames and remove the default variables for {mvn33}, {mvn32},
{mvn31} etc... This simplifies ODL JJB a little bit.

Change-Id: I77951c29b6dadca1246f88ac0f537d09f3c171ac
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix autorelease staging job"

Bug 6926 - Distribution-check should be run on trivial rebases and no-code changes

Change-Id: I1911102693c1e3b0a9669dad47435f073d1d9b69
Signed-off-by: Alexis de Talhouët <adetalhouet@inocybe.com>

Merge "Add Jobs for stable/newton branch of Openstack"