Fix shellcheck issues for integration scripts

These fixes are required for change
I9d0139e7c05743ed9f3b5f2f1ced21c94b86758c

Change-Id: I9d8cc971c3b239d8f7c425c576772b012acf16f0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Package zips if no tar.gz available"

Package zips if no tar.gz available

Packaging logic can now handle zips, so accept URLs to zips if no tar.gz
is available at parallel URL. Needed for packaging distros built by
multipatch-test jobs.

Also fix some minor formatting errors.

Change-Id: Id561c946f42a3f2d38c39e67bcc32bff15ca576e
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Specify distribution branch for Nitrogen Yangtools

Otherwise v1.2.0 (yangtools branch) is understood
as integration/distribution branch, which fails distribution-check.

Change-Id: Icb0833ec26b92231088e6d93e04bf210133ce77d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove verify jobs in favor of maven-verify jobs

global-jjb v0.7.0 includes maven-verify jobs which odlparent is now
picking up and working. There is no need to continue to use the verify
job defined locally in releng/builder.

Change-Id: Ie9cb3b24db42caeadc6b15fe03ccd89ba9018068
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update RPM repo cfg file URL

Recent refactoring in Int/Pack changed the path, update accordingly.

Change-Id: Ia27c992ca91faddbcf5a9c685190110113ab0a29
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge changes from topic 'refactoring'

* changes:
  Build rpm & rpm-snap using refactored logic
  Build deb using refactored logic

Build rpm & rpm-snap using refactored logic

This commit updates build-rpm and build-rpm-snap
jobs for the refactored logic.

Change-Id: I5b8ac54644620cc90f82a12219570cfd38c2d220
Signed-off-by: Alok Anand <alok4nand@gmail.com>

Build deb using refactored logic

This commit updates build deb job for the refactored logic.

Change-Id: I879db3533047eabe67fc39d864a3152292af1975
Signed-off-by: Alok Anand <alok4nand@gmail.com>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Update to global-jjb v0.7.0

Release notes:
https://github.com/lfit/releng-global-jjb/blob/master/relnotes/v0.7.0.txt

Add lftools-version configuration to all users of lf-infra-parameters.

Change-Id: Ife368e8433e458fc39fa0b72c199863ba1428faa
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add lftools version configuration"

Merge "Add unique ID to vm hostnames"

Fix yangtools nitrogen stream

The nitrogen branch is different, this mistake means jobs do not
trigger properly.

Change-Id: I535ef4ee66e9c60acd384b4b1c8ae08c58740103
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Merge "Remove unused script"

Merge "DONT archive merge job artifacts on Jenkins"

Merge "Quagga image name is updated for ubuntu16-04"

Add gate priority for snat-conntrack

Change-Id: I79e95b7906d01e40e73b73f7778c38543df7df42
Signed-off-by: Sam Hague <shague@redhat.com>

Quagga image name is updated for ubuntu16-04

Change-Id: I2ba18902235ccdd60102c79a55e80b1e3526cdc4
Signed-off-by: maheshl <mahesh.loni@altencalsoftlabs.com>

Remove unused script

stack-delete is no longer used. We have been using a regularly running
global stack delete job for months now with great success so we likely
no longer need this.

Change-Id: Ie97b3ac76c60805128a7d696ebe0154b568abc6b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add nitro & oxy netvirt csit high freq

with high activity in netvirt it's requested to have their
main job run with more frequency than once a day. this helps
to narrow down specific problem patches when there is a
regression

Change-Id: I4f9b9a66c16b7d1ce299e199a933d1f360ae631d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add lftools version configuration

This will be needed for global-jjb v0.7.0 as it now requires an lftools
version declaration.

Change-Id: I2f578debf6ae46e9afcfcaf5a47379d4eee3fe99
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add tox testing to autorelease

Change-Id: I424627808f3dba5ba4f43c758a6d8f27d8f060d2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add USE_SCREEN=True in local.conf"

Add unique ID to vm hostnames

Change-Id: I2024f3e2e2a6affa590c78874caaf9d93078faa1
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add Oxygen stream for OpFlex release job."

Add Oxygen stream for OpFlex release job.

The job was in change I4f93966f96fcb10723f4bbd41905cdf6275f6995
was merged around Nitrogen branch cutting time which potentially
caused it to be missed.

Change-Id: I3b4cae85eab2d92279efc7825d14c242c390c3a3
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Docker requirement on Tools VM

This change is to ensure that the tools VM used by netconf user features
test has docker installed.To this effect, the tools VM image has been
updated from GBP image which has it installed.
Successful netconf builds using this job on sandbox is
https://jenkins.opendaylight.org/sandbox/job/
netconf-csit-1node-userfeatures-only-carbon/2/

Change-Id: Ie228c53f5aa2d7b4109c6e1290f4e4f14ea9dc2a
Signed-off-by: Atul Gosain <agosain@brocade.com>

Disable odlparent distcheck jobs

Both odlparent master and 2.0.x are isolated from autorelease,
and no downstreams should be consuming its snapshot artifacts.

Hence running distribution-check does not make any sense, as by
definition it should be an invariant, sans breakage caused by
downstreams.

Disable the job for both streams.

Change-Id: Icb34362a2ec3350a013352f61dcfcac078237c0f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add oxygen stream for packaging jobs

Change-Id: I8505ab5c5cc9d1aaefb93e7b89b247ddbb7c3186
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add USE_SCREEN=True in local.conf

Change-Id: Ibd611a4a027b06dac5cbd7c2e86371b14599d634
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add l2gw feature to csit patch list."

Merge "Lower retry sleeps in controller startup wait"

Add l2gw feature to csit patch list.

With this patch, should be able to trigger
netvirt l2gw/hwvtep csit test by entering
keyword test-ovsdb-l2gw.

Change-Id: Iefe8544e9aa030da6e8ba1998bdb2848d92297ed
Signed-off-by: Victor Pickard <vpickard@redhat.com>

Merge "Auto Update CSIT Jobs to run for nitrogen"

Merge "Auto Update CSIT Jobs to run for boron"

Merge "Auto Update CSIT Jobs to run for oxygen"

Auto Update CSIT Jobs to run for oxygen

Change-Id: I4e9441e001f9d18678017d9fb4a2459dce920362
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Auto Update CSIT Jobs to run for boron

Change-Id: I7023c197110b4dd42f3786abfb14ae01e7940504
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Auto Update CSIT Jobs to run for nitrogen

Change-Id: I5247fb82eaf8c398aad52854d047d87c267b5a3b
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Auto Update CSIT Jobs to run for carbon

Change-Id: Ic58fda308ff14042bb48df70d14c21e2552ed079
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Simplify csit-auto-update job"

Move comment out of csv-list

The yaml '>' creates a comma separated list of items. Putting the
comment inside of that block makes it part of the list which isn't
correct. Move the comment outside of the csv-list block.

Change-Id: Icd71333d03a7c8f119944e6cf20d2ee6d82f7d35
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Lower retry sleeps in controller startup wait

Rather than waiting 5 seconds each time, sleep only one second
before retrying. Console output remains limited to once every
five seconds.

Change-Id: I70c78ed9ab61bc112669613d186ea3d0c1fbed03
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

DONT archive merge job artifacts on Jenkins

Now OpFlex release jobs are capable of pushing artifacts
to Nexus.

Change-Id: I7dc63f4933e1968abc54842b1d0f7f849988b2cd
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Simplify csit-auto-update job

Refactor the job into a more simplified job stored in the integration
project directory. This job generates csit-jobs-{stream}.lst files which
can simply be !include in a job template file.

This makes releng-defaults.yaml smaller and moves auto-generated files
into their own files for easier maintenance.

Change-Id: Ief999fd72f6340d7aba1bf83a54550e4ebe46351
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update validate autorelease projects for oxygen"

Merge "Update validate autorelease projects for nitrogen"

Merge "Strip include-raw prefix for script files"

Merge "Strip include-raw prefix for script files"

Handle yangtools nitrogen non-standard branch

Change-Id: Ia5c27300d53c6529e27057dcc9735a7da12aa969
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update validate autorelease projects for nitrogen

Change-Id: I6ba0405dfb327519095b21138d58b47fca786217
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Update validate autorelease projects for oxygen

Change-Id: Idcff9ee6896c8138ba3b139e55882c7a49fd3352
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Handle yangtools nitrogen non-standard branch"

Strip include-raw prefix for script files

Prefixing files with `include-raw-` makes the file name longer
and also not a standard to be followed.

Change-Id: I118728399bc900436f05e1f45cce1566e619148d
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Update validate autorelease projects for oxygen"

Merge "Update validate autorelease projects for nitrogen"

Handle yangtools nitrogen non-standard branch

Change-Id: I0e96ed0298ffb18afb7d5077a6714cc0b1800796
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: I06b00ce651c1be06e9ec52628736d63af1c71cc6
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Update AR projects with all file types to log"

Update AR projects with all file types to log

Surefire logs are not getting copied since we moved to
`lf-infra-publish` publisher. This change fixes the issue.

Jira: releng-394
Change-Id: I2465eff9ad38c8a5499c01b2cee9a49b8b439303
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Push OpFlex artifacts to Nexus repository."

Merge "Disable stateful and learn modes for L2GW CSIT"

Update validate autorelease projects for nitrogen

Change-Id: I57223d7458871c0cedae5304c8f67ee2feaa0595
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Update validate autorelease projects for oxygen

Change-Id: I077d975acf890665c5e6505c48f45590653ef20f
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Improve branch cutting scripts"

Merge "Generate versions.csv for autorelease builds"

Disable stateful and learn modes for L2GW CSIT

L2GW/HWVTEP does not support security groups yet,
so disable the "stateful" and "learn" modes
for security groups in this suite.

Change-Id: Ie16fac8646e62ad6bee3d1a5110e83c2d2417d4b
Signed-off-by: Victor Pickard <vpickard@redhat.com>

Merge "Add example GERRIT_REFSPEC to Jenkins UI docs"

Merge "Use larger heap size for distribution SFT"

Auto Update CSIT Jobs to run

Change-Id: I20684e2e69b0426e80ffc30b469f5ac6a9b628d8
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Create Oxygen jobs and bump Nitrogen branch

Nitrogen branch cutting to reflect new stable/nitrogen branches and
move master to Oxygen.

Change-Id: I49a6585780747c08ae9c768697aee3c90f786d03
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add example GERRIT_REFSPEC to Jenkins UI docs

Change-Id: Ie691c5b62e89e90dfccecb8f75a60ac69b870c81
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Revert "Add method to not trigger downstream ar"

This reverts commit 32b1f54a6145cbe9558d4c8810bd584197c68458.

The "builder" type for triggering downstream jobs do not support
checking if the job is unstable or failed so causes 2 copies of every
job to trigger. Looks like we need to find another way to handle this :(

Change-Id: Ic2f725ac9f9753c6d59624f99b1d635e84f72015
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Improve branch cutting scripts

Improve handling 'new-release-tag' parameter for different
autorelease project streams and also handle 'jre' and 'jdk'
parameter correctly depending on the job.
Re-organize CLI options with example usage and update excludes
list.

Change-Id: Ia24f85d1aa9eadc1b676e084b8fa255763aafbdf
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add nitrogen jobs for daexim

daexim is now part of SR therefore it requires standard build jobs
and standard csit jobs for nitrogen (master branch).

Change-Id: I267d6cb6fc2ff3b9868184b3fc3c07c93705aaad
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Update Centos7 devstack newton images"

Merge "Update Centos7 docker images"

Merge "Update Centos7 devstack ocata images"

Merge "Update Centos7 devstack images"

Merge "Update Ubuntu 14.04 gbp images"

Merge "Update Ubuntu 16.04 mininet-ovs-25 for AAA CSIT"

Merge "Update Ubuntu 14.04 images"

Merge "Update Ubuntu 16.04 images"

Merge "Update Centos7 java-builder image"

Merge "Add method to not trigger downstream ar-jobs"

Use larger heap size for distribution SFT

Also in multipatch job.
Added even to jobs which use -Pq to skip SFT,
to make it easier for Ssandbox runs without -Pq.

Change-Id: Ic5113a4d1cdb47b8540c5495a939c35cb154e31a
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove JJB Docker documentation

Remove the Docker documentation as it's out of date and the images are
very old. I haven't heard from users in recent time that there were
issues which tells me that there's likely not very many who use these
images. This simplifies our docs a bit.

Change-Id: I14803a06868913db64e0f2ae1add151a5a13df92
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Strip include-raw prefix for script files

Prefixing files with `include-raw-` makes the file name longer
and also not a standard to be followed.

Update the .coafile to exlucde new file names.

Change-Id: I9d0139e7c05743ed9f3b5f2f1ced21c94b86758c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Push OpFlex artifacts to Nexus repository.

Improve OpFlex release process such that the artifacts are built and
deployed to Nexus staging repo.

Create a separte release job for OpFlex. OpFlex artifacts are created
with the staging profile id: 906b0d53d714e

Don't archive artifacts from OpFlex on logs server.

Change-Id: I4f93966f96fcb10723f4bbd41905cdf6275f6995
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Strip include-raw prefix for script files

Prefixing script files with `include-raw-` make the file name longer
and also not a standard to be followed.

Change-Id: I17f58cd8f93c5a6f5bf703cdcb15d24fc5043b56
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Strip include-raw prefix for script files

Prefixing the files with `include-raw-` make the file name longer
and also not a standard to be followed.

Change-Id: I4394c5c971587583def53e545ddbac824c916309
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add method to not trigger downstream ar-jobs

When we are triggering many autorelease jobs per day we do not wish to
trigger distribution-test jobs for every run otherwise it will spam the
Jenkins queue. This allows us to selectively disable triggering the jobs
when we manually build.

Change-Id: Ia345b3875bd29e5869bc09aa378314d542fef181
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add 4 node stack type for hwvtep suites

hwvtep suites need an odl node type, 1 larger openstack
node (control) type, 2 smaller openstack node (compute)
and 1 more node type for mininet systems

Change-Id: Ib8f255a23148b3d1ca15c5e29e6a49c998199d49
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add verify jobs for ci-workshop

Change-Id: I28b775283ed81de72ea63ebd0acdd9849a74ad35
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Strip include-raw prefix for script files"

Merge "Fix puppet-opendaylight Vagrantfile link"

Merge "Strip include-raw prefix for script files"

Update validate autorelease projects for nitrogen

Change-Id: I42ece3da2e9765ee68fd4f03288dd59cc109cd34
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Fix puppet-opendaylight Vagrantfile link

Change-Id: I1c0be26d9a9d230530715cafbae28b3f7cba5e15
Signed-off-by: root <sanketh.uppalapati@research.iiit.ac.in>

Merge "Run Boron build 12 hrs off of usual UTC time"