Fix builder-update-csit-tests trigger

The new name for the merge job is builder-jjb-merge.

Change-Id: I8f225ed6c06e6d6d531f4a07f776fb919bdbccae
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Add explicit leader movement longevity job"

Add autorelease carbon job with skip tests enabled

This is temporary change introduced for carbon to ensure we
are staging the artifacts for integration testing. Once carbon
tests timeouts are resolved this change can be reverted.

BZ: https://bugs.opendaylight.org/show_bug.cgi?id=8323
Change-Id: Ibac54ee01afbe61a29078eed6cb7660076000785
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Remove mitaka jobs from gbp csit"

Add explicit leader movement longevity job

Tests dom-data-broker explicit leader movement scenario for 24h

Change-Id: I903b0ca199e4922f044c137d8e3e571698009d39
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Remove mitaka jobs from netvirt csit"

Merge "Add JJB project, tests for puppet-opendaylight"

Merge "Use new verify-tox job name, vs verify-python"

Add JJB project, tests for puppet-opendaylight

Add tox verify job, sanity job and acceptance test job.

Tox job does basic Coala linting. Sanity job does quick rspec tests and
a single Beaker test for main OS (CentOS) and latest-ODL. Acceptance
test does Beaker tests for all supported OSs and ODL versions.

Run tox and sanity tests on each change. Run acceptance tests daily.

Change-Id: I9223411c0a17170c02a5a8bf83cb3ab75dd089b5
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Check if distribution came from jenkins

Change-Id: I5c4ff13fcce54a424b4ef40c328f088f875424b3
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add carbon csit4 1node template"

Use new verify-tox job name, vs verify-python

Change-Id: I6b86c45a3c0e1960348748e45940aa063c4686db
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Auto Update CSIT Jobs to run"

Remove mitaka jobs from gbp csit

Change-Id: I2b6cd56c41f66268d13234f1a763852d359f677d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add carbon csit4 1node template

+ Add the new template to distribution-userfeatures job definition.

Change-Id: Ie3f6fe1fba7ce849ec32cf4a6a0595540c2571ca
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove mitaka jobs from netvirt csit

Change-Id: Ie4ef2ae890b9b0516a2bdad141d1bf44edae38c5
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Change variable name BUNDLE_URL->BUNDLE_PATH"

Fix iotdm.yaml for nitrogen and carbon

Change-Id: I1f4901712af7435176824eeaf34146787a6b78b0
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Change variable name BUNDLE_URL->BUNDLE_PATH

This is to avoid confusion with global variable BUNDLE_URL.

Change-Id: I1a22f8e627424bb8d8f629f69bbefd9e1e5c1744
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Fix features for netconf userfeatures"

Merge "Temporarily remove validate-autorelease for IoTDM"

Temporarily remove validate-autorelease for IoTDM

Change-Id: I67389bb9999b9f4067325735de8d3db2addbbbf1
Signed-off-by: Tomas Janciga <tjanciga@cisco.com>

Fix features for netconf userfeatures

Change-Id: I8560fdf0cc995b8ffe619d1d87620b99e5293ce3
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix sar data report generation

Using sudo is not recommended for generating accounting summary
therefore generate reports with sar command

Change-Id: I4db36646afa8558ec7145906f8f9caaea727ac93
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "integration patch jobs use karaf3 for nitrogen"

Merge "Move sar stats to publishers"

integration patch jobs use karaf3 for nitrogen

Same as project patch-test, people will not understand
current behavior unless we explain it.

Note periodic distribution tests will still use karaf4
for nitrogen so they can be used to validate karaf4.

Change-Id: I7304d79a9f02e9cd65afeeea5b6ba152ff42cda1
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Add/cleanup inline docs for multipatch builder sh"

Move sar stats to publishers

- Move sar report generation to publisher
- remove builder autorelease-sys-stats since we are capturing system
  info in deploy archives scripts.

Change-Id: Ibccb0d6712f709ed5f75395a15c96a56047cb720
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Enhance 6Wind quagga image on ubuntu16 & centos7"

Add/cleanup inline docs for multipatch builder sh

Change-Id: I914ee444c2d7ebd5e5bfe2b5979ae87e956c6618
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "BUG-8266: Add apidocs feature to netconf test"

Merge "Delete broken netconf csit job"

Delete broken netconf csit job

Change-Id: I5481b8e118f0723ebe28939acc37e21de968166b
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Capture and archive sar data for autorelease jobs

Archive sar data for autorelease jobs to further analyse any memory
issues and print a summary memory stats at the end of the autorelease
build console logs. ksar can be used to generate relevent graphs
depending on the parameter analysed.

Change-Id: Ie93c954aebd7166befd7cb9d5abe10abf89df47c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Fix patch test job uses karaf3

Change-Id: Ia39fb51a64415826a677ccea9d6549e2584ddf39
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix BUNDLE_URL variable injection

Change-Id: I3d52c52066a1fdef9e57506946664ec23506816b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix typo in the distro upload script

Change-Id: Ibd89268344c9dac4a1e86650c0ca5ce17cb435a9
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add missing | in predefined-parameters definition

Change-Id: I0afeeac2040167216235c9f1bd99218588a0d14f
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

BUG-8266: Add apidocs feature to netconf test

Change-Id: I90d80ef94db18c126be726a879c573f1263c69c0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Patch test jobs will use karaf3 for now

Change-Id: I6e80a86e642a9e3298d14c8000b69f110c2daddc
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add cluster singleton longevity jobs

Change-Id: I1bd4c4935f4ba7c62c2207d35e087d5caa30d186
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Archive the last karaf distribution

Temporarily archive the last build karaf distribution to unblock devs
from testing Carbon until we figure out why staging repositories are not
being created for Autorelease Carbon.

Change-Id: I3a6e4ca6ac66d46f365f5fadd662cb2cc4f04c4d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix distribution-verify job back to freestyle

The big patch https://git.opendaylight.org/gerrit/53797 accidently
converted the distribution-verify job back to a Maven project type and
causes builder-jjb-merge to fail because it is not able to update a job
that's of a different type.

Since we don't want to be reverting jobs back to Maven project types
anyway this patch updates the job to use freestyle again.

Change-Id: I95f50ad683b6f2486b246b47e87f5f1f1305f005
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Log files over 200 MB into archived file

We need to determine sizes of large files going into Nexus since there
is a 500 MB limit. Let's log all files larger than 200 MB into a file so
we can track them.

Change-Id: Ia38e81544f857785364b3c19a575dbd0aaa1735e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make jobs karaf-version specific, some duplicities"

Make jobs karaf-version specific, some duplicities

+ Affected jobs: distribution-check, csit, *patch-test, deploy, offline.
+ Carbon: csit and *patch pick one version, other affected run both.
+ Introduced KARAF_VERSION bash variable.
+ Macro to set that variable.
+ Default value set to 'karaf4'.
+ Pre-carbon branches (and caron temporarily) use 'karaf3'.
+ Karaf version usually configurable per job definition and stream.
+ csit-verify jobs use {verify-karaf-version} from releng defaults.
+ Scripts -bundle-vars, -distribution-check, -deploy, -offline renamed.
+ Macros which include (some of) them also renamed to match.
+ The bundle script sets artifact name and path from karaf version.
+ KARAF_ARTIFACT computed and used instead of distribution-karaf.
+ The part detecting version from nexus moved to separate macro.
+ The nexus upload macro tolerates failures (for Sandbox).
+ The nexus upload macro cats log to console to see attempted URL is ok.
+ High level macros usually call dependent macros (unless duplication).
+ Also they inject their property file right away.
+ BUNDLE_URL and ACTUAL_BUNDLE_URL always with underscores.
- BUNDLEVERSION and BUNDLEFOLDER still without underscores, cause Robot.
+ On yaml side, bundle-url always with dash.
+ concurrent:false for distribution deploy and offline jobs.
+ distribution-jobs moved to jjb/integration/distribution/.
+ Separated distribution-templates (distribution-check moved there)..
+ Simple Yaml string without quotes, unless that looks ugly in lists.
+ Description comments moved inside to not repeat the name.
+ Used by field dropped, Argumens and Required added (TODOs left).
+ Some typos from previous changes corrected.
+ Random bash linting improvements.
- Two carbon distribution-check jobs is a waste, worth fixing?
- Karaf4 bin/client is failing, to be fixed later (affects offline job).
- No alternative to Nexus uploading for Sandbox.
- Releng/Integration/Distribution stuff to be named and placed better.
- Some jobs get KARAF_VERSION even if they do not need that (yet).
- Code de-duplication left for another time.

Change-Id: I85c71a7ea94b9383b932d65b496056865bcecf78
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Enhance 6Wind quagga image on ubuntu16 & centos7

This is to enhance 6Wind Quagga router images
with 6Wind Quagga check-in fix tag 20170418
and modify compilation mode as 'evpn mode'

Change-Id: I352931fcc6cb4baf23e5d758542f89b4779f2fe8
Signed-off-by: Dhevendran Kulandaibvel <dhevendran.k@tcs.com>

Migrate builder-jjb to LF's global-jjb project

We now have a global-jjb project which has a purpose of maintaining
generic job templates that can be reused across multiple LF project CI
systems. This patch migrates the JJB verify and merge jobs to using
this new project.

Change-Id: Iaaf562f0893d1cd8ddd405309983ca35e8e5e827
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Disable ShellCheck for global-jjb scripts

global-jjb scripts have some annotations that does not appear to be
available in CentOS 7's version of ShellCheck. Disable until we find a
solution to this.

Change-Id: I13dd34a7f378734d3c4880f6ac7a0add244fa38e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: I61878fcb8001c5bb46e71b8a867938610bdeb50e
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Correct nitrogen and carbon streams in CSIT"

Auto Update CSIT Jobs to run

Change-Id: I4c08551543ec6b8dfe12478905357adf645f820c
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Job to test conntrack based SNAT

Change-Id: Ie18fe2683d05929946484bfb16c049436ed5cfeb
Signed-off-by: Alon Kochba <alonko@hpe.com>

disable topic/vpp distro-check

Change-Id: I11cc2aab81496c50797b299e39d343dd8ab0bfb5
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Install odl-sfc-genius for openstack-sfc CSIT"

Correct nitrogen and carbon streams in CSIT

Change-Id: Ief23c894f1508bcd805247cd395ec1cb9d6937b2
Signed-off-by: Alon Kochba <alonko@hpe.com>

Install odl-sfc-genius for openstack-sfc CSIT

Properly install SFC feature for CSIT.
Also parameterize the driver name so it will be
configurable, and currently use odl (v1).

Change-Id: Iabf3002e3bc4f2e46da98bf5e02742d63c6958ff
Signed-off-by: Alon Kochba <alonko@hpe.com>

Make install message more consistant for parsing

Change-Id: I048dddcab82da0ccb7fa5c633c4ffebec5853f9e
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: Iedb5b3051a250145d35079a94c5bc276527f7b76
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Netconf CallHome Build File

Change-Id: I8a10f04d751b821a6b291bc3270e2a51103f1603
Signed-off-by: Ajay Chhabria <ajay1005@gmail.com>

Merge "Clean up hwvtep csit combinations and triggers"

Merge "Make wget for ar-notify script less verbose"

Merge "Add .npmrc"

Add .npmrc

Make any npm commands infra provided .npmrc. Currently this file
contains a registry configuration to make npm use Nexus as a npmjs
registry which is setup as a proxy of upstream npmjs' repository. This
allows us to be more resilient to upstream infra issues that are out of
our control.

Change-Id: I4c8451aa66921fecffb9f968d7c7bb42214dde2a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: Ifa834a66a1c063baa29e72a842a193cc5cb4b398
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Add dluxapps csit job for yangman app."

Add dluxapps csit job for yangman app.

Change streams and branches because of moving to nitrogen for master.

Change-Id: If800eb064ada520ae637f5d45e305c58f6e7c8d6
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.tech>
Signed-off-by: Dasa Simkova -X (dsimkova - PANTHEON TECHNOLOGIES at Cisco) <dsimkova@cisco.com>
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.local>
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.tech>

Make wget for ar-notify script less verbose

Saves us some unnecessary log space. --no-verbose still prints out
errors and warnings so it only saves us on info logs.

Change-Id: I5170626cb20f4b7104c329056da89d9a86b12cbf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Compress large error attachments"

Do not print out bash lines

The output from the loop causes significant unnecessary spam in the
logs.

Change-Id: I67afd71c62c100b8460e44751fd5c96e5d0be754
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add high-frequency csit template"

Merge "Make integration-multipatch-test deploy to Nexus"

Merge "Make integration-patch-test deploy to Nexus"

Merge "Make distribution-verify deploy to Nexus"

Merge "Make patch-test job deploy to Nexus"

Merge "Make distro-check archive distro to Nexus"

Merge "Make get-bundle-url script more reusable"

Merge "Make patch-test runnable without passing REFSPEC"

Compress large error attachments

- Verify file size does not exceed release mailing list attachment
  limit and exclude sending the attachment if the file exceeds limits
- Rename file (error.log) and create a compressed file under $WORKSPACE
  so that the file gets archived.
- Update email body with relevent information on the attachment, if
  its not included.

Jira: https://jira.linuxfoundation.org/browse/RELENG-6
Bug: https://bugs.opendaylight.org/show_bug.cgi?id=7977
Change-Id: Id2a6dc168bc0f1b5e6f07ea1ed1d25db7702b5e3
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Use carbon as the verify-branch

Change-Id: I45056705f0f18b7d4a3e5647a7420bdf36e30bf9
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Auto Update CSIT Jobs to run

Change-Id: Ic30882992e6b420053f5d50d1dd04388502d994f
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Nitrogen branch cutting update"

Nitrogen branch cutting update

Change-Id: Ie6a57233db9797b0e9d80845037bf32ecbb2adc0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Make integration-multipatch-test deploy to Nexus

This patch converts the integration-multipatch-test job from a Maven
project to a freestyle project type and then reconfigures it to push
the distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11

Change-Id: I62b666e21d3897e2c1ae4ccb7a21d6ff17976604
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make integration-patch-test deploy to Nexus

This patch converts the integration-patch-test job from a Maven project
to a freestyle project type and then reconfigures it to push the
distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11
Change-Id: I5faabe5ac31d1b61edd0ba8b551df8cdb778e7be
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make distribution-verify deploy to Nexus

This patch converts the distribution-verify job from a Maven project to
a freestyle project type and then reconfigures it to push the
distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11
Change-Id: Id10ed1c72502d8c2ecb414892ee2ee232266b6cc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make patch-test job deploy to Nexus

This patch converts the patch-test job from a Maven project to a
freestyle project type and then reconfigures it to push the distribution
it builds to Nexus. Finally storing BUNDLE_URL as a variable to be
passed to downstream projects so that they can build against it.

Issue: RELENG-11
Change-Id: I36100615ddc375648205fe7674335d9f1e55e4c4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make distro-check archive distro to Nexus

Instead of archiving the karaf distribution to Jenkins, deploy it to
Nexus and record the URL to the zip so that downstream Jenkins jobs can
use it.

Also make distro-check maven-targets use opendaylight-infra-mvn-opts for
default options.

Issue: RELENG-11
Change-Id: Ifc226169994baceb990cab7410b170f9722cacfc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make get-bundle-url script more reusable

Improves this script so that it is more reusable so that we can
deduplicate this with the get-bundle-url-root.

Also fix ShellCheck warnings where appropriate.

Change-Id: I0f9a31b02297f7d9e918ecc46024d74b929cab15
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Nitrogen branch cutting update

Change-Id: I892f6163e161cbdd79b1f11ea10c984a3755c16f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Make patch-test runnable without passing REFSPEC

Gerrit will always pass GERRIT_REFSPEC and override this property if a
job is triggered by Gerrit Trigger. Sometimes it's nice to be able to
just click build on a job to test it so configure a default refspec
which allows this. It is still possible for the user to override and set
a specific GERRIT_REFSPEC too when they manually start the job.

Change-Id: I1b200b97d63444bcdabfb2f9637dc8d8171337c9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Branch cut scripts for ODL"

Merge "Handle bundle-vars directly in dist-compare script"

Merge "Add Sandbox usage doc to multipatch job"

Add Sandbox usage doc to multipatch job

Change-Id: I6f963efb8ae3b6c71def62faa20329b8f4429304
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Remove IT trigger since tests are no longer valid"

Merge "Fix hypervisor count for all-in-one devstack"

Merge "Replace `` cmd substitution with $()"

Merge "Mention OS_CLOUD as a variable is significant"