Change variable name BUNDLE_URL->BUNDLE_PATH

This is to avoid confusion with global variable BUNDLE_URL.

Change-Id: I1a22f8e627424bb8d8f629f69bbefd9e1e5c1744
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix BUNDLE_URL variable injection

Change-Id: I3d52c52066a1fdef9e57506946664ec23506816b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix typo in the distro upload script

Change-Id: Ibd89268344c9dac4a1e86650c0ca5ce17cb435a9
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add missing | in predefined-parameters definition

Change-Id: I0afeeac2040167216235c9f1bd99218588a0d14f
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Patch test jobs will use karaf3 for now

Change-Id: I6e80a86e642a9e3298d14c8000b69f110c2daddc
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add cluster singleton longevity jobs

Change-Id: I1bd4c4935f4ba7c62c2207d35e087d5caa30d186
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Archive the last karaf distribution

Temporarily archive the last build karaf distribution to unblock devs
from testing Carbon until we figure out why staging repositories are not
being created for Autorelease Carbon.

Change-Id: I3a6e4ca6ac66d46f365f5fadd662cb2cc4f04c4d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix distribution-verify job back to freestyle

The big patch https://git.opendaylight.org/gerrit/53797 accidently
converted the distribution-verify job back to a Maven project type and
causes builder-jjb-merge to fail because it is not able to update a job
that's of a different type.

Since we don't want to be reverting jobs back to Maven project types
anyway this patch updates the job to use freestyle again.

Change-Id: I95f50ad683b6f2486b246b47e87f5f1f1305f005
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Log files over 200 MB into archived file

We need to determine sizes of large files going into Nexus since there
is a 500 MB limit. Let's log all files larger than 200 MB into a file so
we can track them.

Change-Id: Ia38e81544f857785364b3c19a575dbd0aaa1735e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Make jobs karaf-version specific, some duplicities"

Make jobs karaf-version specific, some duplicities

+ Affected jobs: distribution-check, csit, *patch-test, deploy, offline.
+ Carbon: csit and *patch pick one version, other affected run both.
+ Introduced KARAF_VERSION bash variable.
+ Macro to set that variable.
+ Default value set to 'karaf4'.
+ Pre-carbon branches (and caron temporarily) use 'karaf3'.
+ Karaf version usually configurable per job definition and stream.
+ csit-verify jobs use {verify-karaf-version} from releng defaults.
+ Scripts -bundle-vars, -distribution-check, -deploy, -offline renamed.
+ Macros which include (some of) them also renamed to match.
+ The bundle script sets artifact name and path from karaf version.
+ KARAF_ARTIFACT computed and used instead of distribution-karaf.
+ The part detecting version from nexus moved to separate macro.
+ The nexus upload macro tolerates failures (for Sandbox).
+ The nexus upload macro cats log to console to see attempted URL is ok.
+ High level macros usually call dependent macros (unless duplication).
+ Also they inject their property file right away.
+ BUNDLE_URL and ACTUAL_BUNDLE_URL always with underscores.
- BUNDLEVERSION and BUNDLEFOLDER still without underscores, cause Robot.
+ On yaml side, bundle-url always with dash.
+ concurrent:false for distribution deploy and offline jobs.
+ distribution-jobs moved to jjb/integration/distribution/.
+ Separated distribution-templates (distribution-check moved there)..
+ Simple Yaml string without quotes, unless that looks ugly in lists.
+ Description comments moved inside to not repeat the name.
+ Used by field dropped, Argumens and Required added (TODOs left).
+ Some typos from previous changes corrected.
+ Random bash linting improvements.
- Two carbon distribution-check jobs is a waste, worth fixing?
- Karaf4 bin/client is failing, to be fixed later (affects offline job).
- No alternative to Nexus uploading for Sandbox.
- Releng/Integration/Distribution stuff to be named and placed better.
- Some jobs get KARAF_VERSION even if they do not need that (yet).
- Code de-duplication left for another time.

Change-Id: I85c71a7ea94b9383b932d65b496056865bcecf78
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Migrate builder-jjb to LF's global-jjb project

We now have a global-jjb project which has a purpose of maintaining
generic job templates that can be reused across multiple LF project CI
systems. This patch migrates the JJB verify and merge jobs to using
this new project.

Change-Id: Iaaf562f0893d1cd8ddd405309983ca35e8e5e827
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Disable ShellCheck for global-jjb scripts

global-jjb scripts have some annotations that does not appear to be
available in CentOS 7's version of ShellCheck. Disable until we find a
solution to this.

Change-Id: I13dd34a7f378734d3c4880f6ac7a0add244fa38e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Correct nitrogen and carbon streams in CSIT"

Auto Update CSIT Jobs to run

Change-Id: I4c08551543ec6b8dfe12478905357adf645f820c
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Job to test conntrack based SNAT

Change-Id: Ie18fe2683d05929946484bfb16c049436ed5cfeb
Signed-off-by: Alon Kochba <alonko@hpe.com>

disable topic/vpp distro-check

Change-Id: I11cc2aab81496c50797b299e39d343dd8ab0bfb5
Signed-off-by: Sam Hague <shague@redhat.com>

Merge "Install odl-sfc-genius for openstack-sfc CSIT"

Correct nitrogen and carbon streams in CSIT

Change-Id: Ief23c894f1508bcd805247cd395ec1cb9d6937b2
Signed-off-by: Alon Kochba <alonko@hpe.com>

Install odl-sfc-genius for openstack-sfc CSIT

Properly install SFC feature for CSIT.
Also parameterize the driver name so it will be
configurable, and currently use odl (v1).

Change-Id: Iabf3002e3bc4f2e46da98bf5e02742d63c6958ff
Signed-off-by: Alon Kochba <alonko@hpe.com>

Make install message more consistant for parsing

Change-Id: I048dddcab82da0ccb7fa5c633c4ffebec5853f9e
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: Iedb5b3051a250145d35079a94c5bc276527f7b76
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Netconf CallHome Build File

Change-Id: I8a10f04d751b821a6b291bc3270e2a51103f1603
Signed-off-by: Ajay Chhabria <ajay1005@gmail.com>

Merge "Clean up hwvtep csit combinations and triggers"

Merge "Make wget for ar-notify script less verbose"

Merge "Add .npmrc"

Add .npmrc

Make any npm commands infra provided .npmrc. Currently this file
contains a registry configuration to make npm use Nexus as a npmjs
registry which is setup as a proxy of upstream npmjs' repository. This
allows us to be more resilient to upstream infra issues that are out of
our control.

Change-Id: I4c8451aa66921fecffb9f968d7c7bb42214dde2a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Auto Update CSIT Jobs to run

Change-Id: Ifa834a66a1c063baa29e72a842a193cc5cb4b398
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Add dluxapps csit job for yangman app."

Add dluxapps csit job for yangman app.

Change streams and branches because of moving to nitrogen for master.

Change-Id: If800eb064ada520ae637f5d45e305c58f6e7c8d6
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.tech>
Signed-off-by: Dasa Simkova -X (dsimkova - PANTHEON TECHNOLOGIES at Cisco) <dsimkova@cisco.com>
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.local>
Signed-off-by: Daša Šimková <dasa.simkova@pantheon.tech>

Make wget for ar-notify script less verbose

Saves us some unnecessary log space. --no-verbose still prints out
errors and warnings so it only saves us on info logs.

Change-Id: I5170626cb20f4b7104c329056da89d9a86b12cbf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Compress large error attachments"

Do not print out bash lines

The output from the loop causes significant unnecessary spam in the
logs.

Change-Id: I67afd71c62c100b8460e44751fd5c96e5d0be754
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add high-frequency csit template"

Merge "Make integration-multipatch-test deploy to Nexus"

Merge "Make integration-patch-test deploy to Nexus"

Merge "Make distribution-verify deploy to Nexus"

Merge "Make patch-test job deploy to Nexus"

Merge "Make distro-check archive distro to Nexus"

Merge "Make get-bundle-url script more reusable"

Merge "Make patch-test runnable without passing REFSPEC"

Compress large error attachments

- Verify file size does not exceed release mailing list attachment
  limit and exclude sending the attachment if the file exceeds limits
- Rename file (error.log) and create a compressed file under $WORKSPACE
  so that the file gets archived.
- Update email body with relevent information on the attachment, if
  its not included.

Jira: https://jira.linuxfoundation.org/browse/RELENG-6
Bug: https://bugs.opendaylight.org/show_bug.cgi?id=7977
Change-Id: Id2a6dc168bc0f1b5e6f07ea1ed1d25db7702b5e3
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Use carbon as the verify-branch

Change-Id: I45056705f0f18b7d4a3e5647a7420bdf36e30bf9
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Auto Update CSIT Jobs to run

Change-Id: Ic30882992e6b420053f5d50d1dd04388502d994f
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Merge "Nitrogen branch cutting update"

Nitrogen branch cutting update

Change-Id: Ie6a57233db9797b0e9d80845037bf32ecbb2adc0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Make integration-multipatch-test deploy to Nexus

This patch converts the integration-multipatch-test job from a Maven
project to a freestyle project type and then reconfigures it to push
the distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11

Change-Id: I62b666e21d3897e2c1ae4ccb7a21d6ff17976604
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make integration-patch-test deploy to Nexus

This patch converts the integration-patch-test job from a Maven project
to a freestyle project type and then reconfigures it to push the
distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11
Change-Id: I5faabe5ac31d1b61edd0ba8b551df8cdb778e7be
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make distribution-verify deploy to Nexus

This patch converts the distribution-verify job from a Maven project to
a freestyle project type and then reconfigures it to push the
distribution it builds to Nexus. Finally storing BUNDLE_URL as a
variable to be passed to downstream projects so that they can build
against it.

Issue: RELENG-11
Change-Id: Id10ed1c72502d8c2ecb414892ee2ee232266b6cc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make patch-test job deploy to Nexus

This patch converts the patch-test job from a Maven project to a
freestyle project type and then reconfigures it to push the distribution
it builds to Nexus. Finally storing BUNDLE_URL as a variable to be
passed to downstream projects so that they can build against it.

Issue: RELENG-11
Change-Id: I36100615ddc375648205fe7674335d9f1e55e4c4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make distro-check archive distro to Nexus

Instead of archiving the karaf distribution to Jenkins, deploy it to
Nexus and record the URL to the zip so that downstream Jenkins jobs can
use it.

Also make distro-check maven-targets use opendaylight-infra-mvn-opts for
default options.

Issue: RELENG-11
Change-Id: Ifc226169994baceb990cab7410b170f9722cacfc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make get-bundle-url script more reusable

Improves this script so that it is more reusable so that we can
deduplicate this with the get-bundle-url-root.

Also fix ShellCheck warnings where appropriate.

Change-Id: I0f9a31b02297f7d9e918ecc46024d74b929cab15
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Nitrogen branch cutting update

Change-Id: I892f6163e161cbdd79b1f11ea10c984a3755c16f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Make patch-test runnable without passing REFSPEC

Gerrit will always pass GERRIT_REFSPEC and override this property if a
job is triggered by Gerrit Trigger. Sometimes it's nice to be able to
just click build on a job to test it so configure a default refspec
which allows this. It is still possible for the user to override and set
a specific GERRIT_REFSPEC too when they manually start the job.

Change-Id: I1b200b97d63444bcdabfb2f9637dc8d8171337c9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Branch cut scripts for ODL"

Merge "Handle bundle-vars directly in dist-compare script"

Merge "Add Sandbox usage doc to multipatch job"

Add Sandbox usage doc to multipatch job

Change-Id: I6f963efb8ae3b6c71def62faa20329b8f4429304
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Remove IT trigger since tests are no longer valid"

Merge "Fix hypervisor count for all-in-one devstack"

Merge "Replace `` cmd substitution with $()"

Merge "Mention OS_CLOUD as a variable is significant"

Branch cut scripts for ODL

This script can be used for branch cutting tasks needed to be
performed during various milestones.

Usage:

./branch_cutter.sh -n Nitrogen -c Carbon -p Boron

Jira: https://jira.linuxfoundation.org/browse/RELENG-4
Change-Id: I05ba4f52de4d717cba5d46d428f1e9686709e359
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add boolean parameter to run test after build"

Add high-frequency csit template

adding netvirt 1node/netwton/nodlv2/carbon csit to this
new bucket of jobs we want to run at a higher frequency
than once a day. Currently, it's set to run every 4 hours.

Change-Id: I6c9ff1a0179db44b6d2f69fc9545ced040dabeca
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Clean up hwvtep csit combinations and triggers

no need for the gate jobs, as they are currently not used in
any patch test.

no need for the schedules as we are letting parent csit jobs
handle these timed triggers.

Change-Id: I977097f7e90ccd7ad18e9346c0482f4d71246855
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Remove IT trigger since tests are no longer valid

Change-Id: I6b0d5e54af9f25586a352a95eb801fae0e72acf0
Signed-off-by: Sam Hague <shague@redhat.com>

Handle bundle-vars directly in dist-compare script

instead of using the get-bundle-vars script as a build step
which can fail when there is really no "last" build (like
when cutting a new branch) we can figure out those variables
directly in the compare-distribution script which is using
set +e. If there is any trouble with the compare-distribution
script, we don't abort the build.

Change-Id: I8442149ae4c0f3ddb3f69b73dbac5df3c948a4b8
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Auto Update CSIT Jobs to run

Change-Id: I0122f4e9979adb51575282f15741828441494853
Signed-off-by: jenkins-releng <jenkins-releng@opendaylight.org>

Nitrogen branch cutting

Change-Id: I1cb71b4eda04fcfd1751b65464f695497ad540e5
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Fix csit-update job for nitrogen"

Fix csit-update job for nitrogen

Change-Id: I15753159ab0a234cbe4bd9ffcd4fbe2276fc0821
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove aaa features that do not exist anymore"

Add Nitrogen to csit-list update

Change-Id: Ib9e34db2631b5f2cf4d195b3fc7f8130dc0832d7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove aaa features that do not exist anymore

Change-Id: I3401c0e52dc0919e5db70bf8f53da3c5d648ad14
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add a job for netvirt SFC CSIT"

Merge "Use PUBLIC_BRIDGE instead of hardcoded br-physnet1"

Replace `` cmd substitution with $()

Change-Id: If95c628f524b25adcc6260951bd93c794eb0fae3
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix hypervisor count for all-in-one devstack

Change-Id: If1bf653c2a2981a5395e52660d83c19948781990
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Sort environment variables

This makes it easier for humans to locate a particular variable,
but it messes up multi-line values.

Change-Id: I2cdf6b507e5f6829e11cebab7f7e402571464d41
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Update Ubuntu mininet image and labels"

Mention OS_CLOUD as a variable is significant

This variable matters in the context of the openstack client cli
command as it takes it as input.

Change-Id: I1f3805825dbbef82f3c7d3eb619d3b8763725c8d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Use multi-threaded xz compression"

Update YAML with 6wind guagga images

Ubuntu 16.04 and Centos 7 images with 6Wind
quagga have been created and tested on sandbox.
Adding these images in the yaml so that they can
be used for testing router functionality anytime.

Change-Id: I4b6706bf80da99c34c85ccc1866034b4725d7ecc
Signed-off-by: rahul.agarwal <rahul.agarwal3@tcs.com>

Use multi-threaded xz compression

Compressing memory dumps can take a long time, hence it is best
to allow xz to select the number of workers based on number of
available cores.

Change-Id: I8ef96b72c28316b3b84a8784d4ab4c4d48dd0f15
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Merge "Bump Boron release tag for next release"

Merge "Add 6Wind quagga to ubuntu16.04 and centos7 images"

Add boolean parameter to run test after build

By default multiplatch builds all patches but does not
run test unless new parameter RUNTEST is set to true.

Also fix variable name in multipatch script.

Change-Id: I75407b0508395db76387dd44b5c4cff73ed8648d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Use PUBLIC_BRIDGE instead of hardcoded br-physnet1

Change-Id: Ic3bb67d1f4dc7b77e0cd79c95cebaa9aacbb9244
Signed-off-by: Alon Kochba <alonko@hpe.com>

Add a job for netvirt SFC CSIT

Change-Id: Ib7d74aca432a56afac898461c1adbdecf8fd9164
Signed-off-by: Alon Kochba <alonko@hpe.com>

Bump Boron release tag for next release

Change-Id: Ic2af08da4f4a368b769e38cb3f74af0af821c3eb
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "To enable odl_l3 and l2gw feature work together"

Merge "Remove RPM changelog_date param"

Merge "Find RPM repo file name automatically, rm param"

Merge "Update default RPM/deb download_url params"

Merge "Add controller's rpc partition and heal 24h job"

Merge "Add controller's rpc precedence longevity job"

Add controller's rpc partition and heal 24h job

Change-Id: Ib29f99ce54bb2dad362d36729bf8411232e457a2
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Find RPM repo file name automatically, rm param

Change-Id: I5c8fdafa6cf1b084413d8b9a812a8d877bc2ab6f
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Update default RPM/deb download_url params

Change-Id: Ibbd2e44691b120ba13914856d4a94cde615d9ba7
Signed-off-by: Akshita Jha <zenith158@gmail.com>
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>