Use call-home SSH port 4334

Adapt tests for change in NETCONF 3.x branch
for Sulfur release stream.

Starting with Sulfur release we use 4334 port
for NETCONF call-home SSH instead of 6666.

For simplicity configure all docker placeholders
(SSH + TLS) from NetconfCallHome.robot file.

JIRA: NETCONF-846
Change-Id: If4e95c26adae57425005859578a69f468d545373
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Fix pretty-print parameter

RFC8040 uses "odl-pretty-print", not "prettyPrint" to make it clear this
is an ODL extension. It also rejects unknown parameters, so we need to
adjust our invocations.

Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Change-Id: I6e7fe014c1155672b2482d6340ae91f579213bb2

Bump pre-commit black to 22.1.0

Update black from 20.8b1 to 22.1.0:

https://github.com/psf/black/releases

and apply new format changes enforced by the new version.

Change-Id: I1281481b2d4561d72f5edcfeb3665a774108468d
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Bump pre-commit-hooks to v4.1.0

Update pre-commit-hooks from v2.4.0 to v4.1.0:

https://github.com/pre-commit/pre-commit-hooks/releases

Since flake8 was removed in v4.0.0:

https://github.com/pre-commit/pre-commit-hooks/releases/tag/v4.0.0
https://github.com/pre-commit/pre-commit-hooks/pull/597

replace it with PyCQA/flake8:

https://github.com/PyCQA/flake8
https://flake8.pycqa.org/en/latest/release-notes/index.html

and address flake8 W605 issues detected by the new flake8:

https://www.flake8rules.com/rules/W605.html

Change-Id: I148b1b862b192a3e44c9ee90292df7678629d8e0
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Bump pre-commit gitlint to v0.17.0

Update gitlint from v0.11.0 to v0.17.0:

https://github.com/jorisroovers/gitlint/releases

Change-Id: I302843ab105e9a34192f2aa9b7603d6d08592ab8
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Committer list clean up

Change-Id: I964aa3981b18562ee9a8058c8f56e2e37a44599d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Pin Robotframework version for pre-commit

robotframework-tidy-wrapper is not compatible with the latest
version of Robotframework (v5.0) where built-in Tidy tool has
been removed:

https://github.com/robotframework/robotframework/issues/4020

Pin the version of Robotframework at v4.1.x for now.

Change-Id: I08eb8039d99eda653a6b05a87567fbf54ad2d8ba
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Fix remaining issues in netconf clustering suite

Change-Id: I9a216c18c0751fe48396a4e1ae98f94d92c12562
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>

Rename netconf test schemas

Some of these were missing revision and started failing
once testtool stopped renaming the schemas and started
rejecting them instead.

Change-Id: I8c73150902d21e268d2a7f9bc8fc2c400f340271
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>

Add new int/test committers

Change-Id: I679bcb5d62b4ee0378137592a9204c036fe76079
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Relax get entity timeouts

Due to split brain resolver there can be a period of time
when the cluster is settling and its yet to make a decision
on whether to down a node.

JIRA: CONTROLLER-2025
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I7b1f418a0e727a49fe5aca9927f0891e37ab2d75

Increase cluster-entities request timeout

The requests need a more relaxex timeout due to the fallback
mechanism in the rpcs, which falls back to distributed-data
in case the request to the supervisor times out.

JIRA: CONTROLLER-2025
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: Ib05b2743042fe1460101d45ae8e95b85182abf53

Migrate netconf suites restconf calls to rfc8040

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: Ia31101b22699086c29a8c26fdc9e710d271b2df8

Fix wrong mapping type for templated requests in netconf

This is currently causing a number of failures all over netconf
suite due to wrong string type used for mapping in templated requests.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I50c72ceb93e0891af581988b7b0d1db9d7a6b5f4

Add chlorine keywords

Change-Id: Ife7724a90f95ef2ab768dc49e179d0040af031a1
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Add chlorine to release dict

Change-Id: Ib64a08ac8a5ea4a0814969440fb42ec4637ff614
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Replace entity-owners API call

An entity ownership test for OpenFlow Plugin makes a direct REST
API call to get the entity ownership information from operational
data store, which is only valid up to Silicon.

Update the 'get_entities' function in the ClusterEntities library
to fall back on the entity-owners API call for Silicon, and replace
the API call to the operational data currently used in the test case
with the function/keyword so that Silicon/Phosphorus/Sulfur are
all supported.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Idf7d41d1abc509f5f344e7d6d40d93a4dee8f960

Add module to the augmented node in the URL path

Phosphorus/Sulfur now require module name for augmented data node
in the URL path. Update the URLs for OpenFlow Plugin tests
to include the module name (flow-node-inventory) for the augmented
nodes (table, group).

Set the expected status code for add/update/delete flow RPC to
204 when the stream is at least Phosphorus, instead of 200,
because the status code for the empty RPC response is 204
since Phosphorus.

Add missing stream-specific keywords in CompareStream.robot up
to Sulfur.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Ib2dcb163b001cc23becd29dabd1c23a38c479dfb

Add module to the table URL segment in ScaleClient.py

In Phosphorus/Sulfur URL without the module name for
the augmented data node, i.e. the table list augmented to
opendaylight-inventory, returns 409 error. Add the module
name 'flow-node-inventory' to the path segment to address
the issue.

And add a step to break out of request loop in ScaleClient.py
if there are many request errors (more than 10) to prevent
the overall test from failing to complete (or taking too long).

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I9b7225c90160836fa1f2ad0ab2e492593cebc4b5

Update change_counter RFC8040 URI

List key update was missed in previous patch, fix that.

Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Change-Id: I504a065b832b5c14f27f45e6ea47bad48eeb5add

Remove Sanity3Node test suite

This test suite is outdated & not used in any place.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I974a80a90c84d6794a2ad4e252138c1d27f001e0

Update mapping for 'Post As Json Templated'

Now 'mapping' for the *_As_*_Templated keywords should be
a dictionary and the value of the 'mapping' dictionary is
percent-encoded with an expectation that the value will replace
the value placeholder of the RFC8040 list segment.

Update OpenFlow plugin test cases using the keywords to provide
a dictionary. Also, replace the Bierman02 URL still used in the URL
templates, and change the placeholder to the value of the node list,
instead of just switch ID.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I0de33bd5670fdd8f11f464dfdd67b72b792688db

Replace Bierman02 with RFC8040 for OpenFlow Plugin

Create new variables for RFC8040 topology & inventory API URLs
for OpenFlow Plugin test suites and replace RESTCONF APIs
based on Bierman02 with the ones for RFC8040.

Some of the common libraries in 'csit/libraries' used by OpenFlow
Plugin test suites are also updated. This requires additional
changes in other test suites using the updated libraries.

HEADERS_YANG_JSON variable is temporarily changed from
'application/yang.data+json' to 'application/json' to make
it compatible for both Bierman02 & RFC8040 - the former
is not accepted by RFC8040 URLs.

Add a step to break out of request loop in ScaleClient.py
if there are many request timeout exceptions (more than 10)
and a step to check if there is RuntimeException in the
controller log after checking NPE in WorflowsOpenFlow.robot
and WorflowsL2switch.robot - using RFC8040 triggered
RuntimeException because of the circuit breaker timeout
issue (CONTROLLER-2026) making overall test fail to complete
(or take too long).

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Signed-off-by: Sandhiya Selvaraj <sandhiya.selvaraj@verizon.com>
Change-Id: I25625598e5eb7aedac7d5a0b536af8ac26a9ebf7

Migrate bgpcep suites restconf calls to rfc8040

Change-Id: I2e4e0929e300156cd6820ff8671f979d991d9834
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>

Remove references to prefix-shards module

Jira: CONTROLLER-1977
Change-Id: I7f7ebf923fdefd8b5ae3734d92fbe2aac55994c0
Signed-off-by: Richard Kosegi <richard.kosegi@gmail.com>

Make controller role checking more reliable

When there are two active OpenFlow channel connections configured,
the role of each connection keeps changing as the two connections
compete and keep reconnecting. So checking the controller role
every second is not a very reliable way to detect transient state.

Use OVSDB monitoring which streams updates in the database to
record all the changes of the controller role, instead of periodic
polling, to make the test results more reliable. This will help
to detect true failure cases.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Ided77a53e4df7db1ef99d453cfd7aa0dcd062532

Make karaf logout more stable

Logging out from karaf session sometimes fails because it does not
detect written text. Use 'SSHLibrary.Write_Bare' which does not consume
anything to make it more reliable.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Ic29c40715b171eef6a82dc99ca9b22d865fb39c1

Support OVSDB entity name format in Phosphorus

Retrieval of the OVSDB entity ownership is now supported
in Phosphorus/Sulfur (CONTROLLER-2009).
Update ClusterEntities.py to update entity name following
the OVSDB instance identifier name format to retrieve
the entity ownership information.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I9abe99f1e6bfbaabd3f9460df552f24bf8e996b9

Cleanup 020_bgp_functional_multipath suite

This suite had some unused keywords leftover and
referenced a couple of unused variables.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I118919ea7b9c8c8366a5103b84095f4ba08a9ca6

Fix the JSONRPC read service issue

The steps to upgrade pip and install pyzmq & zmq were failing
because it's done with an old version of OS default pip.

Add a new keyword to support Python 3 virtual environment in
SSHKeywords.robot, and start the read service in a new Python 3
virtual environment created with the new keyword - a new keyword
was created, instead of updating the existing keyword, in order
not to interfere with other test cases.

Replace 'send' with 'send_string' in the odl-jsonrpc-test-read
Python script because the former cannot be used to send a unicode
string in Python 3.

And remove new lines & spaces from the configuration data when
creating the script command to make it a little simpler.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I70e694bb1a4fa21c2133b262e291791e6afe5ce8

Fix bgpcep testtool deploy when running with snapshots.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: If792c7409bf279ae5ca11a80e329b0f9cb9888e4

Support OVSDB entity ownership ID format

Entity type 'ovsdb' has its own entity ID format, different from
the one for ServiceEntityType & AsyncServiceCloseEntityType.
Add entity ID template for for 'ovsdb' entity type.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I8d1383d1ce1e53e290dfd25c9473acb36738a576

Remove entity-ownership from shard list for Phosphorus or later

Entity ownership is not stored in operational data store any more
since Phosphorus. Remove entity-ownership from the operational
shard list if the controller version is at least Phosphorus.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I67a4eb2e2adcc95b5e1463e05ab7e65198271c0d

Fix incorrect BGP entity name & type pairs

Get_Owner_And_Successors_For_device requires Bgpcep as the entity type
when the BGP RIB name is given as the entity name.
Another option is to use the entity name with the '-service-group'
suffix, e.g. 'example-bgp-rib-service-group' instead of
'example-bgp-rib', with 'org.opendaylight.mdsal.ServiceEntityType'
as the entity type. In this case the initial attempt to get
the ownership information from
Get_Owner_And_Candidates_For_Device_Singleton will
fail and Get_Owner_And_Candidates_For_Device_Rpc will be used
as a fallback.

There are several test cases that incorrecly use the BGP RIB name with
'org.opendaylight.mdsal.ServiceEntityType'. Fix the errors with the
first option (use 'Bgpcep' as the type) to utilize the abstraction
provided by the keyword.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Ic44cd0f35531cc22bc3e4627ba2edec56084e075

Merge device specific keywords to retrieve entity ownership data

Keywords 'Get_Owner_And_Candidates_For_Device_Singleton_{device_type}'
defined for netconf, bgpcep, sxp are the same except for prefix/suffix
added to the device name. Create a dictionary for the prefix/suffix
and share the same keyword Get_Owner_And_Candidates_For_Device_Singleton.

The keyword didn't support OpenFlow device type before, because there
was no keyword specific to the OpenFlow device type, but it is
supported now.

This change also removes the odl-general-entity prefix/suffix for
bgpcep & sxp because the entity name does not include the prefix
with the new entity owner RPC - netconf does not have it.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I5181e2f9f531835310714789ece8df9634ee118f

Support Silicon for retrieval of entity ownership information

ClusterEntities.py uses RPC introduced in Phosphorus to retrieve
entity ownership information, hence Silicon or earlier versions,
which store entity ownership information in the data store,
are not supported.

Fall back on the REST API calls to retrieve the information from
the operational data store, if the status code for the RPC call is
400 (bad request), to support Silicon and earlier versions.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: I18c8d667554d25e5126770235ad33ff404cbe9fe

Remove old script to push test stats

This is making builds unstable

Change-Id: I2a6e8d533140262e0cd9f7b6382c0a64b4f1fe16
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add PCEP suite variables for sulfur

Change-Id: Ie25d294d4b82fbf2ec97bc778f3d634183180d2b
Signed-off-by: marekzatko <Marek.Zatko@pantheon.tech>

Update certificates for OpenFlow TLS connection

Certificate chains with intermediate CAs, currently used for
the OpenFlow channel TLS connection for testing, is not supported
by Open vSwitch.

Replace certificates/keystores for the switch & controller with
the ones signed directly by the root CA and create a new script,
gen-certs.sh, to make it easier to generate new certificates.

Also, fix an error in MininetKeywords in executing 'ovs-vsctl get-ssl'
command.

Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>
Change-Id: Ieb0c3c4f8285336a4ed4b48412c5d0e2fc7b27cb

Define sulfur version

bgpcep-csit-1node-gate-userfeatures-all-sulfur failed with:

  Dictionary '${Stream_dict}' has no key 'sulfur'.

We obviously need to recognize it.

Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Change-Id: Id2b923bf9fb9db7447b1967d25bfc300d7382443

Fix no return value when deploying testtools

If the first attempt succeeds we need to return the filename
like before.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I133e5d8039bab7cbd1fa2350e8b9816b9331b956

Fix netconf entity name creation during lookup

Looks like the prefix contained something that was no longer
in the name of netconf entities.
We need to remove this to have the lookups for netconf entities
succeed.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: Ia07e9500f72f1cc9a0221ee5744f4a01dc256b5a

Fallback to release url during testtool deploy

Staged autorelease does not have to contain some testing
artifacts which are needed for csit.
In that case fallback to using the release repo.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: If6002e2080d791ce53571de68fd212879f75e0c2

Rework old entity datastore lookups to new rpcs

New entity ownership service doesnt publish entity
information to the datastore. Instead new rpcs
for the same purpose were introduced.
Rework suites relying on the entity information
to use the new rpcs.

Change-Id: I8765394c574e73a1720249b65419b64815d2f40b
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix netconf csit looking up nonexistant version

Due to the change of stream in netconf jobs from phosphorus to master
the test cases were looking up version which doesnt exist in the
test case values.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I2d2d74c2ba4cbc131cf5d87264cf55fa9b641f93

Fix a 'memeber' typo

The correct word is 'member'.

Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Change-Id: Ie5f6b7805c81ca2fb6beba549d03bc28beba24bc

Add TopologyNetconfNodes.py library

Our current method of configuring netconf topology devices does not
really scale in terms of speed and memory footprint.

Add TopologyNetconfNodes.py, which provides a simple library to
configure and ascertain connection establishment in a scalable way --
from the perspective of RF, both actions are single keywords which do
not produce much in terms of output.

The configuration part relies on RFC8072 YANG Patch to introduce any
number of devices through a single request.

The keyword to await connection polls NETCONF topology for device status
and loops until the deadline passes or all requested devices are found
to have been connected.

// FIXME: pass down authentication

JIRA: INTTEST-125
Change-Id: I1661d84a6535abff45cbd346f54e996a4d757b33
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>

Make sure we can use testtool from staging repo

While running jobs on staging artifacts the url for
testtool was incorrectly pointing to the opendaylight.release
repo, which obviously did not contain testtool.

Fix this up so we use the base path from the param
if its not pointing to release/snapshot repo.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: Ifd5f88b0d8da67bf30d2e6c0858c2cd03f3d4554

Use proper netconf testtool artifact

When running tests with mri projects snapshot version
karaf distro, we need to point to proper testtool.

Signed-off-by: Tomas Cere <tomas.cere@pantheon.tech>
Change-Id: I564eccf4ecb1c5a56d75760ee14441f36729faf6

Fix netty-replicate test

This test suite is failing since upgrade to RF-4.1 due to
https://github.com/robotframework/robotframework/issues/4034.

Adjust argument declarations to not use list, but rather interpret the
argument as a list.

Change-Id: I2ccee5917738d4e4df844335542775512a1e20a3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix shoudl typo

The word is 'should'.

Change-Id: I1b72132c9dc8b69e65d34c4f67dcb7c173aaa806
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Change opendaylight to karaf distro

Change-Id: Ie05485c0545a3eea69d7f4409c5c64014d270d5b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add a missing keyword

Previous patch ended up referencing a non-existing keyword, leading
to a set of failures. Make sure we define
Run_Keyword_If_At_Most_Silicon.

Change-Id: Ib04c161dc80208c1c3df06227d7f867a999a86d5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Hack away entity-ownership:operational on Phosphorus

This is a weird default list, which has changed, as we no longer
have EOS backed by a shard. Add a hack, which will cause it to be
ignored.

Change-Id: If4bb9df2103c74a54f5b38c73ec16b8ee40ecbec
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BGPCEP is release-integrated since Phosphorus

bgpcep should not be downloaded from autorelease repo, but rather
from our normal release repository. This should fix failures in
bgpcep-csit-1node-userfeatures-all-phosphorus, where we are failing
to download bgp-bmp-mock-0.15.0-executable.jar from
https://nexus.opendaylight.org/content/repositories/autorelease-4860/

Change-Id: I2d4334e379b114ff997e93f264227046c30186a9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Decrease number of injected routes

Change-Id: I8eff2b04f6b758221e28eb4aa2da03a3461aa343
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix OFP link scale test

It is fine to stop at 52 switches and 2652 links.

Change-Id: Iefeb5e4e9b3e917309c4faac398ea0784ac28ff7
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Documentation for run integration test on local computer

Added RST document with instructions how to set up Robot framework and
run integration test on local machine.

JIRA: INTTEST-127
Change-Id: I950656a036b1ef3c782ca6c0863f192e09a83e60
Signed-off-by: Iaroslav <iaroslav.kholiavko@pantheon.tech>

Add pcep suite variables for phosphorus release

Change-Id: Ieb0349bcae384bc4813187df0d3bcf813a508015
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>

Update ambv/black branch for the python formatter

The 'stable' branch of ambv/black is not available,
switch to the psf/black and branch 20.8b1 instead.

Change-Id: If8dce5f251a8c35cf0d3f5e824bd4c0f735b929c
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>

NETCONF is release-integrated in Silicon+

Adjust component mapping to account for NETCONF not sitting in
autorelease.

Change-Id: I30d6e5ee594b3000b6d412ffbf2c75b4d71ad840
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add phosphorus to release dict

Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>
Change-Id: If4184ccc2518e232de2cfb59edbcbb1bbf95aed4

Add test cases for call-home (devices connected with TLS transport)

Verification for the TLS transport based on the following flow:
- Generates certificate for the device
- Installs certificates into the netopeer2 device
- Installs certificates into the OpenDaylight controller
- Checks if the device is recognized by the OpenDaylight CallHome feature and
mounted successfully

JIRA: NETCONF-5
Change-Id: Ibe08c61ab6956d83748ae95be776a1be8c1a1d78
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>
Signed-off-by: Vladyslav Marchenko <vladyslav.marchenko@pantheon.tech>

Add test cases for new API to netconf/call-home suite

This test verify new yang data models for NETCONF CallHome feature

JIRA: NETCONF-5
Change-Id: I1a96db6beb4d68fe0f767b7f1e86bd4e4f200177
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>
Signed-off-by: Vladyslav Marchenko <vladyslav.marchenko@pantheon.tech>

Fix NETCONF KWs to log less

Also remove JVM KWs that throws ERRORs

Change-Id: I9eb3a50f03dcaba6ca2dd948c0d40475dc027e66
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add 'silicon' to the list of variables used for release version comparison

This adding functionality to limit test runs for silicon and later
releases.

Change-Id: I3e62d91f830270013059d9dbf76658b7ce2db6f0
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>

Fix robot KW logging

Change-Id: I9a8640c7b26a0c0172576d50fbb30482aef22163
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

migrate doc index wiki URLs to wiki-archive

Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: Ic09f8b41b4315e134d1649efd81502385b449efe

Add netty replicate test suite

Add test suite for MD-SAL netty-replicate functionality.

Jira: MDSAL-648
Signed-off-by: Martin Balaz <martin.balaz@pantheon.tech>
Change-Id: I10f2f06cd32fb686b13a12d13bde50a7f6d66db8

Always use /dev/urandom

We do not care about RNG here, just use /dev/urandom.

Change-Id: If3e5ae14bef69af71c726a5d2bbaf3744f29f389
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update yangtools validation set to newer commits, add description about reasons for excluding yang files

Signed-off-by: Martin Balaz <martin.balaz@pantheon.tech>
Change-Id: Ibd92d17dbea1c2514f7be40b3a1580b3262fce37

Fix typo in comparison operator in Open_Controller_Karaf_Console_On_Background for proper restoring ssh connection

Signed-off-by: Martin Balaz <martin.balaz@pantheon.tech>
Change-Id: I1f9fbbcd71e9f59c0d70686c57f9612d5834a7bd

Update call-home integration tests

- Replace outdated netopeer with a netopeer2-server
- Configuration of the ODL controller is done from tests(previous
  implementation used shell scripts inside the container)
- Templates for ODL requests are now stored separately
- Host key generation outside of the container
- Netopeer2 container plays only the role of netconf device

JIRA: NETCONF-5
Change-Id: I536b3c8a66cc3e92f376cb2451b888316c8a82bd
Signed-off-by: Oleksii Mozghovyi <oleksii.mozghovyi@pantheon.tech>
Signed-off-by: Vladyslav Marchenko <vladyslav.marchenko@pantheon.tech>

odlmicro scale tests

Signed-off-by: Venkatrangan Govindarajan <gvrangan@gmail.com>
Change-Id: I5132f2e1a794934e3877c20a320d9a91187ff094

Enable CRUD-RPC Test for odlmicro

Signed-off-by: Venkatrangan Govindarajan <gvrangan@gmail.com>
Change-Id: I19acadfe5c7994200f2f5e248fa05962e13075b9

Remove BGPCEP many peers test

The test fails intermitent in all the branches. Better skip until
someone spends the cycles to figure if this is a test or
a controller issue.

JIRA: BGPCEP-946

Change-Id: I1c5211c0655046c67faa655f35e9dc692c96a4d8
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Modifications for OF_Tunnels to support Aluminium release

Signed-off-by: Srinivas Rachakonda <srinivas.rachakonda@gmail.com>
Change-Id: Ieab937d11e1e0d489b4078097a20c4a4702874aa

Fix variable names consistency in DnbCommons.robot

Signed-off-by: Martin Balaz <martin.balaz@pantheon.tech>
Change-Id: Ice47186a2ecc51ec65147a2480f44ce7cdf4d3f7

change DOMNotificationBroker wait timeout to incorporate check period time

Signed-off-by: Martin Balaz <martin.balaz@pantheon.tech>
Change-Id: I7e4dc959883da5cf5a4afc1df330933a8f33f4cb

Exclude long time failing test

JIRA: OVSDB-413

Change-Id: I7b070b817abbe18bc3f4019f6d85ceb4b387d6d1
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Reduce output.xml size

Other longevity tests may need a similar fix.

Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Change-Id: Ie033532a542cbb203fb4a93afb75a98bbc8f218d

Stabilize netconf callhome test

Change-Id: I49524d04d28ec0b483c432ec8f83cf240c2a447a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add INFO.yaml for integration/test

Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Change-Id: I1e510ac9dc35193d692188595b2842e095fd8b28

Initial tests for odlmicro netconf functionality

JIRA: ODLMICRO-32
Signed-off-by: Bhuvana Vignesh <bhuvanmailid@gmail.com>
Change-Id: Ib103551d4468f33ce180706f751028c110f7c286

Verify PCEP sessions from multiple machines

JIRA: INTTEST-121
Signed-off-by: BhuvanaVignesh <bvignesh@luminanetworks.com>
Change-Id: I3d030782ab5c4dd9b7e96de32a0609bdb908bb10

Controller component should be MRI

carpeople component is MRI from Aluminium onwards.

JIRA: INTTEST-119

Change-Id: I81e4c2d74dc5f7ce34a72d616ca02d1a708fc9dc
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix tox errors

It seems some updates in linters/pre-commit steps is
now catching more errors. This is just a patch accepting
all the automatic fixes from running them locally.

Signed-off-by: Jamo Luhrsen <jluhrsen@gmail.com>
Change-Id: I762637f6890eeedd2dde1e1406a6cfb65c2ff26f

Adjust PCEP module names

The names of the modules have shifted, hence we need to update the
test suite to take that into account.

magnesium/ folder contains the pre-existing files and
sodium/ is just a symlink to it. aluminium/ folder will
have the new formats and eventually when magnesium and
sodium age out we can revert the .robot changes in this
patch pointing to a ${STREAM} folder and flatten these
updated files back down to a single folder.

JIRA: BGPCEP-882
Change-Id: I4e217370f4ad908c557da852d864d458035b2586
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

GENIUS-130: OF Tunnels support For ITM Direct Tunnels (of-tunnels)

Genius already supports creation of OF-tunnels through interface-manager.
With itm-direct-tunnels, interface-manager is by-passed for all
internal tunnel operations, and in such scenarios, OF tunnels are
not currently supported. This feature adds support for flow based
tunnels on top of itm-direct-tunnels for better scalability.

Specification Gerrit : https://git.opendaylight.org/gerrit/#/c/71659/

Gerrits Topic : https://git.opendaylight.org/gerrit/#/q/topic:of-tunnels+(status:open+OR+status:merged)

Change-Id: I32c9f1796b86670263574748bb937d9f18869b58
Signed-off-by: Karthika Panneer <r.p.karthika@ericsson.com>

BGP session with LLGR capability for unsupported safi

   - A library for gobgp tool is added
   - Test case for validating BGP Session with LLGR
   - For an unsupported safi

JIRA : BGPCEP-893

Signed-off-by: pdathathraya <pdathathraya@luminanetworks.com>
Change-Id: I57cfc0ade08f37f85f5bbdb0ca7093012ac0f500

Add RESTCONF RFC8040 SSE test

The new test is executed when using RFC8040. And it is available
in Aluminium onwards.

Change-Id: Iaf74ff1d119a93d8c87227e9fc0a9c25c1fd7a04
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Convert SFC checks from python2 to python3

resp.content breaks with "should contain" style KWs.
resp.text is the way forward with that.

Signed-off-by: Jamo Luhrsen <jluhrsen@gmail.com>
Change-Id: Ia0212b48b0c531e38c18dafcde8d7eeea7065049

Add silicon to release dict

Change-Id: If50e0a5fa8f73bfe7e2f8ca1215b13502d5babea
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Setup python-black for opinionated linting

Black will automatically format code for Python 3.

Change-Id: I55d5042412f9ba275ec8e65301a21db1d4209d84
Signed-off-by: Thanh Ha <zxiiro@gmail.com>

Auto-generated patch by python-black

Refer to the next patch in the list before merging this one. This
also removes autopep8 in prep for python-black as both these tools
conflict with each other.

Change-Id: I8adbeea0d42827e9dc341b023e79da2ce389d491
Signed-off-by: Thanh Ha <zxiiro@gmail.com>

Adding new PCC delegation test cases

 - This patch contains the test case which revoke the pcc delegation in LSP updates

JIRA: INTTEST-120
Signed-off-by: BhuvanaVignesh <bvignesh@luminanetworks.com>
Change-Id: I16eb170586d6e7e1eb7736a4e09ed01a9c68570a

Test with AS Number configured more than 65535

JIRA : INTTEST-122

Signed-off-by: pdathathraya <pdathathraya@luminanetworks.com>
Change-Id: I33b3f6acfdfdcf3127f08940ab57a19c7a69170e

Disable SSE notifications

By default in Aluminium, SSE (Server Side Events) are enabled
and websocket notfications are disabled. The existing CSIT
test cases expect websocket notifications to work. For now
we need to disable SSE to allow the test cases to pass with
websockets.

This will be a NOOP for Mg and Na, although the controller
restart is a small waste of time (~2min).

In the future, tests cases for SSE will be written and doing
this config change and restart in the suite setup will
probably not make sense.

JIRA: INTTEST-107

Signed-off-by: Lukas Baca <lbaca@luminanetworks.com>
Change-Id: I0dc87e2731927c2ec61c683d1a2f238e2b03e8d0
Signed-off-by: Lukas Baca <lbaca@luminanetworks.com>

Restore OFP cluster suites original order

Change-Id: I7ef0d9ef06e842aeb50fcb353aa1f685b34a9606
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

increase ping packet count

Signed-off-by: Srinivas Rachakonda <srinivas.rachakonda@gmail.com>
Change-Id: I02d265ff89be5eed2d301053f8b8ab87d86226d8