Connectivity Tests for the Openstack Jobs

* Simple Connectivity Tests for netvirt 1-node and 3-node
* simple connectivity test for VTN

Change-Id: I4e1cd76fb51955b740b3c4d809b357448ba450f7
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Updated SXP CSIT with new feature PeerSequence filter,
added Berrilium test plan which skips test with this feature.
Changed position of Topology setup in filtering tests,
to cover more scenarios.

Change-Id: I378e14c17023a32e7da6cc10d0374161c25c072d
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Tell GetControllerSyncStatus to not spit out warnings

The GetControllerSyncStatus keyword generates a lot of noise
warnings when used on a controller that is down. Tell it to
stop that behavior.

Change-Id: I950fa148cad9f88a5cb46841087eb7db356ccc9f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix for VTN CSIT Job Failures

* Temporory fix to install vlan package in Mininet
* Will be reverted once the Infra moves to Private Cloud

Change-Id: Ie1d46d92f0bd3566bf21f19949712e5d8bbbc308
Signed-off-by: gvrangan <venkatrangang@hcl.com>

use 4.2 for beryllium snapshot release in networking-odl tempest test

Change-Id: I470aae30455182cc31ede8756958d5adab503acb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Openstack Verify Connectivity from instances

    * Ping from dhcp NS to instance
    * Ping from instance to instance
    * Ping from instance to dhcp server
    * Ping from instance to metadata server

Change-Id: Ia725a1f9d1159df9db50f791e5c7b9ae1276f93a
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Set car-people shards in scriptplan so they can be deployed per job

Change-Id: I7f86804c13193240badc676fbc473d6b4a59d93a
Signed-off-by: Luis <ecelgp@gmail.com>

Add suite setup for TCP and UDP suite tests

1. Need to move suite setup (download usc test tools) from root folder USC to subfolders TCP and Udp
2. Replace static callhome IP with ${ODL_SYSTEM_IP}
3. Add csit/testplans/usc-tcp.txt
4. Change the keyword to download USC Tools

Change-Id: I5b8b195f5274eb48d434351ce5f7657868e0091e
Signed-off-by: victorxu <s.xu@huawei.com>

Add clustering performance test suite

This is a suite which deploys a device and puts some data
into it and then issues requests to update the data. The
difference is that the device is configured and the data
is added using one node and the data modification requests
are issued on another node of the cluster, forcing the
cluster to do clustering communication.

Change-Id: I902d2b9aa924de7e1f9fd891600387f769b91013
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add convenience keywords to ClusterManagement

The convenience keywords allow starting or stopping a cluster
node using just one line. A few test suites were updated to
utilize the new keywords.

Change-Id: Id6b457e1f649ff979e868d723d5527f3e425a073
Signed-off-by: Jozef Behran <jbehran@cisco.com>

LISP: Add xTR-ID support in Map-Register perf tests

Change-Id: I5d7573e83f8abc5d2cbdbc722417f68d5784d86d
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

add ability to poll on Operational store.

default still remains Config store, but "-d Operational"
will change to poll on the Operational store.

Change-Id: I384104473db384577452fdeafc7c764d329cd6b8
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix spurious warnings after a peer is killed

When a peer is killed and is later restarted, then any
attempt to query anything from it using restconf will lead
to a bunch of warnings about a dead connection. After digging
in the RequestsLibrary source I realized that the proper cure
is to tell the RequestsLibrary.Create_Session to not make any
retries if the first connection attempt fails.

Change-Id: Ic0586a280d2d9bda675771182f66374c4c6cd982
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added test suites for cluster HA data recovery leader follower failover

    Description: In a 3 node cluster initial inventory shard status is
    verified and following tests are performed.

    - Mininet switch is connected to a follower node and flow is added via
      another follower node. Disconnect the switch and restarts the Leader.
      Connect the switch again once Cluster is formed and verify flow is
      installed in the switch again

    - Disconnect the switch and restarts one of the follower node. Connect
      the switch and verify the flow is installed in the switch again.

    - Disconnect the switch and restarts the Cluster. Connect the switch
      again when Cluster is formed and verify the flow is installed
      successfully.

Change-Id: Ibd01664bc355a41bc95794930b1e40f3468ce858
Signed-off-by: Sanjib Mohapatra <sanjib.mohapatra@ericsson.com>

Replaced NetconfViaRestconf.robot with TemplatedRequests.robot

NetconfViaRestconf.robot is not compatible with
ClusterManagement.robot and is obsoleted by
TemplatedRequests.robot. The incompatibility problem prevents
easy construction of test suites testing scenarios with node
outages so this outdated piece of code had to be replaced
with the newer (and compatible) piece of code. The change is
quite involved because TemplatedRequests.robot has quite
different API.

Change-Id: Iaa791eab06d1eaaf4d1904f248c57f67a30afc61
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied updated test suites

Change-Id: I03ce220e896169f145674943e2e4f6fe430bf6da
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing - test correction according to patch 36891

Patch 36891 is bugfix for bug 5458

Change-Id: Id859b7afa1ee0c4cf3e502524df6d97064ecd1d1
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Add csit test cases for centinel features.

Change-Id: I65d4ea2efbeea3ba1aaa9d7044b4b1005675d5bc
Signed-off-by: Ruchita <ruchita.khanna@tcs.com>

Bug 5560: Fix bits ordering issue in BGP flowspec tests

This includes change to norm.json.py Library to optionally
perform sorting withing string values if key is present in given list.

Also, ordering and syntax inside Verify Flowspec Data is improved.

Change-Id: I12d2493233d557772f8beec6e11743a4d6941c97
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

enable auth in rest calls, and fix one error message

Change-Id: Iddd0dfb7ec44a89c00f3f481a5576459b113077e
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add ability to use JAVA_HOME to find java

If no JDK_VERSION is specified and invoking "java" on the
commandline does not work at all ("java: command not found"),
the code uses the value of the JAVA_HOME as the root of the
JDK to be used as a last resort.

Change-Id: Ieb647003dc7fe4790b747191371ae240fec40d1b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix malformed BASH command in ComposeDilemmaFilePath

A misplaced ampersand caused the command to always return 0
(success), even when the path queried did not exists and the
command was thus supposed to return nonzero (a failure).

Change-Id: If59501fa7d79fc60f0f63fde02095a1c87b19e59
Signed-off-by: Jozef Behran <jbehran@cisco.com>

prepend ovsdb to connection-info for NB connection request

for the case when hwvtep features are loaded along side of
ovsdb, the connection-info data is taken from the same base
model, so there is a conflict resulting in an ERROR when
trying to initiate a connection with just "connection-info".
we need to make it more specific, like "ovsdb:connection-info"

Change-Id: I5729a9c1d91507dd3dd6e2cfb8591e916aa6fa88
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix typo in throughpcep suite

Change-Id: I76dbfb36a0b69ec0f7a8c50a5ffb9c0b942776c3
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Ignore all vim tmp file extensions

After .swp, vim roles over to other .sw* files. Ignore all of them.

This is the same logic we use in int/pack/.gitignore.

Change-Id: Id9cac1cc65aa919993336b079c068e9ef7bd67ee
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Comment last OF cluster test to better observe bug 5641 in karaf log

In any case current HA suite covers the remove Sanity check.

Change-Id: Ica757008c42589b0af3a6bab8992b834ff931e9c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adding more time to stabilize CPqD tests

If this does not help we will consider to remove all CPqD tests from CI.

Change-Id: Ic03ebf3c65abe588020f33444bcb5fef589305ab
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix SFC robot test cases in CSIT

This commit is composed of two different changes:
1. Replace ODL_VERSION variable with ODL_STREAM in SFC test cases

ODL_VERSION variable in robot test cases is no longer used and instead
ODL_STREAM is the new name, with the same content.

2. Fix SFC_FUNCTIONS_FILE variable definition in SFC Robot test cases

Definition of variables in robot test cases need to keep separation of
four spaces between the var name and the value

Tested in Jenkins Sandbox: https://jenkins.opendaylight.org/sandbox/job/sfc-csit-3node-clustering-all-beryllium/5/

Change-Id: I37b326d92f534411d45e92f88b2e0f120e6ad506
Signed-off-by: Miguel Angel Munoz Gonzalez <miguel.angel.munoz.gonzalez@ericsson.com>

Added test suites for cluster HA data recovery leader follower failover

Description: In a 3 node cluster initial inventory shard status is
verified and following tests are performed.

- Mininet switch is connected to a follower node and flow is added via
  another follower node. Disconnect the switch and restarts the Leader.
  Connect the switch again once Cluster is formed and verify flow is
  installed in the switch again

- Disconnect the switch and restarts one of the follower node. Connect
  the switch and verify the flow is installed in the switch again.

- Disconnect the switch and restarts the Cluster. Connect the switch
  again when Cluster is formed and verify the flow is installed
  successfully.

Change-Id: I1cc767712bac3694ba4bf9b052765903bce28ae8
Signed-off-by: Sanjib Mohapatra <sanjib.mohapatra@ericsson.com>

Add requirements.txt for cluster-deployer tool

Using `pip install -r requirements.txt` against this file, ideally in a
virtual environment, will install the dependencies of `deploy.py` and
its helper scripts.

Change-Id: Ib70f617d7ecf3fa14afba22adfe39c2363a36d1c
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Fix cluster-deployer script execution in venv

The hard-coded path to the python executable in deploy.py and restart.py
broke when executing them like scripts in virtual environments.

```
$ ./deploy.py
zsh: ./deploy.py: bad interpreter: /usr/local/bin/python: no such
file or directory
```

Moves to standard `/usr/bin/env python` method.

Removes extra comment character from just before restart.py shebang.

Marks restart.py as executable, since it's designed to be run like a
script.

Change-Id: I945e5704327fb8a2c6387a919054560bd23055d1
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add requirements.txt for cluster-monitor tool

Using `pip install -r requirements.txt` against this file, ideally in a
virtual environment, will install the dependencies of `monitor.py` and
its helper scripts.

Change-Id: I5769fbcbf9db4d9caeed56707b0c968fa57b38be
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Fix scaling tests failing due to a name clash

The tests get wrong timeout due to a clash with
NetconfKeywords which uses the same name for a variable with
testtool device boot timeout. Rename that NetconfKeywords
variable to better indicate its purpose (and thus to avoid
the name clash).

Change-Id: I255308d5b2b754f632985166de7b25a8dd43b194
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tell CURL to follow redirects

After moving Nexus to the private cloud the tests have been
broken because CURL does not follow redirects by default.

Change-Id: I82ec9bd74527ee5bfd15879a7730b55cb88522ec
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add WUKS and stats collection time in OpenFlow perf test.

Change-Id: Ied3f5cffac7686c891fe0991aafa299eff3920e9
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adding -o option to unzip odl steps in the deploy.py script,
without -o option the script keep waiting for interrupt and
didn't proceed.

Change-Id: I9a45cb1777148fa2b6e963d6697fa76aff836a07
Signed-off-by: Mohamed El-Serngawy <melserngawy@inocybe.com>

Script to check cluster status and entity owner

  * Required jolokio bundle installed in odl
  * Run the script "python cluster_check.py"
  * Provide the ip address of the controller to get the details

Change-Id: I94c6bbe5c2ab53b3562419b6769018e77f50210c
Signed-off-by: hari.pr <hari.pr@hcl.com>

Adds test suits for Cluster HA Leader follower failover

Description: Flow add modify and delete at leader or follower also test same
after leader follower or cluster restart

Initial inventory shard status test among cluster nodes. Switch connected to
leader or follower node and verify flow  add, modify, delete in leader or
follower nodes. Similarly verify RPC flow add, modify, delete in leader as
well as follower nodes. Reiterate the same functional test after leader
restart, follower restart and cluster restart.

Following changes are incorporated.

- Wrote good and meaningfull commit message

- Removed "Kill Specific Controller" and "Start Specific Controller" instead
  used alredy existing "Kill One or More Controllers" and "Start One Or More
  Controllers" in ClusterKeywords

- Used tidy tools for the checked in files

- Revert back the timer to original 15secs  in ClusterOpenFlow
  for flow add modify

- Removed ${KARAF_HOME} ${WORKSPACE}/${BUNDLEFOLDER} from test suite file

- Modified keyword "Start Multiple Controllers" so that first all nodes
  restarts and then "Wait For Controller Sync" performed in all controller
  nodes

Change-Id: I62d9f6c487d591b21b1fccdda9a5618ed3df5295
Signed-off-by: Sanjib Mohapatra <sanjib.mohapatra@ericsson.com>

changing regexp for simple substring search

the regexp did not work

Change-Id: If5dfd3cd1c77d034f887a8dd024f97fc32fec88f
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Fix Netvirt Tests by splitting the single node and three node tests

* Created a new TestPlan for 3-node tests
* Created a set of tests for 3-node
* Deleted a Older Ovsdb_Net-virt Test cases
* Removed the essentially noop suite (Ovsdb_Netvirt_flow) as this patch
  enables it in cluster mode

Change-Id: I3fd9e2574c8960f3ba3690dceac4d9f122d93494
Signed-off-by: manimuthazhagan <manimuthazhagan.r@hcl.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Topoprocessing - corrected tests for filtration and unification
of termination points on inventory model

According to change https://git.opendaylight.org/gerrit/#/c/36507/3

Change-Id: I7c2bfcf56f0411922eac77e59c4c78303918fcf8
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Topoprocessing - corrected tests for filtration on links

Change-Id: I7bd7235c256ce7965003d30b8ab49be5dea6c262
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Modify CSIT test files and library file of VTN Manager.

    * Fixing invalid input values(inet4src, inet4dst, icmp code and icmp type) in flowfilter robot test files.
    * Modified Dumpflow command in VtnMaKeywords.robot.
    * Due to Bug 5587 added Tags exclude for ICMP test cases in flowfilter robot files for both OF10 and OF13.
    Once bug is fixed and resolved, will remove Tags exclude and enable ICMP test cases in flowfilter robot files.

Change-Id: I7dec55e97affc0ccfb56c2104faa34b541646cee
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Boron Update of SXP CSIT.

Change-Id: I900b2aad077133d0284200228de19711ba985dcf
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Consolidate Entity Owner keyword in ClusterKeywords.robot library

Change-Id: Ie435bda9c469d9bed5aedd50d978cdb85d5a5ee7
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Change flow count criteria packet-count to priority

There is an extra packet-count for table aggr stats in Li branch.

Change-Id: I7269739d759fef2087174705460f1c3ead327909
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Remove BUNDLEURL variables

Csit jobs already provide -v option with the correct value,
based on .zip under test.
Without this change, people lauching robot scripts manually
would get unexpected value (Lithium pre-release snapshot version)
instead of error due to undefined variable
(acting as a notification that they need to specify
the correct value when starting pybot).

Change-Id: Idaad1a46474cc9ea917c4f78845231141e0b5dfe
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove AD-SAL tests from int/test repository

Change-Id: Idbaa886c2e2afa96d5f96a4b4c4edec2723981b2
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing AD-SAL location from testplans

Change-Id: Ib8e667702a71ff17ab3b6e8171e28c789ee0a41e
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Adding port delete functionality to ovsdbconfigblaster.py

Change-Id: I93d552fc774390846913fea74b2500da89899d79
Signed-off-by: Praveen Mala <praveen.mala@intel.com>

Fix for VTN Manager Li job Failure

Removed the method to add flows for table miss,
it looks like Jenkins is using the OVS 2.0.1 for
Li jobs and this is not necessary.Retained the keyword
so that it can be used in the future

Change-Id: I7f8a6c03a29737dadbaae659fd7fd6b3fc9fe034
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Add code to kill restperfclient if hung.

Change-Id: Ifc077926b1aa1a1eb1c7d1b38f95a14a6a3cc977
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Refactor performance suites to use keyword timeouts

This removes the ugly hack with ${XXX_TIMEOUT_FOR_TEST_CASE}
global variables and test timeouts for a more elegant
solution that uses a keyword timeout instead. Requires Robot
Framework 3.0.

Change-Id: If5876cce5edccfc693a06fff5a9c8c892b2da0f2
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Remove dead code that somehow survived code cleanup

Change-Id: I4fef816734be3eeb0b6ff277d7a8b458c9da359d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add missing reference to SetupUtils

Change-Id: Ib308ea9439a77f0ac88e7ffb2998afd23a61ced1
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied updated resource

Change-Id: If74ebb7276a3dbda64dd2e50e488ff9aca55e213
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Single Node Odl Tempest Job Tests

    * Create two networks, two subnets and router
    * Verify dhcp, gateway and instance ips in the dump flow

Change-Id: I714ccaf83d52aea7a8494a0c10efc5c3a4e83a48
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Configure timeout in RestPerfClient

Add --timeout argument setting the timeout for the
RestPerfClient threads issuing requests to the timeouts
calculated in the suites instead of the default 5 minutes.
Do that change for all three RestPerfClient performance
tests.

Change-Id: I7497eb4284b3dde5909d1fab68783d03ce7a5e1a
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Remove restperfclient invocation code triplication

Move the triplicated restperfclient invocation code into its
own bunch of keywords and hide some implementation details
from the test suite files. This makes the test suite files
easier to read and as a result it is also easier to add
additional code into the restperfclient invocation process.

Change-Id: I7a64b15e72c5fcf7766a768b44d6ebc3dd5434b2
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Move the timeout tests in mdsal.robot to their proper place

The timeout tests are conceptually "failed requests tests"
so they don't belong to a test case whose name says "invoke
restperfclient" when there is another whose name says "check
for request failures". Move these checks to the proper test
case.

Change-Id: I7ab625df6c29fd6fb91b7174715476ed77eda07f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

cleaning up system variables

- trying to change all MININET to TOOLS_SYSTEM as well as CONTROLLER
  to ODL_SYSTEM

- also found a few small refactors to make
  *  MODULES_API instead of REST_CONTEXT
  *  moved DIDM variables to subdir for clarity

Change-Id: Ifa50e14a6f9479c55dfd0a748fb8936e1a6af0a6
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add test for RestPerfClient timeouts

When RestPerfClient times out, it means a poor Netconf
Connector performance bug was caught. In the MDSAL Northbound
case it is reported as bug 5581, no such bugs were seen in
the other two cases so none are reported. However after the
RestPerfClient bug that causes it to hang in this situation
(see bug 5413) is fixed, the suite in itself tends to fail to
take a notice of such problems so add this specific check for
timed out threads that points the poor Netconf performance
bugs out.

Change-Id: Ib75707f517ee34f40b6c9961f90309c26870bafb
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add missing timeout to the test tool device performance test

The RestPerfClient on testtool device test suite was missing
a timeout setting. This would lead to suite hangs when this
scenario would trigger a "poor Netconf connector performance"
bug (see bug 5581 for an example) or spurious successes.

Change-Id: Ibf1c1843a86de12e11a4012c4209a36c0f0997e6
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidy updated test suites

Change-Id: I8005dc69c8d07380bcdfefb832ebffb7c4d698e8
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Giving the right library for Report_Failure_Due_To_Bug_Found keyword

Change-Id: I9d72f9cbe0b0e89b1f188e2034e94be171f17b11
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Updating ODL versions for consumption by networking-odl project

Change-Id: I0141da5aea7daac874a1f6efc4a60c9fa2e11790
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add PIP installation command into notifications test suite

Some tools system images (Ubuntu in particular) don't have
PIP installed and this causes the notifications test suite to
fail. Fix that by adding the code to install PIP before using
it.

Change-Id: Ib871cf554fc9c8e9456e16882d799a532fbf2c8d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add more robust wait for flow stats

Change-Id: Iae0c0d26d6f1b8ee54d67f236d51c811567cb5a3
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Modify VTN Manager CSIT for Stable Lithium

* Add Flow to OpenFlow Switch to forward packet in case of Table Miss
* Fix the wrong Keyword that was causing the entire job to fail

Change-Id: I32a66208acb88b66d178ba87d63135922b01840c
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Fix VTN Coordinator CSIT Failures

* Removed Unwanted Call to Stop Mininet
* The Mininet wqs stopped by an earlier case

Change-Id: Ia106b348cdc4d7db52befd59b6ceb96808f7c369
Signed-off-by: gvrangan <venkatrangang@hcl.com>

renaming bgp userfeatures testplans to fit 35774

Change-Id: Ifca4fb70720a7dadd559db46ee23e7e1c1b096d0
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Rework of controller car/people cluster suite

- Deleted the previous car/people cluster suites
+ New Resources: CarPeople, ClusterManagement
+ Updated/fixed: TemplatedRequests.robot, norm_json.py
+ New suite names, without number prefixes
+ Full-fields data files for car/people TemplatedRequests
- Simplistic iterated values for the fields
+ controller-clustering testplan updated

Change-Id: I56d0743129d6e8108b66e9b48c135e4c3bc13d5c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Bug 5423: Fix for ERROR messages when intents were deleted.

  * Previously the warn message "Invalid Address" is written in source code as log.error,
    due to this warn message was displaying in error message.
  * Currently the warn message handled properly in the source code as log.warn
link: https://git.opendaylight.org/gerrit/#/c/35273/
other changes:
  * Fixed one of additional test case failed on to check drop the
    packet when intent is delete.
Change-Id: I608ba47c8b64639c09a22056a710be194ca6bc50
Signed-off-by: vinoth <m.vinoth@hcl.com>

Enable loglevel as Trace for VTN Manager

Change-Id: Ie118580c68cab3e11bd6203b39eeb0a35fcc4257
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

flowspec tests

it has two test cases
-various flow details
-redirect option

Change-Id: I440ba40669711092917b9250e6546c3f8c891ce8
Signed-off-by: Peter Gubka <pgubka@cisco.com>

 Creating testplan for Openstack job

Change-Id: Ic356d9aafb2a4d16912c7e10814e9e43bcd6a63a
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Replace sleep by WUKS in Flow Stats suite

Change-Id: I99e4849f965293d938751f7ce0bbb99be735d60c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Include needed Assure_* keywords in BGP tests

Ubuntu tools system seem to be missing ipaddr installation.
This could be fixed on releng/builder side,
but this makes it easier to run on onther environments.

Also, small improvements in Keyword ordering in BGP suites.

Change-Id: Ic863a083d0306ce5c9a7cc8b1f89c061a1e92065
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Carrying LSP State Information in BGP

- basic functional test

Change-Id: I1866d7d96dc4265c595d709714bc381a2b5ff61b
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Fix documentation of Utils.Set_User_Configurable_Variable_Default

The documentation was updated to stress that the name of the
variable to be set must be specified without the ${} syntactic
sugar. Also the TODO was updated to stress we don't have yet
examples of usage where doing the TODO would bring a benefit.

Change-Id: I614769c9c2565c0463633d56b306510c829e3965
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add auth key for 0.0.0.0/0 in LISP perf tests

We recently discovered a security issue in lispflowmapping and an
explicitly configured authentication key is needed since the fix was
committed to allow southbound Map-Register messages to write into the
mapping database.  This patch adds such a key for the Map-Register tests
to produce usable results (notifies/s graph has value 0).

Change-Id: I14bac6c92f040abce71f40a24c531b9ca8e312b3
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Add WUKS to stabilize l2switch suite

Change-Id: I426ea63f67d690a9782df1b9c0e4dbb08c3af5e2
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Performance test suite for MDSAL northbound

This suite uses RestPerfClient on MDSAL northbound, via
Restconf. Similar to "performance.robot" but no device is
involved and thus no testtool deployment is necessary,
the only needed tool is restperfclient.

Change-Id: I117e790cd5434933d105ccbc29c6bcf7a9fca69e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

NexusKeywords: Make Compose_*_Java_Command also work on Ubuntu

Active SSH connection is now required,
but all suites had that satisfied already.

Change-Id: Ib0222ce50358e122c288bc4d74ac2026059bf714
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidy new and updated test suites

Change-Id: I1290e2eff4977de37bd8375c380ca7cd1161c190
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing Basic tests - Link computation

Change-Id: I660acae83a253fd18aad6731f9c18e18db2816e6
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Add Map-Register LISP SB performance test

Change-Id: I1c0a4a599733d3e3b5c24756fcfcf116e8db5dcd
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Cycling device and checking that the data survived.

After the device data modification step the test suite
deconfigures the device, configures it back and checks that
the data is still there as they were when it was last
modified. Then the suite tries to modify the data again
just to make sure the deconfigure/configure cycle did not
mysteriously make them read-only.

Change-Id: I403357d85b80f28060775e57bb6192de90a6114e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Clear known bug ID in SetupUtils.Teardown_Test_Show_Bugs_...

When a known bug ID is set to e.g. 1234 and the test steps
after that will catch the bug 1234, the bug ID 1234 is
reported (correctly). But then the rest of the test case is
skipped and the next one is started. This means that the
next test case will have the bug ID set to 1234 and if
it fails, it will also report it found bug 1234 while in
reality it was supposed to report a bug search link instead.
Fix the problem by clearing the bug ID after reporting the
bug.

Change-Id: I44d9c17bd9e22dc4792529dea0425a7f6d06940e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing - tests correction

 - reworked aggregation with filtration tests
 - reworked Filtration termination points tests
 - removed unnecessary files
 - corrected some other tests

Change-Id: I8fc28154433517f22965d5eb93a52f218f2401ed
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Fix for VTN Manager CSIT test failures for Beryllium.

    * Removed "Stop Suite" Keyword from Stop SuiteVtnMa function. Since, "Stop Miniet" Keyword used at the end of the VTN suite
      which is used again in suite "TearDown function" which makes Test suite fails.

Change-Id: I1e5cf84ba7a76bb19bf4d7dc8f11bcdd12a58d56
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Fix more error message problems

It turns out there is much more code duplication regarding
error message reporting. Fix that so the error message
strings appear in the code only once and are reused for
both, the exception and the log file. As a result the new
code is more readable and less confusing.

Change-Id: Ib72b7de11648b718e2db41ee1d576ad1993cbc10
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Do not emit raw binary data after unconfirmed open

When the OPEN message generated by the player is rejected,
the original code emitted raw binary data in the resulting
exception. Change that so it emits the hexlified version of
the raw binary data. The fix was done by removing the
duplicated code that generates the two error messages (one
for the log file, the other for the exception), taking the
correct code only.

Change-Id: If1ac202ba0d3c8720c8c442da1d533143dcddb7c
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing - bugfix for bug5156

Change-Id: Iaf9e7aadbc05bc49400286fe5c37f814ecc7650c
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.tech>

Fix logic in updater.py with respect to Counter class

Previously, it worked for Counter.py but not for collections.

Change-Id: I0fff144b0c261b47ce40a03766281f9df642f277
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add WUKS after conneting OVS instance to controller

Change-Id: Ie2fdeee11b851fa2237f6c752ead0d6aa4266484
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Throughpcep: Download pcc-mock log to current working directory

Change-Id: I9d5657fab8b831e9e6bafd51775d3950a4801b34
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix typo in throughpcep suite.

Change-Id: Ia5152cd9c5c6f04d4c2c9b95a35a8991c9a8a2ad
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

adding onos benchmarking scripts

Change-Id: I505ba2f1085392fa5031816c6fc1c7e2f50a0fd2
Signed-off-by: Peter Gubka <pgubka@cisco.com>

adding more configuration around shard names and restconf port

- added ability to provide specific port numbers for each controllers
  restconf endpoint

- added ability to selectively ignore some shards.  specifically, I
  didn't want to look at the toaster shard when giving a demo

Change-Id: Ia7186193d186e34ba7963741ac54902d9619d34f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>