Updated code to match new rules

Here are the components of this change:

https://git.opendaylight.org/gerrit/32476
https://git.opendaylight.org/gerrit/32477
https://git.opendaylight.org/gerrit/32479
https://git.opendaylight.org/gerrit/32499
https://git.opendaylight.org/gerrit/32494
https://git.opendaylight.org/gerrit/32481
https://git.opendaylight.org/gerrit/32482
https://git.opendaylight.org/gerrit/32483
https://git.opendaylight.org/gerrit/32487
https://git.opendaylight.org/gerrit/32488

Change-Id: I8a9b019cf910678ef2e601a4dbc499976e2a7590
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Change URI to specific ovsdb node

Change-Id: Ifc934bdc7ee1972afddc546f6b8adb5bcd1ef8aa
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

fixing some failing AAA test cases

-  error message had changed in response to invalid user, so updated
   that

-  remove the dependency on openflowplugin:
   -  no more mininet involved
   -  using /restconf/modules for REST transactions instead of operational
      nodes API

-  bug 4922 is documented with failure in the "Disable Authentication And
   Re-Enable Authentication" test case

Change-Id: I901d52cff96b85c79d52837a29fbd38d640c7f56
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify Vtn Macmapping robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_macmap.robot(OF10 and OF13)files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for macmapping functioanlity

Change-Id: I9179f5ce73b9460651f73ebd28d0befc228a34ce
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Switch to MD-SAL version of test tool data store

The MD-SAL version of the test tool data store offers better
compliance with the Netconf protocol so use it by default.
An argument can be used to switch it off for tests where
performance is needed and correctness is not such as scaling
and performance test suites.

The CRUD suite also needed patching because it was designed
to check for an attribute in the data which is actually not
supposed to be there and was just a test-tool simple
datastore implementation quirk.

The scaling suites were also updated to tell the testtool
to use the simple datastore. These suites need the speed
more than the correctness as they don't do any data
checking.

Change-Id: I8f1d9e18e838169d6249c0998954ba0e0cf9e4fc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

OVSDB bridge create test case now using UUID

- while trying to fix this test case, a bug was filed so this
  is expected to fail until the bug (4908) is fixed

Change-Id: Ia6d8c9bdc8f2e7a584a1ca65f3284f1ef6dc264c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

File play.py was reworked to use threads

File manage_play.py was deleted, robot files were updated.

Change-Id: I9f5e9cdb7821dd26aac276398369410a96b39d83
Signed-off-by: pavol.cibak@pantheon.sk <pavol.cibak@pantheon.sk>

Modify flowfilter and pathpolicy robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_flowfilter.robot and 010__vtn_manager_pathpolicy.robot(OF10 and OF13)files and
    * Renamed pathpolicy robot file as 020_vtn_pathmap_pathpolicy.robot
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for flowfilter and pathmap, pathpolicy functioanlities.

Change-Id: I26ceea5e2bee7dafd5701c1e7c321a4cd8f5dddf
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Put testtool startup into its own testcase

The Install_And_Start_Testtool contains an attempt to wait
for testtool to become usable. This is done by waiting for
the first test tool device to come online. This was done with
assumption that further testtool devices will come online
very quickly after the first one.

However it turns out the test tool startup may take
considerable amount of time even after this first device
comes online. Thus the "the remaining testtool devices come
online quickly" assumption is not valid and overlapping this
time consuming operation with the device configuration test
case in the scaling test suite causes the test case to be
blocked waiting for testtool to supply the next device,
destroying the validity of its results.

To fix this amend the "wait for testtool to boot" action
to make sure that all testtool devices are online and then
move the testtool startup into the first test case in the
suite as it now can fail.

Change-Id: Ie883d375e95e51d78c8343133182c644bde6e1df
Signed-off-by: Jozef Behran <jbehran@cisco.com>

fixing failing ovsdb cluster test suite

-  successful PUT requests now return 201, instead of 200
-  the UUID was hardcoded, and it will never be the same so
   using regexp to replace the UUID with ${EMPTY}

Change-Id: I509e5f8d6ff6d3ad5da1a3fc6381d7c3c79cd385
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Do not use DEVICE_COUNT in NetconfKeywords

Using DEVICE_COUNT in NetconfKeywords is not kosher because
that variable is declared in the scaling test suite that uses
the NetconfKeywords resource and thus this dependency is not
obvious. If another suite that does not declare DEVICE_COUNT
tries to use Perform_Operation_On_Each_Device, the keyword
will mysteriously fail on "DEVICE_COUNT variable was not
found".

The fix stores the count on devices in
Deploy_And_Start_Testtool keyword and uses this stored count
in Perform_Operation_On_Each_Device.

Change-Id: If187d3fd0a1cb426beeeb4db3077e07377e7228d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Apply workaround for slow testtool device creation

According to the ODL Wiki [0], the testtool may take long
time to create the devices. As this tends to be the case
almost always (on sandbox it takes about 2 seconds per
device, on a DELL notebook running Manjaro Linux in
VirtualBox on top of Windows 7, it can take as much as 30
seconds per device), add the workaround into the
default Java options to avoid the problem.

[0] https://wiki.opendaylight.org/view/OpenDaylight_Controller:Netconf:Testtool#Slow_creation_of_devices_on_virtual_machines

Change-Id: I850e86284b403f45a0254c912b1ce6535dac476e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Make java options configurable.

Placed the java options to TESTTOOL_DEFAULT_JAVA_OPTIONS
Robot variable so Jenkins jobs can override them as needed.

Change-Id: Ibd0470be4c4104eab70ddd30024a1d723bfb105c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

removing validations for netvirt related testing

- because the job that runs these suites is now only loading the ovsdb
  plugin, it is not valid to test anything to do with net-virt (e.g. br-int)
  or openflow (e.g. flow programming).  So, all checks/tests in those areas
  have been removed.

- this patch also introduces two new test cases per suite to check for
  bugs 4756 and 4794.

- other refactors include:
  *  marking karaf.log at the start of every test case
  *  using Force Tags, instead of the same tag in every test case
  *  migrating to new system variable names (e.g. ODL_SYSTEM_IP)

Change-Id: I47d53cbf36b82dd65111b6d7b7c9337cee07a07d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Rename VTN testplan to use hypen

Change-Id: Ifae885ddeb44a77c16016ce8751c69f532c570c7
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Tidied new and updated test suites

Change-Id: Ic75370a680bd1a4f6c02c15f86993066f1665b88
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing bugs made visible in robot logs

Change-Id: I88a420cfa8e515f07e6a72112b2dc1175a0ed0f3
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>

removing html files.

these files were generated as a proof of concept to show how we
can generate lib/test docs with robot tools.  What we really need
is a dynamic job that creates these files on the fly and uploads
them to some upstream location where they can be viewed (maybe
nexus).

Change-Id: Ica82c829ab30e7491178c152387df69ae2a1f0d0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add RESTAPI tests  for Li Test jobs

- Added seperate directories for Li Tests
- Added a new plan for Li Tests

Change-Id: I4a5f035d6b81f930c96ff3e2e64099163eb54dfd
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Modify vlanmap and dataflow robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_dataflow.robot and 010__vtn_vlanmap.robot(OF10 and OF13) files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for vlanmap and dataflow functioanlities.

Change-Id: I050e54e95c737783741f0efa755920f74ad172d4
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Robot test suite to verify DIDM discovery feature.

The suite installs DIDM features, connects to the device and
starts it, makes RestConf calls for operational node inventory,
verifies the device's information, and closes the connection to
the device and exit.

Change-Id: If3a47eae0d16f9bb847670dccaf617733b426c79
Signed-off-by: Linh <linh.pham@hpe.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify VTN Test files and VTNMgr Keyword file to use RESTCONF instead of the REST API

    * Renamed the below files name to functionality specific
        010__vtn_manager.robot -> 010__vtn_vbridge_portmapping_test.robot (VTN_Mgr_OF10 and VTN_Mgr_OF13)
        010__restconfig_vtn_manager.robot -> ../VTN_Mgr_OF13/010__flowcondition_test.robot
    * The above test files is modified to work for RESTCONF specs and remaining robot files tests are disabled with Tags exclude
    * Modify VtnMaKeywords.robot library file according to RESTCONF specs
    * Tags exclude in robot files will be removed once each test file is modified and tested for RESTCONF specs.

Change-Id: Idcfea115300f0651a4a58d9f5a6eb117a78b1182
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Change pcep topology for bgp topology

used path-computation-client from network-topology-pcep.yang is declared
as config false. After 1014 was merged, we can't use it in
configuration.

This change is fix for https://bugs.opendaylight.org/show_bug.cgi?id=4813

Change-Id: Iece364eab5a9c6e14e537791ee0a2f1a922c780f
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>

Basic tests - Unification termination point inside

Change-Id: I1755f43b4cad5851d68f80f5500aac364390d1c3
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

LISP: Separate Lithium and Beryllium tests

See this thread [1] for more info.

[1] https://lists.opendaylight.org/pipermail/lispflowmapping-dev/2015-December/000532.html

Change-Id: Ied5a1a0eeae2c8c719eb61255855c445e099b340
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BGP application peer performance suite

- prefill 100k routes via restconf single POST request
- add 100k routes via POST requests (one route per request)
- check IPv4-topology changes and updates towards BGP peer
- check updates towards reconnected BGP peer
- check routes withdrawal towards BG peer after routes deletion

Change-Id: I40d8c8076064eac710b791c65877dd62cb1e760b
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Update cluster suite to use json sort keyword.

Change-Id: Ifaf88dfe860255e315a8ee0e54d9c24eac7c8570
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

robot suite to run tempest tests against devstack system

Change-Id: I5e41fd2d6f688d70cd795c3f81181d95e8500362
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

adding first system test, based on restconf test

Change-Id: Iab056868f6efaaeb57df4ea117852f1a88b44b34
Signed-off-by: Curt Beckmann <beckmann@brocade.com>

Integration test suite for sdninterfaceapp

Change-Id: I9f65f416b2298bf4181009da1a493376e5cbbbf4
Signed-off-by: jnana <jnana.penumetcha@tcs.com>

Basic tests - Unification node inside

Change-Id: I199d6594c21f7bfc31eb535fff7a2a55579d07e1
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

BGP application peer functional suite documentation update.

Change-Id: I2dee6be1a546f08692e1dcc2fcc225eb8810f1c3
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Ovsdb Southbound 3 node Clustering Csit

    * Create bridge in config datastore
    * Retrieve bridge in operational datastore

Change-Id: Ibfedea32e3af59d0ac96d1f84e9910f4699201a8
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Test cases for GBP-SFC integration demo

Asymmetric demo scenario.

Change-Id: Ib92bc83ee254a8fe0c64617dbc2a0e8baa720322
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Basic tests - Unification Scripting Node

Change-Id: I11c597d1fb932f3353c4f3096642fd46bf7b4e91
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed testplan for Topoprocessing

Change-Id: Idf01979d7e37ccdd54f71a6dfcab540838df282e
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed GBP data based on change 30901

Change-Id: Ibc1dd4e2fb890ee555594ca2e807f1489726e386
Signed-off-by: Martin Sunal <msunal@cisco.com>

Extracted Nexus artifact deployment code

The code that downloads executable utility artifacts from
Nexus and deploys them to be ready to be executed on the
Mininet machine was extracted into a new NexusKeywords.robot
resource. Three suites (well, actually two suite and one
resource) were updated to use the new resource, one is PCEP
User test suite, the other is TCP MD5 suite and the last one
is Netconf CRUD (this one was updated indirectly by updating
NetconfKeywords.robot where the duplicated code actually
resided).

The reason is that another new test suite (Netconf
performance via RestPerfClient) needs another Nexus artifact
(RestPerfClient in this case) and thus another instance of
the Nexus deployment code was about to be created, leading
to code triplification. Thus this change to remove that
technical debt.

Change-Id: I5959c8ed9ea55ff84f9f2ad76104dfc464e7ba32
Signed-off-by: Jozef Behran <jbehran@cisco.com>

add aggregation basic keywords and testcase

Change-Id: Iddc89e194bc842e52d72b3c8c5340c62d3e97484
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

updated packetcable csit test for changed api

-Added csit/libraries/PacketcableVersion.robot to handle variable setting based on a new
ODL_VERSION option that can (optionally) be supplied to robot. Defaults to master if not set.
-Resources split into two groups lithium and master.
-Test cases updated to use new variables so both Li and Be can be tested

Change-Id: Icd397f9122ddc9bc159ec6956a32496e349ae1d4
Signed-off-by: Ryan Vail <r.vail@cablelabs.com>

BGP application peer functional suite covers the bug_4714

Bug 4714 - No routes from loc-rib are advertised to newly connected peer

Change-Id: I878d1b2b2e05301f03b63a353015f094d9f9a3e9
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

taking the latest version of the testtool

new version 1.1.0 appeared and this library has problen to
download test device, because maven-metadata.xml now contains
more <version> tags

Change-Id: Ie6ce17e9b30e92ac4cb2ad42db4dc392ed510b36
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Fixed data for GBP CSIT tests for Li and Master branch.
See - https://git.opendaylight.org/gerrit/30392

Change-Id: I09ab68d48504d7c1d8cc902ed156bdd940332710
Signed-off-by: Dileep <dileep.ranganathan@intel.com>

Add the basic csit script for messaging4transport

Further scripts specific to messaging4transport will be added soon.

Change-Id: I45c182a03eb002f66f4ac3147e80e662253f9699
Signed-off-by: Pradeeban Kathiravelu <kk.pradeeban@gmail.com>

Netconf Scaling test for multithreaded GET requests

This test suite first emits a batch of "single device mount"
requests to the netconf (via restconf), then executes a wait
loop on each of them (to ensure each of them is connected)
and then uses a Python tool to issue a GET requests for
config data on them. Each device gets one request for its
config data but there are multiple requests being made
concurrently (the count of these concurrent requests is
configurable via a Robot variable). Then it finally issues a
batch of "deconfigure single device" requests. A link to a
known bug is also included as especially the "deconfigure"
part of the test appears to be hit by it pretty badly.

Change-Id: I924d9a72921d29580d54fcf0317aec4137174fb2
Signed-off-by: Jozef Behran <jbehran@cisco.com>

BGP application peer functional test suite

- basic functional test cases via restconf
  - introduce/update routes by POST/PUT requests
  - delete route by DELETE request
  - delete all routes by DELETE request
  - BGP peer reconnect

Change-Id: Icf4ddeb29f17856838675721f532c85d726864da
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

dump flows on ovs after every test case for logging purposes

Change-Id: I57faa8f0487a5469fbbc44aea3ed9385cf7c1e5b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Migrate LISP tests to new Beryllium API

Change-Id: I2966e71907dfedf690c54074b31065e5eac73770
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Improve reporting in netconfready suite

Change-Id: I28a3d96197ab342125c5ca1a6b70a4d602dec84e
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

fixing name of armoury basic test plan file

Was armoury.txt, but the JJB job expects armoury-basic.txt

Change-Id: Ib0608dacbf32610d5f710347cd2e8c89a4e0a310
Signed-off-by: Colin Dixon <colin@colindixon.com>

Replaced usage of a deprecated variable

Change-Id: Iedec4e0bfa3f18fc76046c511c82b479455b7b51
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Removing unused files in GBPSFC demo

Change-Id: I30acb60d50a75228636d8dff61d321e74a1a1cfd
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Add SFC basic tests to testplans

Change-Id: Iaf210d449f6ae6f529582cb2d5a189f5a8aab82c
Signed-off-by: Johnson Li <johnson.li@intel.com>

Fixed too tight timeouts for deconfiguration

Timeouts of 10 seconds for deconfiguring the device is too
tight when there are other scaling suites executed before
and the memory leak bug 4514 is present. The needed timeout
is 120 seconds as I had seen 20 to 30 second garbage
collection pauses on just a 1GB heap usage and the bug
causes the ODL to leak about 5GB if two scaling suites
are present.

There are two timeouts, one is the Karaf console timeout
and the other one is the timeout waiting for the device
to disappear after it was deconfigured. The large timeout
is necessary in the second case because the "device
disappeared" check is executed immediately after the request
to remove it from the configuration was sent.

To avoid "test running for 2 weeks if something bad happens"
type of situation a global timeout logic was also added. The
default timeout is 30 minutes but the scaling suite is
giving less time to the loops.

Change-Id: Ie59a2f9d7a6ee9999f202ba209caf03efd05a801
Signed-off-by: Jozef Behran <jbehran@cisco.com>

karaf log messages to debug OVSDB failures

Change-Id: If5ad9a71052da4dbf668751cd2d33e988ca3d6f3
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

BGP ingest suites: Make options distinguished

All 4 suites are run within one job, but their requirements
for options (especially timeout-related) are different.
Also, scenario with 600 peers is interesting,
and this change would allow only one suite to test that,
while the other would keep testing 2 peers.

Suite order in testplan has changed,
prefix count suites are before change count ones.
Still, single peer suite block is before many peer one.

Timeout computation uses float numbers to avoid rounding errors.
Teardown does not fail if SSH connection to tools system has dropped.

Utils.Execute Controller Karaf Command With Retry On Background
keyword tries to re-establish connection to Karaf console,
as during long test cases (30 minutes) it drops.
Utils.Log Message To Controller Karaf now uses that keyword.

Logical off-by-one error in WaitUtils is fixed.

Unified Karaf log level handling between bgpingest suites.

Change-Id: I99b39b0f78da4ee810c46f71a5389ffd0058456f
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add Flow Condition RestConfig for Vtn Manager

    * Add new file 010__restconfig_vtn_manager.robot.
    * FlowCondition supports Restconfig features for Create, Retrieve and Remove features.

Change-Id: I1c839fd79c0f72ea7fa705981296d2b240ca783a
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Added Karaf console connection timeout configurability

The default is 10 seconds which may be too short for some
suites, for example the scaling suite needs a massive timeout
due to the memory leak bugs that cause massive garbage
collection pauses especially when multiple scaling test
suites are invoked in a row. This change adds a keyword
which allows these affected suites to specify a different
timeout that better suits them.

Change-Id: I4532f4d108999aa34a2a8dce3221b4c24e4e08cf
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed data for GBP tests

- commit [1] changed classifier and action definition IDs

[1] https://git.opendaylight.org/gerrit/#/c/30219/

Change-Id: I4c6ec4a8c62a774c0c8cee1fdf3c1f3654266b8a
Signed-off-by: Martin Sunal <msunal@cisco.com>

Removed unnecessary variable left behind after cleanup.

Change-Id: Ie5e2aabd135849f0d8da8603a244ce102ae529b6
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed confusing ordering of comparison keyword arguments

The correct order is "expected" and then "actual" but these
arguments were stated as "actual", then "expected". As a
result when they fail, the failure report is confusingly
reverted, showing how the actual shall turn to expected.
The expected form of report is how the "expected" differs
from the "actual".

Change-Id: I7b9697fd6a95a3944ff78db2537b5773d6f0c961
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Netconf Scaling test for single threaded GET requests

Then it mounts a number of devices, queries their data and
then unmounts them. Each of these steps is done one device
at a time.

Change-Id: I5d3fd4713a0a3e350299ceaddc27150f03962ed5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added missing configuration item to the testtool device

This item is "optional" but leaving it out causes log spam
in the form of messages "Keepalive executor missing. Using
default instance for now, the configuration needs to be
updated" that repeat for every added/removed device in
Lithium (in Beryllium this is handled better).

Change-Id: I5ec46f047c6b6e405307ef3bb378455719cf593f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added ability to pass special options to testtool

Added a new parameter to the "Install And Run Testtool"
keyword whose value will be passed to the testtool as it
was given. Additionally, the keyword now logs the exact
command used to start the test tool so it is now possible
to check whether the correct parameters were passed to it.

Change-Id: Iafbd065bc49ca3f90c0ee0fb4e50c83aa353aed7
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Adding option to specify headers in Utils

If not specified, default header is used.
Different header for POST request in GBP.

Change-Id: I8caa7152cc2076c97d573ebed9ca2290140c8e41
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Modifying tests to accommodate new feature definitions on NIC.

Change-Id: Ifb2e7212b748bd18740f83e14955e7e117e47b58
Signed-off-by: Raphael Amorim <raphael.amorim@hp.com>

Added documentation for NIC test case

Change-Id: I6f636d1e0a4bc0d6bb987b1ff3e9040e18a8b6e1
Signed-off-by: Alton Fong <alton.fong@hp.com>

Tidied new and updated test suites.

Change-Id: I89de53296a279dc99a71555e932dd316db12eff5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Revised timeout for NIC CLI command with WUKS.

Change-Id: Ia74847e440151c96de77e9a1e5266c890aa4f44d
Signed-off-by: Alton Fong <alton.fong@hp.com>

Fix Wait_Device_Fully_Removed querying the wrong URL

When the device data is gone (device was disconnectd) but
the connector itself is still there, the keyword thinks the
device is no longer there and exits but the device is still
there and might stay due to a bug. Fix this by shortening the
URL to refer to the root of the connector, that should catch
such bugs.

Change-Id: Iddf55b3e5842e50828a327f4b442d0a6bd126e7f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Making Netconf Via Restconf clustering aware

The Netconf Via Restconf library now got two additional
keywords. One (Create_NVR_Session) allows creating Netconf
Via Restconf sessions pointing to other nodes which are
running ODL and the other one (Activate_NVR_Session)
switches between them. This makes the Netconf Via Restconf
library able to access all nodes within an ODL cluster while
retaining its behavior in the single node case when these
two additional keywords are not used.

Change-Id: Id7fb6c2c11795a59b400dc054ff5d513b89d8631
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and updated test suites

Change-Id: I6aacfc2f9de2c18735912d238b49476a3a4cc262
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Keyword to add multiple Managers to OVS

 * This Can be used by Cluster Tests for OVSDB Southbound

Change-Id: I0d5a8ac4993138d017526a7bab4a9953f357a99b
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Added "survival after connection cycle check" testcases

After something was committed into the datastore, the
first test case gracefully disconnects (and fails if that
turned out to be impossible), the second one then checks
through restconf that the added item is still there,
the third one reconnects (and fails if the device turned
out to be inaccessible through netconf) and the fourth one
checks that the thing is still sitting there in the Netconf
data store.

Change-Id: I8898a9e498d862cce6b811b44d3c4d0b0194390f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Less sensitive "empty config test"

Do not store the content of "empty config" but only check
that none of "our elements" are not there when they
shouldn't. The "check empty config" approach is not valid
because the "empty config" stored at the beginning may change
when another feature gets installed while the test is still
running.

Change-Id: Ib28f60a8ae9fdf705599b9db5a0cca6c7e75708b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Missing part of commit 500faa3ca

A bunch of low-level manipulation was left behind in that
commit. Additionally, this low level manipulation piece
was missing some parts, leading to failures. Replace with
a call to a SSHLibrary keyword that does exactly the same
thing.

Change-Id: I30c0bea4571e8c441612d526171464222882a1e8
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Do not crash if attempt to open ODL Netconf connection fails

When the Connect_To_ODL_Netconf keyword fails for any reason,
the Close_ODL_Netconf_Connection in teardown crashes,
flagging all tests as failed. Avoid that by checking that
there indeed is an ODL Netconf connection to be closed before
trying to do so..

Change-Id: If33fc6a90daf7a2c5ceff750953b8cf99c438cf1
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Patch for basic HA cluster test (2/2)

Add owner fail and recover test cases.
New Cluster OF resource to avoid code replication.
New cluster keywords to kill and start cluster instances.
Some repairs to ClusterKeyword library

Change-Id: Iaee102a6032c27eaaecb312e7ef37cf66c4ab836
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Bug 4567 - CSIT config xml contains outdated config

For Lithium branch notification-service option is added to config file

Change-Id: If3b45cb0e6305b5941fd190417d77e8257004c7d
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

CSIT jobs for usecplugin

Change-Id: Ifad6ea65880f61ef91be28b70544fd7b6eaf2f86
Signed-off-by: rafat <rafat.jahan@tcs.com>

Enhance freeze suite to log disk sizes

Karaf or test tool logs can be (configured to be) big,
this will be useful to investigate environment limits.

Change-Id: I539cd25b0b1d63bfba6ecb7df7bc0d485e40be17
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Change timeout for reading karaf log

Change-Id: Ib5471307b0bb734ad53558179dad8235dde8372d
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>

Integration tests for GBP

Change-Id: Ica5e24f0854dbdcce1cb884edba09dcc3e8acdbb
Signed-off-by: Konstantin Blagov <kblagov@cisco.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Revised NIC CLI tests to account for agnostic policy formats.

Change-Id: I028ce37c9a6940103098b3460c72d99f783188c5
Signed-off-by: Alton Fong <alton.fong@hp.com>

Fixed "close connection" action in MDSAL suite

Sending "^D" to the netconf connection does not guarantee
that the connection is closed properly, leading to a
spurious test failure due to failed teardown.

The proper way is to open two connections, one "control" and
one "netconf". The "netconf" connection then connects to
netconf as usual and the "control" connection is used to
control the SSH process connecting to netconf. It is used to
obtain the PID of the "sshpass" process which governs the
connection and to send the kill signal to that process
once the connection is to be closed.

Change-Id: I3a0bc1e03d1af9619ced3fa7dfcd45aad3d696fa
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed naming of the test cases

The device is not "mounted" but "configured" on Netconf and
it is not "removed" but "deconfigured". The testcase names
were patched but the NetconfKeyword keywords (some of which
also have this problem) were left intact because changing
them is much more expensive operation in terms of time due
to the nonexistence of coding style checking tool. Also some
documentation strings needed this type of terminology fixing.

Change-Id: I4f63395e95d49f95b61ed7d73fcaf4e8c7714556
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add ovsdbconfigblaster.py

Start of ovsdb southbound
performance suite.

Change-Id: I12f6360f343c05d399789b97bbe6a66d7f477469
Signed-off-by: Marcus Williams <marcus.g.williams@gmail.com>

Integration tests for GBP and GBP-SFC

Common files for all testcases

Change-Id: Ief74596257a13243f22b62b8c51ff3af38687e38
Signed-off-by: Konstantin Blagov <kblagov@cisco.com>
Signed-off-by: Igor Bartak <ibartak@cisco.com>
Signed-off-by: Martin Sunal <msunal@cisco.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>
Signed-off-by: Dileep <dileep.ranganathan@intel.com>

crud performance test for car-people entries on 1 node cluster

- measure time to configure certain amount of cars at once
- measure time to purchse these cars one by one
- robot test case duration is the measured time
- config script uploaded to the mininet/tools vm
- add debug capabilities

Change-Id: I0d198fc03f2eb73026503ace1a27cf4354f7243c
Signed-off-by: Peter Gubka <pgubka@cisco.com>
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

BGP functional test suite improvements

- backporting of improvements from BGP performance suite
- new functional tests for prefix withdrawal

Change-Id: Ic3fef25dce91ffa4186b841e2e5e65397e96fa1a
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Initial works for OF cluster test

Initial OpenFlow Cluster test suite
New Cluster Keywords to manage Shard and Entity Owner status.
New Cluster Keywords to Check, Get, Put and Delete URI
New Mininet library including multiple controller setup.
Fix Run Command On Remote System to do execute command
New Utils keyword to extract dictionary from list.
New Utils Keyword to check item occurrence in a string.
Add missing variables for MININET.

Change-Id: I3d3f2503140f3af4be80a64f96ebcdde45737930
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Added ability to turn on debug logging for Netconf suites

Any test plan that starts with the Netconf readiness suite
can now be asked to switch debug logging for everything by
setting  DEBUG_LOGGING_FOR_EVERYTHING to "True".

Change-Id: I10a9e76ec8ea2f04cfb238366e24ea64c7362d14
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added Karaf logging to the Netconf readiness suite

When the Netconf readiness suite fails, it is impossible to
figure out what karaf.log logs were produced during the time
it was running. Add commands to emit log messages into
karaf.log when it starts running and when it ends.

Change-Id: I9fc441ef4978551ee11a36b0da556cd921bea5a3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed oversensitive MDSAL test

The Beryllium added some features that impacted the netconf
point, leading to failures of the MDSAL tests. Analysis
revealed that these failures were spurious and caused by the
suite checking things which don't really relate to what it
is supposed to test. Fixed by removing the suite's
oversensitiveness.

Change-Id: I1da95822ccf25400c1305b08a9b71d43e809a3bc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and modified tests

Change-Id: I9bc6a6aa136bc97827d840304bf3ed08726e3e8d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Update of BGP speaker tool and SetupUtils related to bug_4533

Provide BGP speaker logs for incomming messages.
Solve wrong incomming message body length calculation.
Solve incorrect FastFailing of test suites becasue of Karaf logging.
Solve incorrect log level setting in case of threads usage.
Add script plan for setting the controller's heap limit.

Change-Id: I1f4676da7f5a2764091c777a1f4cfd7b67bd1dfc
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Added missing resource import

Change-Id: If443e6639b63f214b07858479fb3309dbe2e4f61
Signed-off-by: Jozef Behran <jbehran@cisco.com>

updating test repository for Centinel

Change-Id: I1b756f5933573ce6b77a4d832356628e93de4b90
Signed-off-by: ShreshthaJoshi <shreshtha.joshi@tcs.com>

Added report about the bug causing the test failures.

Change-Id: I04ac5bf7325f3021398c5761807dcc59daa41f30
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added CSIT Basic test to NetIDE

- added full stop to end of line 2

Change-Id: I01f7511cbdf055339ea78a9183d191f9ee2a4f18
Signed-off-by: aleckey <alexander.j.leckey@intel.com>