Test suite to reproduce bug 4794 in CI

Change-Id: Ib76f1db30fce19276a35c7c7ab78a3bb1d130454
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

using yang_json headers because data given to keyword is json obj

the new RequestsLibrary has caused the current implementation to
fail, so need to pass application/yang.data+json

Change-Id: I2af801bf61218fa663e7c56ddb496ff230264331
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Done the following changes :
TsdrUtils.robot - Addressed the review comments
All HSQLDB Suites - Addressed the review comments
All HBase Suites - Modified Query format based on new Design
Added HSQLDB Testplan
Changed HBase scriptplan as per new environmental variables
Removed the Flowmeter and Groupmeter status (refer bugzilla#3466)
Modified keywords which were used with deprecated format in Dictionary and Request Library

Change-Id: I3ea717671d84a66df3903d66ba24de4212a600b7
Signed-off-by: premnath <prem.annauniv@gmail.com>

Remove RequestsLibrary.py

Remove RequestsLibrary.py as all the tests use the public
RequestsLibrary
https://trello.com/c/LpxuYiEc/271-remove-requestslibrary-py-file

Change-Id: I8710367ad14d3e88c419e70f3bb2bd04af06f973
Signed-off-by: Kumar <shailrishabh@gmail.com>

Refactor OF cluster test

- Move entity owner keyword to OpenFlowCluster library (plugin specific)
- Add entity-owner shard check
- Increase timers so we know when there is delay or real failure
- Continue test when entity owner does not update list of candidates
- Add support for He and Li plugins

Change-Id: I0c8e87ed52d33771402e75ab8f1b18f7df9127c5
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing explicit header in RequestsLibrary.Put Request

the new library version deals with json differently than
before and broke this packetcable system test.  This will
make it work again

Change-Id: I64e21d17a5e4a3ddad1d70eb4ff59cf80bf25b32
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

upstream ovs version to validate is 2.0.0 not 2.3.1

Change-Id: Ia7f1b77c7d7d536f9bec75a7ec9d6cbae7747827
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Tidied new and updated test suites

Change-Id: I9ba32a6262d3cab40c23bc5902bb34f02fb4aaf3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Rename "first_case_ok" to "netconf_is_ready"

The new name gives much better meaning to the variable,
improving code readability quite a lot. Additionally, I want
to add some more test cases which shall not run if netconf
is detected to be ready. The code of these new test cases
is going to be a lot more readable if the variable has this
new name.

Change-Id: I8254443aad3d0ea9e039fa1c4051bf56ce5053a3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Upgrade pep8 version for tox to 1.7.0

That is the version currently installed if no version override is used,
and since Change 32530 all upgrade blockers seem to be fixed.

The pep8 is still fixed to a constant version (1.7.0)
so that we do not get broken when newer version is released.

Change-Id: Ibb75862cf5bde142b936b1cbddc3d8ddec636fcc
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Refactor OVSDB Cluster test

- Add entity-owner shard check.
- Increase shard timers so we know when there is delay or real failure.
- Continue on entity-owner failure to update candidate list.
- Small fixes to suites variables.

Change-Id: If809be266a3fcc7d02bca284b9637f65ad8f1ce0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

change tempest test timeout to 15m

Change-Id: I4e294cce30786d494b3e613a43a8fcc843421d0f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix pep8 1.7.0 W503 in play.py

"line break before binary operator"

Change-Id: Ifdb89e06f0c0b4a146848cad6ec81f483abf33ee
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix REST headers in Cluster test

Simplify headers usage
When PUT use ${HEADERS_YANG_JSON}

Change-Id: I00da9d7d3f0619fcf883cea0f9b5a7e4133aa794
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing snapshots in addition to journals

Change-Id: I60182696d31d30d0febb5937b966713329d7dcd9
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Ovsdb 3node clustering csit corner cases.

    Add Test Cases for Southbound Clustering.
    Create bridge in switch and verify in all the cluster instances.

Change-Id: Iabcd6908bd7830409b417d5beee27156ae6c8af2
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

LISP: Add Service Path Datatype test

Change-Id: I3a37ffda613594cccd9c683fbd254e261c52d8ae
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Clustered Netconf CRUD

A suite that runs a Netconf device through Create, Update
and Delete requests, checking that the changes are visible
on all three nodes in the cluster.

Change-Id: Ia464b5c7ba2b66fce8b582a82af009d1e76d82fe
Signed-off-by: Jozef Behran <jbehran@cisco.com>

New way of device configuration/deconfiguration

Added a new device type called "configured-via-topology"
which uses the new "topology way" of configuring the device.

Change-Id: I9410bf8524d687caf19c43be7eec8bb70dfda2d8
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Created operational data access for NVR sessions

The NVR sessions now use 2 requests library sessions, one
for config data and the other one for operational data.
This was necessary to allow the clustered setup to check
the operational data on all three nodes of the cluster.

Change-Id: I405c6ee86b6d4721963e69f1988b433533a40678
Signed-off-by: Jozef Behran <jbehran@cisco.com>

basic eBGP peers functional suite:

- eBGP peers advertise the same group of prefixes (aka BGP HA)

Change-Id: I82802651c60fb4735da12e1fd4ee7cb32f6c207d
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

basic iBGP peers functional suite

- two iBGP peers as routing reflector clients (rrc)
- one iBGP rrc-peer and one non-rrc iBGP peer
- two iBGP peers (non-rrc)

Change-Id: I7c70e038dbe148dcecbee511df0f8da4ba1189f7
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Messaging4Transport Basic Test Plan

Change-Id: Ic3c9dfeee398686fb88126f3b448a228c599b8ac
Signed-off-by: Pradeeban Kathiravelu <kk.pradeeban@gmail.com>

Splitted the "get active session" and "activate session"

Previously "Activate_NVR_Session" returned the previously
active NVR session. This complicated setup as it was not
possible to simply use "Activate_NVR_Session" command in
the NVR setup procedure but the internal state had to be
set directly. But the feature (returning the previously
active session) was not used for anything.

The new way of doing things is to have a separate keyword
for getting the active session and to have the
"Activate_NVR_Session" setting the internal state but not
attempting to read it so it can be used in the setup call,
improving encapsulation of the internal state handling.

Change-Id: Ie40e086b8cc9054f67a9be4a7fc29b8c962d3db3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Specifying headers in GBP demo

Content-Type changed to application/yang.data+json
as a fix for not parsing already parsed body.

Change-Id: I3d83c971d8afd30868a04c3d2596f1ba0469bf70
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fixing confusion in "netconf connector" checking keywords

The documentation of these keywords was updated to match what
these keywords are actually doing but renaming these keywords
was postponed and just FIXMEs were added. Trying to do these
renames without an automatic keyword reference checking tool
is a potential time sink.

Change-Id: I0adcc32df8cd209f735e90efbece121116ead52e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and updated test suites

Change-Id: I35a20c5b5a2f6e3e240bcdb777b84a1e4247931e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed play.py broken by the "big cleanup change"

Change-Id: Ifc8150825e14e262eef272f0fd18f56ae746917b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Allow the user to disable the global timeout logic

The global timeout logic is useful to not allow a test suite
to hang around in a periodic job for 2 weeks or something
like this. However when running the test suites manually. the
global timeout logic tends to be more of a nuisance than a
help, aborting the test suite prematurely, especially when
longer than normal actions are executed in the loops guarded
by the timeout logic.

This change allows the user to redefine a Robot variable
(ENABLE_NETCONF_TEST_TIMEOUT) to tell the suite to not
evaluate any global timeouts. By setting this variable the
user assumes the responsibility of deciding when the job is
running for too long and aborting it if that happens. This
allows the user to run the test suite with the lengthy
actions into completion without messing around with the
timeouts configured in it.

There is also a "global control" Robot variable added
(ENABLE_GLOBAL_TEST_DEADLINES} which disables all global
timeouts. The abovementioned variable disables only the
global deadline for the Netconf scaling tests.

Change-Id: I636379405f335fd45f93e0311afcbea18319778e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Specifying headers in GBPSFC demo

Content-Type changed to application/yang.data+json
as a fix for not parsing already parsed body.

Change-Id: Ib4d12a940df6bec23736a67fe8dfafca6590bb57
Signed-off-by: Vladimir Lavor.com <vlavor@cisco.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fix "prettyPrint" crashing the Netconf readiness suite

There really is no need for prettyprinting in the Netconf
readiness suite as the only thing the suite is doing with the
data is checking that it is there (the request returned OK).

The "prettyPrint" argument of the URL started to make
problems recently:

  Keyword 'Check_Netconf_Connector' failed after retrying
  for minute. The last error was: TypeError: get() got an
  unexpected keyword argument 'restconf/config/network-\
  topology:network-topology/topology/topology-netconf/node/\
  controller-config/yang-ext:mount/config:modules/module/\
  odl-sal-netconf-connector-cfg:sal-netconf-connector/\
  controller-config/?prettyPrint'

Note the "?prettyPrint" at the end.

To counter this the "?prettyPrint=true" suffix was removed
from the URL used to check whether Netconf is working or not.
However to make sure it won't just slip away another test
case was added to try to run the prettyprinting when we are
sure Netconf is working so that we have something that
detects when the "?prettyPrint=true" argument breaks.

Change-Id: Ia23b6aa3baccfc21734ec78ba65abcb0e4bcb66f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Pin pep8 to version 1.5.7

integration/test appears to fail pep8 against versions >=1.6.0 so pin to
an older version until pep8 failures are resolved.

Also fix pep8 underindent issue with variables.py

Change-Id: Id30d7ef8de7cea3da6b2538c7b5fc32f82587cb0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Updated code to match new rules

Here are the components of this change:

https://git.opendaylight.org/gerrit/32476
https://git.opendaylight.org/gerrit/32477
https://git.opendaylight.org/gerrit/32479
https://git.opendaylight.org/gerrit/32499
https://git.opendaylight.org/gerrit/32494
https://git.opendaylight.org/gerrit/32481
https://git.opendaylight.org/gerrit/32482
https://git.opendaylight.org/gerrit/32483
https://git.opendaylight.org/gerrit/32487
https://git.opendaylight.org/gerrit/32488

Change-Id: I8a9b019cf910678ef2e601a4dbc499976e2a7590
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Change URI to specific ovsdb node

Change-Id: Ifc934bdc7ee1972afddc546f6b8adb5bcd1ef8aa
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

fixing some failing AAA test cases

-  error message had changed in response to invalid user, so updated
   that

-  remove the dependency on openflowplugin:
   -  no more mininet involved
   -  using /restconf/modules for REST transactions instead of operational
      nodes API

-  bug 4922 is documented with failure in the "Disable Authentication And
   Re-Enable Authentication" test case

Change-Id: I901d52cff96b85c79d52837a29fbd38d640c7f56
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify Vtn Macmapping robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_macmap.robot(OF10 and OF13)files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for macmapping functioanlity

Change-Id: I9179f5ce73b9460651f73ebd28d0befc228a34ce
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Switch to MD-SAL version of test tool data store

The MD-SAL version of the test tool data store offers better
compliance with the Netconf protocol so use it by default.
An argument can be used to switch it off for tests where
performance is needed and correctness is not such as scaling
and performance test suites.

The CRUD suite also needed patching because it was designed
to check for an attribute in the data which is actually not
supposed to be there and was just a test-tool simple
datastore implementation quirk.

The scaling suites were also updated to tell the testtool
to use the simple datastore. These suites need the speed
more than the correctness as they don't do any data
checking.

Change-Id: I8f1d9e18e838169d6249c0998954ba0e0cf9e4fc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

OVSDB bridge create test case now using UUID

- while trying to fix this test case, a bug was filed so this
  is expected to fail until the bug (4908) is fixed

Change-Id: Ia6d8c9bdc8f2e7a584a1ca65f3284f1ef6dc264c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

File play.py was reworked to use threads

File manage_play.py was deleted, robot files were updated.

Change-Id: I9f5e9cdb7821dd26aac276398369410a96b39d83
Signed-off-by: pavol.cibak@pantheon.sk <pavol.cibak@pantheon.sk>

Modify flowfilter and pathpolicy robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_flowfilter.robot and 010__vtn_manager_pathpolicy.robot(OF10 and OF13)files and
    * Renamed pathpolicy robot file as 020_vtn_pathmap_pathpolicy.robot
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for flowfilter and pathmap, pathpolicy functioanlities.

Change-Id: I26ceea5e2bee7dafd5701c1e7c321a4cd8f5dddf
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Put testtool startup into its own testcase

The Install_And_Start_Testtool contains an attempt to wait
for testtool to become usable. This is done by waiting for
the first test tool device to come online. This was done with
assumption that further testtool devices will come online
very quickly after the first one.

However it turns out the test tool startup may take
considerable amount of time even after this first device
comes online. Thus the "the remaining testtool devices come
online quickly" assumption is not valid and overlapping this
time consuming operation with the device configuration test
case in the scaling test suite causes the test case to be
blocked waiting for testtool to supply the next device,
destroying the validity of its results.

To fix this amend the "wait for testtool to boot" action
to make sure that all testtool devices are online and then
move the testtool startup into the first test case in the
suite as it now can fail.

Change-Id: Ie883d375e95e51d78c8343133182c644bde6e1df
Signed-off-by: Jozef Behran <jbehran@cisco.com>

fixing failing ovsdb cluster test suite

-  successful PUT requests now return 201, instead of 200
-  the UUID was hardcoded, and it will never be the same so
   using regexp to replace the UUID with ${EMPTY}

Change-Id: I509e5f8d6ff6d3ad5da1a3fc6381d7c3c79cd385
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Do not use DEVICE_COUNT in NetconfKeywords

Using DEVICE_COUNT in NetconfKeywords is not kosher because
that variable is declared in the scaling test suite that uses
the NetconfKeywords resource and thus this dependency is not
obvious. If another suite that does not declare DEVICE_COUNT
tries to use Perform_Operation_On_Each_Device, the keyword
will mysteriously fail on "DEVICE_COUNT variable was not
found".

The fix stores the count on devices in
Deploy_And_Start_Testtool keyword and uses this stored count
in Perform_Operation_On_Each_Device.

Change-Id: If187d3fd0a1cb426beeeb4db3077e07377e7228d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Apply workaround for slow testtool device creation

According to the ODL Wiki [0], the testtool may take long
time to create the devices. As this tends to be the case
almost always (on sandbox it takes about 2 seconds per
device, on a DELL notebook running Manjaro Linux in
VirtualBox on top of Windows 7, it can take as much as 30
seconds per device), add the workaround into the
default Java options to avoid the problem.

[0] https://wiki.opendaylight.org/view/OpenDaylight_Controller:Netconf:Testtool#Slow_creation_of_devices_on_virtual_machines

Change-Id: I850e86284b403f45a0254c912b1ce6535dac476e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Make java options configurable.

Placed the java options to TESTTOOL_DEFAULT_JAVA_OPTIONS
Robot variable so Jenkins jobs can override them as needed.

Change-Id: Ibd0470be4c4104eab70ddd30024a1d723bfb105c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

removing validations for netvirt related testing

- because the job that runs these suites is now only loading the ovsdb
  plugin, it is not valid to test anything to do with net-virt (e.g. br-int)
  or openflow (e.g. flow programming).  So, all checks/tests in those areas
  have been removed.

- this patch also introduces two new test cases per suite to check for
  bugs 4756 and 4794.

- other refactors include:
  *  marking karaf.log at the start of every test case
  *  using Force Tags, instead of the same tag in every test case
  *  migrating to new system variable names (e.g. ODL_SYSTEM_IP)

Change-Id: I47d53cbf36b82dd65111b6d7b7c9337cee07a07d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Rename VTN testplan to use hypen

Change-Id: Ifae885ddeb44a77c16016ce8751c69f532c570c7
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Tidied new and updated test suites

Change-Id: Ic75370a680bd1a4f6c02c15f86993066f1665b88
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing bugs made visible in robot logs

Change-Id: I88a420cfa8e515f07e6a72112b2dc1175a0ed0f3
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>

removing html files.

these files were generated as a proof of concept to show how we
can generate lib/test docs with robot tools.  What we really need
is a dynamic job that creates these files on the fly and uploads
them to some upstream location where they can be viewed (maybe
nexus).

Change-Id: Ica82c829ab30e7491178c152387df69ae2a1f0d0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add RESTAPI tests  for Li Test jobs

- Added seperate directories for Li Tests
- Added a new plan for Li Tests

Change-Id: I4a5f035d6b81f930c96ff3e2e64099163eb54dfd
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Modify vlanmap and dataflow robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_dataflow.robot and 010__vtn_vlanmap.robot(OF10 and OF13) files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for vlanmap and dataflow functioanlities.

Change-Id: I050e54e95c737783741f0efa755920f74ad172d4
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Robot test suite to verify DIDM discovery feature.

The suite installs DIDM features, connects to the device and
starts it, makes RestConf calls for operational node inventory,
verifies the device's information, and closes the connection to
the device and exit.

Change-Id: If3a47eae0d16f9bb847670dccaf617733b426c79
Signed-off-by: Linh <linh.pham@hpe.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify VTN Test files and VTNMgr Keyword file to use RESTCONF instead of the REST API

    * Renamed the below files name to functionality specific
        010__vtn_manager.robot -> 010__vtn_vbridge_portmapping_test.robot (VTN_Mgr_OF10 and VTN_Mgr_OF13)
        010__restconfig_vtn_manager.robot -> ../VTN_Mgr_OF13/010__flowcondition_test.robot
    * The above test files is modified to work for RESTCONF specs and remaining robot files tests are disabled with Tags exclude
    * Modify VtnMaKeywords.robot library file according to RESTCONF specs
    * Tags exclude in robot files will be removed once each test file is modified and tested for RESTCONF specs.

Change-Id: Idcfea115300f0651a4a58d9f5a6eb117a78b1182
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Change pcep topology for bgp topology

used path-computation-client from network-topology-pcep.yang is declared
as config false. After 1014 was merged, we can't use it in
configuration.

This change is fix for https://bugs.opendaylight.org/show_bug.cgi?id=4813

Change-Id: Iece364eab5a9c6e14e537791ee0a2f1a922c780f
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>

Basic tests - Unification termination point inside

Change-Id: I1755f43b4cad5851d68f80f5500aac364390d1c3
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

LISP: Separate Lithium and Beryllium tests

See this thread [1] for more info.

[1] https://lists.opendaylight.org/pipermail/lispflowmapping-dev/2015-December/000532.html

Change-Id: Ied5a1a0eeae2c8c719eb61255855c445e099b340
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BGP application peer performance suite

- prefill 100k routes via restconf single POST request
- add 100k routes via POST requests (one route per request)
- check IPv4-topology changes and updates towards BGP peer
- check updates towards reconnected BGP peer
- check routes withdrawal towards BG peer after routes deletion

Change-Id: I40d8c8076064eac710b791c65877dd62cb1e760b
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Update cluster suite to use json sort keyword.

Change-Id: Ifaf88dfe860255e315a8ee0e54d9c24eac7c8570
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

robot suite to run tempest tests against devstack system

Change-Id: I5e41fd2d6f688d70cd795c3f81181d95e8500362
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

adding first system test, based on restconf test

Change-Id: Iab056868f6efaaeb57df4ea117852f1a88b44b34
Signed-off-by: Curt Beckmann <beckmann@brocade.com>

Integration test suite for sdninterfaceapp

Change-Id: I9f65f416b2298bf4181009da1a493376e5cbbbf4
Signed-off-by: jnana <jnana.penumetcha@tcs.com>

Basic tests - Unification node inside

Change-Id: I199d6594c21f7bfc31eb535fff7a2a55579d07e1
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

BGP application peer functional suite documentation update.

Change-Id: I2dee6be1a546f08692e1dcc2fcc225eb8810f1c3
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Ovsdb Southbound 3 node Clustering Csit

    * Create bridge in config datastore
    * Retrieve bridge in operational datastore

Change-Id: Ibfedea32e3af59d0ac96d1f84e9910f4699201a8
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Test cases for GBP-SFC integration demo

Asymmetric demo scenario.

Change-Id: Ib92bc83ee254a8fe0c64617dbc2a0e8baa720322
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Basic tests - Unification Scripting Node

Change-Id: I11c597d1fb932f3353c4f3096642fd46bf7b4e91
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed testplan for Topoprocessing

Change-Id: Idf01979d7e37ccdd54f71a6dfcab540838df282e
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed GBP data based on change 30901

Change-Id: Ibc1dd4e2fb890ee555594ca2e807f1489726e386
Signed-off-by: Martin Sunal <msunal@cisco.com>

Extracted Nexus artifact deployment code

The code that downloads executable utility artifacts from
Nexus and deploys them to be ready to be executed on the
Mininet machine was extracted into a new NexusKeywords.robot
resource. Three suites (well, actually two suite and one
resource) were updated to use the new resource, one is PCEP
User test suite, the other is TCP MD5 suite and the last one
is Netconf CRUD (this one was updated indirectly by updating
NetconfKeywords.robot where the duplicated code actually
resided).

The reason is that another new test suite (Netconf
performance via RestPerfClient) needs another Nexus artifact
(RestPerfClient in this case) and thus another instance of
the Nexus deployment code was about to be created, leading
to code triplification. Thus this change to remove that
technical debt.

Change-Id: I5959c8ed9ea55ff84f9f2ad76104dfc464e7ba32
Signed-off-by: Jozef Behran <jbehran@cisco.com>

add aggregation basic keywords and testcase

Change-Id: Iddc89e194bc842e52d72b3c8c5340c62d3e97484
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

updated packetcable csit test for changed api

-Added csit/libraries/PacketcableVersion.robot to handle variable setting based on a new
ODL_VERSION option that can (optionally) be supplied to robot. Defaults to master if not set.
-Resources split into two groups lithium and master.
-Test cases updated to use new variables so both Li and Be can be tested

Change-Id: Icd397f9122ddc9bc159ec6956a32496e349ae1d4
Signed-off-by: Ryan Vail <r.vail@cablelabs.com>

BGP application peer functional suite covers the bug_4714

Bug 4714 - No routes from loc-rib are advertised to newly connected peer

Change-Id: I878d1b2b2e05301f03b63a353015f094d9f9a3e9
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

taking the latest version of the testtool

new version 1.1.0 appeared and this library has problen to
download test device, because maven-metadata.xml now contains
more <version> tags

Change-Id: Ie6ce17e9b30e92ac4cb2ad42db4dc392ed510b36
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Fixed data for GBP CSIT tests for Li and Master branch.
See - https://git.opendaylight.org/gerrit/30392

Change-Id: I09ab68d48504d7c1d8cc902ed156bdd940332710
Signed-off-by: Dileep <dileep.ranganathan@intel.com>

Add the basic csit script for messaging4transport

Further scripts specific to messaging4transport will be added soon.

Change-Id: I45c182a03eb002f66f4ac3147e80e662253f9699
Signed-off-by: Pradeeban Kathiravelu <kk.pradeeban@gmail.com>

Netconf Scaling test for multithreaded GET requests

This test suite first emits a batch of "single device mount"
requests to the netconf (via restconf), then executes a wait
loop on each of them (to ensure each of them is connected)
and then uses a Python tool to issue a GET requests for
config data on them. Each device gets one request for its
config data but there are multiple requests being made
concurrently (the count of these concurrent requests is
configurable via a Robot variable). Then it finally issues a
batch of "deconfigure single device" requests. A link to a
known bug is also included as especially the "deconfigure"
part of the test appears to be hit by it pretty badly.

Change-Id: I924d9a72921d29580d54fcf0317aec4137174fb2
Signed-off-by: Jozef Behran <jbehran@cisco.com>

BGP application peer functional test suite

- basic functional test cases via restconf
  - introduce/update routes by POST/PUT requests
  - delete route by DELETE request
  - delete all routes by DELETE request
  - BGP peer reconnect

Change-Id: Icf4ddeb29f17856838675721f532c85d726864da
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

dump flows on ovs after every test case for logging purposes

Change-Id: I57faa8f0487a5469fbbc44aea3ed9385cf7c1e5b
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Migrate LISP tests to new Beryllium API

Change-Id: I2966e71907dfedf690c54074b31065e5eac73770
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Improve reporting in netconfready suite

Change-Id: I28a3d96197ab342125c5ca1a6b70a4d602dec84e
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

fixing name of armoury basic test plan file

Was armoury.txt, but the JJB job expects armoury-basic.txt

Change-Id: Ib0608dacbf32610d5f710347cd2e8c89a4e0a310
Signed-off-by: Colin Dixon <colin@colindixon.com>

Replaced usage of a deprecated variable

Change-Id: Iedec4e0bfa3f18fc76046c511c82b479455b7b51
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Removing unused files in GBPSFC demo

Change-Id: I30acb60d50a75228636d8dff61d321e74a1a1cfd
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Add SFC basic tests to testplans

Change-Id: Iaf210d449f6ae6f529582cb2d5a189f5a8aab82c
Signed-off-by: Johnson Li <johnson.li@intel.com>

Fixed too tight timeouts for deconfiguration

Timeouts of 10 seconds for deconfiguring the device is too
tight when there are other scaling suites executed before
and the memory leak bug 4514 is present. The needed timeout
is 120 seconds as I had seen 20 to 30 second garbage
collection pauses on just a 1GB heap usage and the bug
causes the ODL to leak about 5GB if two scaling suites
are present.

There are two timeouts, one is the Karaf console timeout
and the other one is the timeout waiting for the device
to disappear after it was deconfigured. The large timeout
is necessary in the second case because the "device
disappeared" check is executed immediately after the request
to remove it from the configuration was sent.

To avoid "test running for 2 weeks if something bad happens"
type of situation a global timeout logic was also added. The
default timeout is 30 minutes but the scaling suite is
giving less time to the loops.

Change-Id: Ie59a2f9d7a6ee9999f202ba209caf03efd05a801
Signed-off-by: Jozef Behran <jbehran@cisco.com>

karaf log messages to debug OVSDB failures

Change-Id: If5ad9a71052da4dbf668751cd2d33e988ca3d6f3
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

BGP ingest suites: Make options distinguished

All 4 suites are run within one job, but their requirements
for options (especially timeout-related) are different.
Also, scenario with 600 peers is interesting,
and this change would allow only one suite to test that,
while the other would keep testing 2 peers.

Suite order in testplan has changed,
prefix count suites are before change count ones.
Still, single peer suite block is before many peer one.

Timeout computation uses float numbers to avoid rounding errors.
Teardown does not fail if SSH connection to tools system has dropped.

Utils.Execute Controller Karaf Command With Retry On Background
keyword tries to re-establish connection to Karaf console,
as during long test cases (30 minutes) it drops.
Utils.Log Message To Controller Karaf now uses that keyword.

Logical off-by-one error in WaitUtils is fixed.

Unified Karaf log level handling between bgpingest suites.

Change-Id: I99b39b0f78da4ee810c46f71a5389ffd0058456f
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add Flow Condition RestConfig for Vtn Manager

    * Add new file 010__restconfig_vtn_manager.robot.
    * FlowCondition supports Restconfig features for Create, Retrieve and Remove features.

Change-Id: I1c839fd79c0f72ea7fa705981296d2b240ca783a
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Added Karaf console connection timeout configurability

The default is 10 seconds which may be too short for some
suites, for example the scaling suite needs a massive timeout
due to the memory leak bugs that cause massive garbage
collection pauses especially when multiple scaling test
suites are invoked in a row. This change adds a keyword
which allows these affected suites to specify a different
timeout that better suits them.

Change-Id: I4532f4d108999aa34a2a8dce3221b4c24e4e08cf
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed data for GBP tests

- commit [1] changed classifier and action definition IDs

[1] https://git.opendaylight.org/gerrit/#/c/30219/

Change-Id: I4c6ec4a8c62a774c0c8cee1fdf3c1f3654266b8a
Signed-off-by: Martin Sunal <msunal@cisco.com>

Removed unnecessary variable left behind after cleanup.

Change-Id: Ie5e2aabd135849f0d8da8603a244ce102ae529b6
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed confusing ordering of comparison keyword arguments

The correct order is "expected" and then "actual" but these
arguments were stated as "actual", then "expected". As a
result when they fail, the failure report is confusingly
reverted, showing how the actual shall turn to expected.
The expected form of report is how the "expected" differs
from the "actual".

Change-Id: I7b9697fd6a95a3944ff78db2537b5773d6f0c961
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Netconf Scaling test for single threaded GET requests

Then it mounts a number of devices, queries their data and
then unmounts them. Each of these steps is done one device
at a time.

Change-Id: I5d3fd4713a0a3e350299ceaddc27150f03962ed5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added missing configuration item to the testtool device

This item is "optional" but leaving it out causes log spam
in the form of messages "Keepalive executor missing. Using
default instance for now, the configuration needs to be
updated" that repeat for every added/removed device in
Lithium (in Beryllium this is handled better).

Change-Id: I5ec46f047c6b6e405307ef3bb378455719cf593f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added ability to pass special options to testtool

Added a new parameter to the "Install And Run Testtool"
keyword whose value will be passed to the testtool as it
was given. Additionally, the keyword now logs the exact
command used to start the test tool so it is now possible
to check whether the correct parameters were passed to it.

Change-Id: Iafbd065bc49ca3f90c0ee0fb4e50c83aa353aed7
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Adding option to specify headers in Utils

If not specified, default header is used.
Different header for POST request in GBP.

Change-Id: I8caa7152cc2076c97d573ebed9ca2290140c8e41
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Modifying tests to accommodate new feature definitions on NIC.

Change-Id: Ifb2e7212b748bd18740f83e14955e7e117e47b58
Signed-off-by: Raphael Amorim <raphael.amorim@hp.com>

Added documentation for NIC test case

Change-Id: I6f636d1e0a4bc0d6bb987b1ff3e9040e18a8b6e1
Signed-off-by: Alton Fong <alton.fong@hp.com>

Tidied new and updated test suites.

Change-Id: I89de53296a279dc99a71555e932dd316db12eff5
Signed-off-by: Jozef Behran <jbehran@cisco.com>