Replace deprecated variables in suites/sfc (1).

+ CONTROLLER -> ODL_SYSTEM_IP
+ CONTROLLER1 -> ODL_SYSTEM_2_IP
+ CONTROLLER2 -> ODL_SYSTEM_3_IP

Change-Id: I156e532a8767684f3bc3c5195408f9fdb5acefbc
Signed-off-by: Deepak <deepak.mk17@gmail.com>

Replace deprecated variables in suites/controller (1).

+ CONTROLLER -> ODL_SYSTEM_IP
+ CONTROLLER1 -> ODL_SYSTEM_2_IP
+ CONTROLLER2 -> ODL_SYSTEM_3_IP

Change-Id: I566022374a993f72fb63195f5c070d26ecf038bf
Signed-off-by: Deepak <deepak.mk17@gmail.com>

Replace deprecated variables in csit/libraries (1).

+ CONTROLLER -> ODL_SYSTEM_IP
+ CONTROLLER1 -> ODL_SYSTEM_2_IP
+ CONTROLLER2 -> ODL_SYSTEM_3_IP

Change-Id: I68cf7f323701973ca4dfb334cfb2f917a8ea92e7
Signed-off-by: Deepak <deepak.mk17@gmail.com>

Adds 503 as a possible error code along with 500.

Change-Id: I769b96db1c5fb04f5b67bd8ee8fb28dc1ce798d2
Refer: https://bugs.opendaylight.org/show_bug.cgi?id=4140
Signed-off-by: Ashish <ashishk.iiit@gmail.com>

Add Netconf CRUD suite to library verify list

Change-Id: I3ece9d53b9e1eae5160151e7aa406804522f2b91
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Added JSON modification request to CRUD suite

This was created as a result of investigation of failure
of restperfclient to send valid requests.

Change-Id: Ia1c2006a6abd37bd2f92ee5d5159033538153523
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Restconf change event notification subscription basic test

- check basic notification functionality
- cover bug_3934

Change-Id: Iff408ef9a3fb26a84dfbd110578737f13b7b427a
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Add FIXMEs to point out maintenance that becomes due

Added FIXMEs to point out that NetconfViaRestconf.robot and
ConfigViaRestconf.robot modules need merging into one module
and that the code is using deprecated keywords from
RequestsLibrary.

Change-Id: Ib7713b1efd241fdb3759d7c062d3b8d68f5b21bc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied updated test suites and Robot resources.

Change-Id: I49bfd071f8a784439de867f0c3bd38eeb5405664
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Removed cruft left behind by "refactoring" commit.

Removed outdated documentation cruft left behind by the
7ebd203 "Refactoring MDSAL to use the cars/people model"
commit.

Change-Id: I20f4d2fcb0cae7aebb072c918f34f095a0a3e0c2
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Detect bug 5125

Attempt to send element from a nonexistent namespace into the
configuration will cause NullPointerException. This was
reported as bug 5125. Make sure this bug does not return back
by adding a test against it.

Change-Id: I7754c2a30c5d8940a9c4f554d64111ead1d1a96b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix "Variable not found" in Netconf scaling test

The commit 6acfed01ccc4bf0ce66688bb9d0b51beda5a2265 removed
the ENABLE_GLOBAL_TEST_DEADLINES, causing the Netconf scaling
tests to fail with "Variable ${ENABLE_NETCONF_TEST_TIMEOUT}
not found". Revert that bogus change.

Change-Id: I8b305bbd126aa9fde2294cc5219a502f26067145
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Refactoring MDSAL to use the cars/people model

The original MDSAL suite was using the <modules>
configuration as its test data which caused it to start
failing when the format of this data changed. The problem
is that the suite shall use the cars/people model which was
specifically designed for tasks like this.

Change-Id: I286fea431fca30dffbac6357c77fb87c948c4d9c
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Detect bug 5014

Netconf gained another bad habit. It appears to be down until
the user tries to configure a device, then it wakes up and
starts to be visible.

This bad habit was reported as bug 5014 as it breaks the
Netconf readiness suite (and probably other production
workflows that depend on the ability to determine when
Netconf becomes available). This adds a test case that
detects this bug by trying to configure a dummy device when
Netconf appears to be down after the wait is completed.
If Netconf mysteriously raises from the dead, the test case
fails, reporting that bug 5014 was found.

Change-Id: I29e8be136aaddaa13169b533805415729fcc4959
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Modify CSIT tests for VTN Coordinator of audit feature

    * Improve test scenario of audit cases and modify 040__vtn_vbrif_audit.robot
      files of both OF10 and OF13
    * Modify create vbr function in VtnCoKeyword library file
    * Modify Mininet ping function by reducing ping interval and modified wait time in Mininet ping test cases.

Change-Id: Ic0eb70df1e3251d6d11720f7db50bed60fcd1f9d
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Fix for VTN Manager CSIT test failures in VTN jenkins job

    * Reduce ping cycle from 10 to 1 in Mininet Ping Should Succeed and Mininet Ping Should Not Succeed function in VtnMaKeyword_li.robot file
    * Add Wait Until Keyword Succeeds(20s) in Verify flow test cases to get flowentries response from mininet
    * Add Wait Until Keyword Succeeds(20s) for Mininet Ping Should Succeed test cases.

Change-Id: Id99dcb8b7a5d1d99b664ddb93955ac4ce2f6d601
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Add system test for the northbound API in NEMO project.

The main test includes:
- Add predefined role of users, which inludes tenant and admin
- Add predefined node type and connection type
- register a user whose role is tenant (create a vn space)
- In this vn space, issue an intent, that is, create two nodes and one connection
between them.

TODO list:
- Use customized switch to consruct a physical topology
- Test the intent result on the physical network, such as, ping

Change-Id: I185447428fe6c5e78176a210687e6f1f48008cb3
Signed-off-by: Zhang Yali <zhangyali369@huawei.com>

remove feature installation from robot setup

the paradigm in OpenDaylight CSIT is to normally
have the features installed when the controller
is deployed.

Change-Id: Ie62bd6dee21c49d1a27b7bb89a41842ec9557fea
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Decouple netconf-ready suite and netconf connector.

Netconf connector is going out of favor with Beryllium
implementing the "topology way" of Netconf configuration [0]
which offers vastly improved performance and easier setup of
the devices. Additionally the Netconf connector is optional,
making Netconf invisible for the suite if not installed.
Thus change the suite to query the netconf topology for a
list of configured devices.

This adds a configuration variable USE_NETCONF_CONNECTOR that
allows the netconf-ready suite to use a weaker condition for
the "Netconf is ready" check that does not depend on netconf
connector. The default of the variable is True, which makes
the netconf-ready suite to depend on the netconf connector
and it shall be set to False for test jobs which don't use
the netconf connector.

[0] https://wiki.opendaylight.org/view/OpenDaylight_Controller:Config:Examples:Netconf#Spawning_netconf_connectors_via_topology_configuration

Change-Id: Iac8bd7502014d0f897b3e92b351c2f8f61da9199
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and updated test suites

Change-Id: I11c98cfa0cec00a8e402bd1439a64fdcf544ec25
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Delete outdated comments

Change-Id: Ibc3d6b45f5b362ae4f697c78c0c853e5396416ad
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix "netconf_is_ready" not always  reflecting netconf status

If the "Check_Whether_Netconf_Is_Up_And_Running" test case
fails or is skipped, the "netconf_is_ready" is left set to
False even when "Wait_For_Netconf" concludes that Netconf IS
ready. This will break further test cases if they rely on
"netconf_is_ready" to determine whether the Netconf was seen
to be up and running or not. The fix simply tells the
"Wait_For_Netconf" test case to update the variable.

Change-Id: I05e18cd491dc414b036cb68504dcf3b39e0c2490
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added SXP filtering tests

Change-Id: Id627fc8b9c8480f4cf8563d88e7870f7ebd129cb
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Revert "removing bgp tests from verify-library job"

This reverts commit 899da71719ded7336d97d985cbce03fcf38e53d4.

Change-Id: I71d9b2f6535cf3e8e4050a4e7bb4e1738508fcf5
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing bgp tests from verify-library job

bgp features were having trouble and the controller
was not coming UP in verify job

Change-Id: I82b473c138414b58ba2781eb3d6088129bd4f1a4
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fixed spurious MDSAL commit tests failures.

The fixed "commit" operation always returns OK when the
candidate configuration is exactly the same as the running
configuration. Which makes sense as the commit's task is to
turn the running configuration to be exactly the same as the
(currently present) active configuration. However the tests
were expecting the commit to fail in this situation and thus
are now producing spurious failures.

Change-Id: I2f25e3d53a9519a5987e386e7ebe4d7161c0b767
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Do not use FailFast in MDSAL northbound test suite

The MDSAL northbound tests each take only a few tenths of
second to execute no matter whether passing or failing
(unless things in ODL get awry) so there is no benefit from
FailFast. Actually, the FailFast suite tends to mask bugs
as the tests after the first failure won't run at all.

So remove the FailFast support from the MDSAL northbound
test suite.

Change-Id: Ieae3cb87eee678b6e64c18c91cdb93849d4a2915
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Readding deleted line for connecting to spec hosts

Change-Id: I350a64e0435e37e1580fcf5dd1df5a3e554e0387
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

Added keyword to get the rloc object pointed to by hop_index.

Change-Id: Ieb0211d98e198ae94cddc5cad479b07454077769
Signed-off-by: Ashish <ashishk.iiit@gmail.com>

Test suite to reproduce bug 4794 in CI

Change-Id: Ib76f1db30fce19276a35c7c7ab78a3bb1d130454
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

using yang_json headers because data given to keyword is json obj

the new RequestsLibrary has caused the current implementation to
fail, so need to pass application/yang.data+json

Change-Id: I2af801bf61218fa663e7c56ddb496ff230264331
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Done the following changes :
TsdrUtils.robot - Addressed the review comments
All HSQLDB Suites - Addressed the review comments
All HBase Suites - Modified Query format based on new Design
Added HSQLDB Testplan
Changed HBase scriptplan as per new environmental variables
Removed the Flowmeter and Groupmeter status (refer bugzilla#3466)
Modified keywords which were used with deprecated format in Dictionary and Request Library

Change-Id: I3ea717671d84a66df3903d66ba24de4212a600b7
Signed-off-by: premnath <prem.annauniv@gmail.com>

Remove RequestsLibrary.py

Remove RequestsLibrary.py as all the tests use the public
RequestsLibrary
https://trello.com/c/LpxuYiEc/271-remove-requestslibrary-py-file

Change-Id: I8710367ad14d3e88c419e70f3bb2bd04af06f973
Signed-off-by: Kumar <shailrishabh@gmail.com>

Refactor OF cluster test

- Move entity owner keyword to OpenFlowCluster library (plugin specific)
- Add entity-owner shard check
- Increase timers so we know when there is delay or real failure
- Continue test when entity owner does not update list of candidates
- Add support for He and Li plugins

Change-Id: I0c8e87ed52d33771402e75ab8f1b18f7df9127c5
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing explicit header in RequestsLibrary.Put Request

the new library version deals with json differently than
before and broke this packetcable system test.  This will
make it work again

Change-Id: I64e21d17a5e4a3ddad1d70eb4ff59cf80bf25b32
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

upstream ovs version to validate is 2.0.0 not 2.3.1

Change-Id: Ia7f1b77c7d7d536f9bec75a7ec9d6cbae7747827
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Tidied new and updated test suites

Change-Id: I9ba32a6262d3cab40c23bc5902bb34f02fb4aaf3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Rename "first_case_ok" to "netconf_is_ready"

The new name gives much better meaning to the variable,
improving code readability quite a lot. Additionally, I want
to add some more test cases which shall not run if netconf
is detected to be ready. The code of these new test cases
is going to be a lot more readable if the variable has this
new name.

Change-Id: I8254443aad3d0ea9e039fa1c4051bf56ce5053a3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Upgrade pep8 version for tox to 1.7.0

That is the version currently installed if no version override is used,
and since Change 32530 all upgrade blockers seem to be fixed.

The pep8 is still fixed to a constant version (1.7.0)
so that we do not get broken when newer version is released.

Change-Id: Ibb75862cf5bde142b936b1cbddc3d8ddec636fcc
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Refactor OVSDB Cluster test

- Add entity-owner shard check.
- Increase shard timers so we know when there is delay or real failure.
- Continue on entity-owner failure to update candidate list.
- Small fixes to suites variables.

Change-Id: If809be266a3fcc7d02bca284b9637f65ad8f1ce0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

change tempest test timeout to 15m

Change-Id: I4e294cce30786d494b3e613a43a8fcc843421d0f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Fix pep8 1.7.0 W503 in play.py

"line break before binary operator"

Change-Id: Ifdb89e06f0c0b4a146848cad6ec81f483abf33ee
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix REST headers in Cluster test

Simplify headers usage
When PUT use ${HEADERS_YANG_JSON}

Change-Id: I00da9d7d3f0619fcf883cea0f9b5a7e4133aa794
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

removing snapshots in addition to journals

Change-Id: I60182696d31d30d0febb5937b966713329d7dcd9
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Ovsdb 3node clustering csit corner cases.

    Add Test Cases for Southbound Clustering.
    Create bridge in switch and verify in all the cluster instances.

Change-Id: Iabcd6908bd7830409b417d5beee27156ae6c8af2
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

LISP: Add Service Path Datatype test

Change-Id: I3a37ffda613594cccd9c683fbd254e261c52d8ae
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Clustered Netconf CRUD

A suite that runs a Netconf device through Create, Update
and Delete requests, checking that the changes are visible
on all three nodes in the cluster.

Change-Id: Ia464b5c7ba2b66fce8b582a82af009d1e76d82fe
Signed-off-by: Jozef Behran <jbehran@cisco.com>

New way of device configuration/deconfiguration

Added a new device type called "configured-via-topology"
which uses the new "topology way" of configuring the device.

Change-Id: I9410bf8524d687caf19c43be7eec8bb70dfda2d8
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Created operational data access for NVR sessions

The NVR sessions now use 2 requests library sessions, one
for config data and the other one for operational data.
This was necessary to allow the clustered setup to check
the operational data on all three nodes of the cluster.

Change-Id: I405c6ee86b6d4721963e69f1988b433533a40678
Signed-off-by: Jozef Behran <jbehran@cisco.com>

basic eBGP peers functional suite:

- eBGP peers advertise the same group of prefixes (aka BGP HA)

Change-Id: I82802651c60fb4735da12e1fd4ee7cb32f6c207d
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

basic iBGP peers functional suite

- two iBGP peers as routing reflector clients (rrc)
- one iBGP rrc-peer and one non-rrc iBGP peer
- two iBGP peers (non-rrc)

Change-Id: I7c70e038dbe148dcecbee511df0f8da4ba1189f7
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Messaging4Transport Basic Test Plan

Change-Id: Ic3c9dfeee398686fb88126f3b448a228c599b8ac
Signed-off-by: Pradeeban Kathiravelu <kk.pradeeban@gmail.com>

Splitted the "get active session" and "activate session"

Previously "Activate_NVR_Session" returned the previously
active NVR session. This complicated setup as it was not
possible to simply use "Activate_NVR_Session" command in
the NVR setup procedure but the internal state had to be
set directly. But the feature (returning the previously
active session) was not used for anything.

The new way of doing things is to have a separate keyword
for getting the active session and to have the
"Activate_NVR_Session" setting the internal state but not
attempting to read it so it can be used in the setup call,
improving encapsulation of the internal state handling.

Change-Id: Ie40e086b8cc9054f67a9be4a7fc29b8c962d3db3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Specifying headers in GBP demo

Content-Type changed to application/yang.data+json
as a fix for not parsing already parsed body.

Change-Id: I3d83c971d8afd30868a04c3d2596f1ba0469bf70
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fixing confusion in "netconf connector" checking keywords

The documentation of these keywords was updated to match what
these keywords are actually doing but renaming these keywords
was postponed and just FIXMEs were added. Trying to do these
renames without an automatic keyword reference checking tool
is a potential time sink.

Change-Id: I0adcc32df8cd209f735e90efbece121116ead52e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and updated test suites

Change-Id: I35a20c5b5a2f6e3e240bcdb777b84a1e4247931e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed play.py broken by the "big cleanup change"

Change-Id: Ifc8150825e14e262eef272f0fd18f56ae746917b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Allow the user to disable the global timeout logic

The global timeout logic is useful to not allow a test suite
to hang around in a periodic job for 2 weeks or something
like this. However when running the test suites manually. the
global timeout logic tends to be more of a nuisance than a
help, aborting the test suite prematurely, especially when
longer than normal actions are executed in the loops guarded
by the timeout logic.

This change allows the user to redefine a Robot variable
(ENABLE_NETCONF_TEST_TIMEOUT) to tell the suite to not
evaluate any global timeouts. By setting this variable the
user assumes the responsibility of deciding when the job is
running for too long and aborting it if that happens. This
allows the user to run the test suite with the lengthy
actions into completion without messing around with the
timeouts configured in it.

There is also a "global control" Robot variable added
(ENABLE_GLOBAL_TEST_DEADLINES} which disables all global
timeouts. The abovementioned variable disables only the
global deadline for the Netconf scaling tests.

Change-Id: I636379405f335fd45f93e0311afcbea18319778e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Specifying headers in GBPSFC demo

Content-Type changed to application/yang.data+json
as a fix for not parsing already parsed body.

Change-Id: Ib4d12a940df6bec23736a67fe8dfafca6590bb57
Signed-off-by: Vladimir Lavor.com <vlavor@cisco.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fix "prettyPrint" crashing the Netconf readiness suite

There really is no need for prettyprinting in the Netconf
readiness suite as the only thing the suite is doing with the
data is checking that it is there (the request returned OK).

The "prettyPrint" argument of the URL started to make
problems recently:

  Keyword 'Check_Netconf_Connector' failed after retrying
  for minute. The last error was: TypeError: get() got an
  unexpected keyword argument 'restconf/config/network-\
  topology:network-topology/topology/topology-netconf/node/\
  controller-config/yang-ext:mount/config:modules/module/\
  odl-sal-netconf-connector-cfg:sal-netconf-connector/\
  controller-config/?prettyPrint'

Note the "?prettyPrint" at the end.

To counter this the "?prettyPrint=true" suffix was removed
from the URL used to check whether Netconf is working or not.
However to make sure it won't just slip away another test
case was added to try to run the prettyprinting when we are
sure Netconf is working so that we have something that
detects when the "?prettyPrint=true" argument breaks.

Change-Id: Ia23b6aa3baccfc21734ec78ba65abcb0e4bcb66f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Pin pep8 to version 1.5.7

integration/test appears to fail pep8 against versions >=1.6.0 so pin to
an older version until pep8 failures are resolved.

Also fix pep8 underindent issue with variables.py

Change-Id: Id30d7ef8de7cea3da6b2538c7b5fc32f82587cb0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Updated code to match new rules

Here are the components of this change:

https://git.opendaylight.org/gerrit/32476
https://git.opendaylight.org/gerrit/32477
https://git.opendaylight.org/gerrit/32479
https://git.opendaylight.org/gerrit/32499
https://git.opendaylight.org/gerrit/32494
https://git.opendaylight.org/gerrit/32481
https://git.opendaylight.org/gerrit/32482
https://git.opendaylight.org/gerrit/32483
https://git.opendaylight.org/gerrit/32487
https://git.opendaylight.org/gerrit/32488

Change-Id: I8a9b019cf910678ef2e601a4dbc499976e2a7590
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Change URI to specific ovsdb node

Change-Id: Ifc934bdc7ee1972afddc546f6b8adb5bcd1ef8aa
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

fixing some failing AAA test cases

-  error message had changed in response to invalid user, so updated
   that

-  remove the dependency on openflowplugin:
   -  no more mininet involved
   -  using /restconf/modules for REST transactions instead of operational
      nodes API

-  bug 4922 is documented with failure in the "Disable Authentication And
   Re-Enable Authentication" test case

Change-Id: I901d52cff96b85c79d52837a29fbd38d640c7f56
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify Vtn Macmapping robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_macmap.robot(OF10 and OF13)files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for macmapping functioanlity

Change-Id: I9179f5ce73b9460651f73ebd28d0befc228a34ce
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Switch to MD-SAL version of test tool data store

The MD-SAL version of the test tool data store offers better
compliance with the Netconf protocol so use it by default.
An argument can be used to switch it off for tests where
performance is needed and correctness is not such as scaling
and performance test suites.

The CRUD suite also needed patching because it was designed
to check for an attribute in the data which is actually not
supposed to be there and was just a test-tool simple
datastore implementation quirk.

The scaling suites were also updated to tell the testtool
to use the simple datastore. These suites need the speed
more than the correctness as they don't do any data
checking.

Change-Id: I8f1d9e18e838169d6249c0998954ba0e0cf9e4fc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

OVSDB bridge create test case now using UUID

- while trying to fix this test case, a bug was filed so this
  is expected to fail until the bug (4908) is fixed

Change-Id: Ia6d8c9bdc8f2e7a584a1ca65f3284f1ef6dc264c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

File play.py was reworked to use threads

File manage_play.py was deleted, robot files were updated.

Change-Id: I9f5e9cdb7821dd26aac276398369410a96b39d83
Signed-off-by: pavol.cibak@pantheon.sk <pavol.cibak@pantheon.sk>

Modify flowfilter and pathpolicy robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_flowfilter.robot and 010__vtn_manager_pathpolicy.robot(OF10 and OF13)files and
    * Renamed pathpolicy robot file as 020_vtn_pathmap_pathpolicy.robot
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for flowfilter and pathmap, pathpolicy functioanlities.

Change-Id: I26ceea5e2bee7dafd5701c1e7c321a4cd8f5dddf
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Put testtool startup into its own testcase

The Install_And_Start_Testtool contains an attempt to wait
for testtool to become usable. This is done by waiting for
the first test tool device to come online. This was done with
assumption that further testtool devices will come online
very quickly after the first one.

However it turns out the test tool startup may take
considerable amount of time even after this first device
comes online. Thus the "the remaining testtool devices come
online quickly" assumption is not valid and overlapping this
time consuming operation with the device configuration test
case in the scaling test suite causes the test case to be
blocked waiting for testtool to supply the next device,
destroying the validity of its results.

To fix this amend the "wait for testtool to boot" action
to make sure that all testtool devices are online and then
move the testtool startup into the first test case in the
suite as it now can fail.

Change-Id: Ie883d375e95e51d78c8343133182c644bde6e1df
Signed-off-by: Jozef Behran <jbehran@cisco.com>

fixing failing ovsdb cluster test suite

-  successful PUT requests now return 201, instead of 200
-  the UUID was hardcoded, and it will never be the same so
   using regexp to replace the UUID with ${EMPTY}

Change-Id: I509e5f8d6ff6d3ad5da1a3fc6381d7c3c79cd385
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Do not use DEVICE_COUNT in NetconfKeywords

Using DEVICE_COUNT in NetconfKeywords is not kosher because
that variable is declared in the scaling test suite that uses
the NetconfKeywords resource and thus this dependency is not
obvious. If another suite that does not declare DEVICE_COUNT
tries to use Perform_Operation_On_Each_Device, the keyword
will mysteriously fail on "DEVICE_COUNT variable was not
found".

The fix stores the count on devices in
Deploy_And_Start_Testtool keyword and uses this stored count
in Perform_Operation_On_Each_Device.

Change-Id: If187d3fd0a1cb426beeeb4db3077e07377e7228d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Apply workaround for slow testtool device creation

According to the ODL Wiki [0], the testtool may take long
time to create the devices. As this tends to be the case
almost always (on sandbox it takes about 2 seconds per
device, on a DELL notebook running Manjaro Linux in
VirtualBox on top of Windows 7, it can take as much as 30
seconds per device), add the workaround into the
default Java options to avoid the problem.

[0] https://wiki.opendaylight.org/view/OpenDaylight_Controller:Netconf:Testtool#Slow_creation_of_devices_on_virtual_machines

Change-Id: I850e86284b403f45a0254c912b1ce6535dac476e
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Make java options configurable.

Placed the java options to TESTTOOL_DEFAULT_JAVA_OPTIONS
Robot variable so Jenkins jobs can override them as needed.

Change-Id: Ibd0470be4c4104eab70ddd30024a1d723bfb105c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

removing validations for netvirt related testing

- because the job that runs these suites is now only loading the ovsdb
  plugin, it is not valid to test anything to do with net-virt (e.g. br-int)
  or openflow (e.g. flow programming).  So, all checks/tests in those areas
  have been removed.

- this patch also introduces two new test cases per suite to check for
  bugs 4756 and 4794.

- other refactors include:
  *  marking karaf.log at the start of every test case
  *  using Force Tags, instead of the same tag in every test case
  *  migrating to new system variable names (e.g. ODL_SYSTEM_IP)

Change-Id: I47d53cbf36b82dd65111b6d7b7c9337cee07a07d
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Rename VTN testplan to use hypen

Change-Id: Ifae885ddeb44a77c16016ce8751c69f532c570c7
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Tidied new and updated test suites

Change-Id: Ic75370a680bd1a4f6c02c15f86993066f1665b88
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Topoprocessing bugs made visible in robot logs

Change-Id: I88a420cfa8e515f07e6a72112b2dc1175a0ed0f3
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>

removing html files.

these files were generated as a proof of concept to show how we
can generate lib/test docs with robot tools.  What we really need
is a dynamic job that creates these files on the fly and uploads
them to some upstream location where they can be viewed (maybe
nexus).

Change-Id: Ica82c829ab30e7491178c152387df69ae2a1f0d0
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add RESTAPI tests  for Li Test jobs

- Added seperate directories for Li Tests
- Added a new plan for Li Tests

Change-Id: I4a5f035d6b81f930c96ff3e2e64099163eb54dfd
Signed-off-by: gvrangan <venkatrangang@hcl.com>

Modify vlanmap and dataflow robot files for VTN Manager RESTCONF

    * Removed Force tags "exclude" in 010__vtn_manager_dataflow.robot and 010__vtn_vlanmap.robot(OF10 and OF13) files
    * Modify test case to work for RESTCONF feature, earlier test was written for RESTAPI spec.
    * Modify VtnMaKeyword.robot file for vlanmap and dataflow functioanlities.

Change-Id: I050e54e95c737783741f0efa755920f74ad172d4
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Robot test suite to verify DIDM discovery feature.

The suite installs DIDM features, connects to the device and
starts it, makes RestConf calls for operational node inventory,
verifies the device's information, and closes the connection to
the device and exit.

Change-Id: If3a47eae0d16f9bb847670dccaf617733b426c79
Signed-off-by: Linh <linh.pham@hpe.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Modify VTN Test files and VTNMgr Keyword file to use RESTCONF instead of the REST API

    * Renamed the below files name to functionality specific
        010__vtn_manager.robot -> 010__vtn_vbridge_portmapping_test.robot (VTN_Mgr_OF10 and VTN_Mgr_OF13)
        010__restconfig_vtn_manager.robot -> ../VTN_Mgr_OF13/010__flowcondition_test.robot
    * The above test files is modified to work for RESTCONF specs and remaining robot files tests are disabled with Tags exclude
    * Modify VtnMaKeywords.robot library file according to RESTCONF specs
    * Tags exclude in robot files will be removed once each test file is modified and tested for RESTCONF specs.

Change-Id: Idcfea115300f0651a4a58d9f5a6eb117a78b1182
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Change pcep topology for bgp topology

used path-computation-client from network-topology-pcep.yang is declared
as config false. After 1014 was merged, we can't use it in
configuration.

This change is fix for https://bugs.opendaylight.org/show_bug.cgi?id=4813

Change-Id: Iece364eab5a9c6e14e537791ee0a2f1a922c780f
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>

Basic tests - Unification termination point inside

Change-Id: I1755f43b4cad5851d68f80f5500aac364390d1c3
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

LISP: Separate Lithium and Beryllium tests

See this thread [1] for more info.

[1] https://lists.opendaylight.org/pipermail/lispflowmapping-dev/2015-December/000532.html

Change-Id: Ied5a1a0eeae2c8c719eb61255855c445e099b340
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BGP application peer performance suite

- prefill 100k routes via restconf single POST request
- add 100k routes via POST requests (one route per request)
- check IPv4-topology changes and updates towards BGP peer
- check updates towards reconnected BGP peer
- check routes withdrawal towards BG peer after routes deletion

Change-Id: I40d8c8076064eac710b791c65877dd62cb1e760b
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Update cluster suite to use json sort keyword.

Change-Id: Ifaf88dfe860255e315a8ee0e54d9c24eac7c8570
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

robot suite to run tempest tests against devstack system

Change-Id: I5e41fd2d6f688d70cd795c3f81181d95e8500362
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

adding first system test, based on restconf test

Change-Id: Iab056868f6efaaeb57df4ea117852f1a88b44b34
Signed-off-by: Curt Beckmann <beckmann@brocade.com>

Integration test suite for sdninterfaceapp

Change-Id: I9f65f416b2298bf4181009da1a493376e5cbbbf4
Signed-off-by: jnana <jnana.penumetcha@tcs.com>

Basic tests - Unification node inside

Change-Id: I199d6594c21f7bfc31eb535fff7a2a55579d07e1
Signed-off-by: Branislav Janošík <branislav.janosik@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

BGP application peer functional suite documentation update.

Change-Id: I2dee6be1a546f08692e1dcc2fcc225eb8810f1c3
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Ovsdb Southbound 3 node Clustering Csit

    * Create bridge in config datastore
    * Retrieve bridge in operational datastore

Change-Id: Ibfedea32e3af59d0ac96d1f84e9910f4699201a8
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Test cases for GBP-SFC integration demo

Asymmetric demo scenario.

Change-Id: Ib92bc83ee254a8fe0c64617dbc2a0e8baa720322
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Basic tests - Unification Scripting Node

Change-Id: I11c597d1fb932f3353c4f3096642fd46bf7b4e91
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed testplan for Topoprocessing

Change-Id: Idf01979d7e37ccdd54f71a6dfcab540838df282e
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>

Changed GBP data based on change 30901

Change-Id: Ibc1dd4e2fb890ee555594ca2e807f1489726e386
Signed-off-by: Martin Sunal <msunal@cisco.com>

Extracted Nexus artifact deployment code

The code that downloads executable utility artifacts from
Nexus and deploys them to be ready to be executed on the
Mininet machine was extracted into a new NexusKeywords.robot
resource. Three suites (well, actually two suite and one
resource) were updated to use the new resource, one is PCEP
User test suite, the other is TCP MD5 suite and the last one
is Netconf CRUD (this one was updated indirectly by updating
NetconfKeywords.robot where the duplicated code actually
resided).

The reason is that another new test suite (Netconf
performance via RestPerfClient) needs another Nexus artifact
(RestPerfClient in this case) and thus another instance of
the Nexus deployment code was about to be created, leading
to code triplification. Thus this change to remove that
technical debt.

Change-Id: I5959c8ed9ea55ff84f9f2ad76104dfc464e7ba32
Signed-off-by: Jozef Behran <jbehran@cisco.com>

add aggregation basic keywords and testcase

Change-Id: Iddc89e194bc842e52d72b3c8c5340c62d3e97484
Signed-off-by: Andrej Záň <andrej.zan@pantheon.sk>
Signed-off-by: Samuel Kontriš <samuel.kontris@pantheon.sk>