Add ovsdbconfigblaster.py

Start of ovsdb southbound
performance suite.

Change-Id: I12f6360f343c05d399789b97bbe6a66d7f477469
Signed-off-by: Marcus Williams <marcus.g.williams@gmail.com>

Integration tests for GBP and GBP-SFC

Common files for all testcases

Change-Id: Ief74596257a13243f22b62b8c51ff3af38687e38
Signed-off-by: Konstantin Blagov <kblagov@cisco.com>
Signed-off-by: Igor Bartak <ibartak@cisco.com>
Signed-off-by: Martin Sunal <msunal@cisco.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>
Signed-off-by: Dileep <dileep.ranganathan@intel.com>

crud performance test for car-people entries on 1 node cluster

- measure time to configure certain amount of cars at once
- measure time to purchse these cars one by one
- robot test case duration is the measured time
- config script uploaded to the mininet/tools vm
- add debug capabilities

Change-Id: I0d198fc03f2eb73026503ace1a27cf4354f7243c
Signed-off-by: Peter Gubka <pgubka@cisco.com>
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

BGP functional test suite improvements

- backporting of improvements from BGP performance suite
- new functional tests for prefix withdrawal

Change-Id: Ic3fef25dce91ffa4186b841e2e5e65397e96fa1a
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Initial works for OF cluster test

Initial OpenFlow Cluster test suite
New Cluster Keywords to manage Shard and Entity Owner status.
New Cluster Keywords to Check, Get, Put and Delete URI
New Mininet library including multiple controller setup.
Fix Run Command On Remote System to do execute command
New Utils keyword to extract dictionary from list.
New Utils Keyword to check item occurrence in a string.
Add missing variables for MININET.

Change-Id: I3d3f2503140f3af4be80a64f96ebcdde45737930
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Added ability to turn on debug logging for Netconf suites

Any test plan that starts with the Netconf readiness suite
can now be asked to switch debug logging for everything by
setting  DEBUG_LOGGING_FOR_EVERYTHING to "True".

Change-Id: I10a9e76ec8ea2f04cfb238366e24ea64c7362d14
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added Karaf logging to the Netconf readiness suite

When the Netconf readiness suite fails, it is impossible to
figure out what karaf.log logs were produced during the time
it was running. Add commands to emit log messages into
karaf.log when it starts running and when it ends.

Change-Id: I9fc441ef4978551ee11a36b0da556cd921bea5a3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed oversensitive MDSAL test

The Beryllium added some features that impacted the netconf
point, leading to failures of the MDSAL tests. Analysis
revealed that these failures were spurious and caused by the
suite checking things which don't really relate to what it
is supposed to test. Fixed by removing the suite's
oversensitiveness.

Change-Id: I1da95822ccf25400c1305b08a9b71d43e809a3bc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new and modified tests

Change-Id: I9bc6a6aa136bc97827d840304bf3ed08726e3e8d
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Update of BGP speaker tool and SetupUtils related to bug_4533

Provide BGP speaker logs for incomming messages.
Solve wrong incomming message body length calculation.
Solve incorrect FastFailing of test suites becasue of Karaf logging.
Solve incorrect log level setting in case of threads usage.
Add script plan for setting the controller's heap limit.

Change-Id: I1f4676da7f5a2764091c777a1f4cfd7b67bd1dfc
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Added missing resource import

Change-Id: If443e6639b63f214b07858479fb3309dbe2e4f61
Signed-off-by: Jozef Behran <jbehran@cisco.com>

updating test repository for Centinel

Change-Id: I1b756f5933573ce6b77a4d832356628e93de4b90
Signed-off-by: ShreshthaJoshi <shreshtha.joshi@tcs.com>

Added report about the bug causing the test failures.

Change-Id: I04ac5bf7325f3021398c5761807dcc59daa41f30
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added CSIT Basic test to NetIDE

- added full stop to end of line 2

Change-Id: I01f7511cbdf055339ea78a9183d191f9ee2a4f18
Signed-off-by: aleckey <alexander.j.leckey@intel.com>

Fixed MININET_PROMPT usage

It is not possible to use these variables on the Library
import statement because these are processed before
Variables.py gets imported. Move to suite init and while
at it, the variable shall be named TOOLS_SYSTEM_PROMPT
instead.

Change-Id: Id873de41793248f3000d4f26ae8624ed8beadafd
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Teardown of GBP components from ODL controller

Change-Id: I29c3bd98f97903d1f1af4dca686819213ae4d179
Signed-off-by: Dileep Ranganathan <dileep.ranganathan@intel.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Merged the netconf testplans into one.

The new test plan contains the old Netconf suite and the new
MDSAL and CRUD suites. All of these are "user features" so
they are run by a test plan called "userfeatures".

Change-Id: I251933d6f55320eac7b63069da513de6825e1a2c
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Netconf CRUD on mounted device data

Tests the basic operations (Create, Read, Update, Delete) on
device data exported via a netconf mount. Uses testtool to
simulate the netconf mounted device.

Change-Id: If8d94d5b9d37f1db50d963224dc948b51ffeb5ba
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add keywords for complex Netconf operations

This library currently offers two sets of keywords
encapsulating common operations that are quite complex.

The first set is for testtool handling. It has two keywords.
The first one, named Deploy_And_Run_Testtool deploys
testtool and then starts it, redirecting its debug output to
a log file, the second one, Stop_Testtool, stops testtool
and downloads the log file with the debug output produced by
it. This API is quite simple but the keywords contain a
bunch of quite complex functionality.

The second set is for mounting devices onto Netconf,
unmounting them and checking their mounted status. These
keywords use device templates to supply the configuration
of the mounted device. A default template for the device is
included. These templates are referred to as "device types"
and the keywords keep track of the type of the device once
mounted.

In the future more "complex Netconf operations" may appear.
Therefore the library has a generic "netconf" name.

Change-Id: I138418806aa34c0940c63a1445c40b12eafdb219
Signed-off-by: Jozef Behran <jbehran@cisco.com>

bgpingest testsuite latest review comments and fixme

Change-Id: I486785eb1187ecf7856c703fca44719b14be645c
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Netconf MDSAL Northbound test suite

This test suite performs operations on ODL Netconf Server
bound on MDSAL (aka "Netconf MDSAL Northbound").

Change-Id: I04cb163b2be938965d1d3115b2df09787f27112c
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Logging the count in WaitUtils.Wait_..._Consecutive_Success

Digging the value of this parameter is possible but so
unintuitive that it is much better to just log it. An attempt
was made to make it secure against "users trying to pass 20MB
JSON into that argument".

Change-Id: If1273ee88c520e5d9063a5d2939e4c983d1c91b3
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Tidied new changes

Change-Id: I30a734297f318ab5a972b734d65a4139ac171a96
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Bug 4567 - CSIT config xml contains outdated config

Removed Notification service from configs

Change-Id: I6f5f5da4bd9f220abe63531a0030970a76dd5e06
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

BGP Speaker tool & BGP performance suite functional enhancement

- functions for BGP messages encoding according to RFC 4271
- configurable message generator via command-line parameters
- support for logging and debugging
- provides performance data for plotting

Change-Id: Ifee756b0cd67bda5a2a931f19b70111f5fa123a3
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

Changed deprecated keywords from RequestsLibrary to actual ones

ex. Get -> Get Request

Change-Id: I1dba7e61e856f9b1b54b97cc4293b5152643e300
Signed-off-by: Konstantin Blagov <kblagov@cisco.com>

Fixed broken settings section

The Documentation of SSHKeywords.robot was being ignored by
Robot because the line "*** Settings ***" was missing.

Change-Id: I3971cb340ecddc8a3b3421c2e0bb46d8c8dccb4f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Adding POST method for JSONs to Utils.robot

For cases when we don't want to read JSONs from file
but from variable.

Change-Id: I99290db17bb65bc927fb9de9711be3a834a8bb30
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Init ODL controller for demo-symmetric-chain

JSON data are sent to ODL to create Tenants, Tunnel, SF, SFF, SFC, SFP

Change-Id: Id2331eaa08e9c6695a1e77b593b2d6c386b2b432
Signed-off-by: Dileep <dileep.ranganathan@intel.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Init ODL controller for demo-asymmetric-chain

JSON data are sent to ODL to create Tenants, Tunnel, SF, SFF, SFC, SFP

Renamed JSON files for consistency

Change-Id: I45af0643c443d6fd20c7f1cd375d7dac89c0580b
Signed-off-by: Dileep <dileep.ranganathan@intel.com>
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Add keyword for watching TCP ports on remote machine

This keyword gets a TCP port number, a state (LISTEN or
ESTABLISHED are the most useful but other states produced
by netstat may be used) and a process name. It then runs
netstat, greps through its output and reports the number of
occurences of a line mentioning the port, state and process.

An instance where this is needed was found in the BGPCEP
suite and transformed to use the new keyword. This can serve
as an example of how to use the keyword and additionally
serves as a test that the keyword is correct.

Change-Id: Ica59958e9b5ade564904a1725e9ef77154f84317
Signed-off-by: Jozef Behran <jbehran@cisco.com>

iBGP performance suites against many fastbgp peers

- No half with ODL initiating connections as ODL configuration is slow.
- Peers need segment of bindable IP addresses.
- Still only iBGP peer roles used.
- Default multiplicity is 2, to avoid Bug 4488.

+ BGP functional suites changed to use template with configurable peer name.
+ Manager utility for starting multiple play.py processes.
+ BGPSpeaker Resource supports this Manager.
+ New suites added to existing ingest testplan.
+ play.py uses double quotes for string literals.
+ Configurable BGPCEP log level (useful for Bug 4488 investigation).
+ Assure Keywords moved to SSHKeywords, throughpcep suite updated for that.

Change-Id: I03faec4f209a3c657cbd3045d01b066789a0b35f
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Added testcase for displaying limits on mininet

The dummy test suite showing the Python versions and system
limits was showing the limits for Robot machine and for ODL
but left mininet out. This patch fixes the omission.

Change-Id: I501326a13a71a148fb3050f5b876d65d0aba9637
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Refactored the host related Robot variables

Changed MININET to TOOLS_SYSTEM_IP and CONTROLLER to
ODL_SYSTEM_IP. This also allowed to add missing things (user
IDs and the prompts) in a consistent and organized way.
The original names for the variables that did exist before
this chage are deprecated and will be removed once all tests
use the new naming convention. This change is thus backwards
compatible with robot scripts that use the old and deprecated
variable names as these variables are suppled with the values
from the new variables on pybot execution.

This change is an attempt to reduce confusion and increase
clarity for testing contributors. Current MININET variable
passed to pybot (IP address of jenkins slave) refers to any
slave node except ODL_SYSTEM_IP slaves. As testing expands to
include slaves besides mininet, it is prudent to change
variable "MININET" to a more descriptive name. The
"CONTROLLER" name is also somewhat vague as "controller" is
just one component of ODL; the new variable name emphasizes
the fact that the machine it refers to runs ODL.

Additionally a docstring that conveys pretty much no useful
information was removed. The policy according to which it
was created is now unknown and it was most likely in effect
at IBM (as can be seen from the "authors" line in the
removed comment).

Change-Id: I05eee98baee49753044f0b983767e42decdb4b04
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Testplan and suite for 1 iBGP peer performance tests

Work on this patch was started by Jozef Behran.
Additional changes by Vratko Polak:

+ Refactored to use WaitUtils.
+ ConfigViaRestconf now tolerates multiple calls to its Setup.
+ Testplan includes netconf readiness suite at the start.
+ Documentation cleanup.
+ Minor improvements to WaitUtils and ScalarClosuresTest
+ Subset of ODL_SYSTEM* and TOOLS_SYSTEM* variables added to Variables.py

The original commit message by Jozef Behran:

The first version of the test suite (called
singlepeer_prefixcount.robot) can tell if the tested system
can meet a target but it is not able to give "pure ingestion"
performance data for the test load, especially when the test
load is large. The measurement gives a somewhat inaccurate
measurement of the time it needs to ingest the data while
the topology is being accessed along with time of the final
check of the topology lumped in. On the other side this
provides a "real world workload benchmark" number which may
be useful for some users of the testsuite. An additional
advantage of this suite is that it subjects the BGP feature
of ODL to additional stress, allowing for exposure of more
bugs.

The second suite (singlepeer_changecount.robot) is able to
give performance numbers (times of the actions of filling and
emptying the topology) as well as checking whether the target
is met because it uses change counter to do the topology
up-to-date-ness detection which is much more lightweight test
than downloading the entire topology and counting the routes
in it. However as it does not stress ODL so much, it has
increased chances of missing some bugs.

Change-Id: Ia54aa426370632ac4ee14e70a21fa29fa0addce3
Signed-off-by: Jozef Behran <jbehran@cisco.com>
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidying updated files

Change-Id: I15a5d47e190deec9132f7a756914d181ff53ac25
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added missing "y" possibility to str2bool

Change-Id: I65f940f744adb06ee1f9f07331bf9a6e3b460215
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Data adaptation for GBPSFC test cases

JSONs for ODL initialization

Change-Id: I32f4ce484e96152c7404e253ac03ca66c2e22592
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Separate lisp perf results into two files

The results are not related and should be shown on different graphs.

Change-Id: I9d23f60873d76444bea9988992b850169f223947
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Change cluster auto-down to 30s

Change cluster auto-down-after-unreachable-after
setting to 30s to go along with the controller
change for BUG 4037 in
https://git.opendaylight.org/gerrit/#/c/27852/.

Change-Id: If49bbd43c29f3ec1b830e9f341b79707638eeab0
Signed-off-by: Gary Wu <Gary.Wu1@huawei.com>

Added Netconf related variables

These are used by multiple tests so better to add them as a
separate change.

Change-Id: Ieb8d7dc0e59db2428d81fd365e1eb2ff421c6a7b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Create add operation perf results in lisp

The initial version of the lispflowmapping performance tests only
computed the map request rate, after the mappings were added.  This
patch measures the time it takes to add the mappings and computes the
add rate.

Change-Id: Iae7a46c4a926b5710bd66d0c0861addeb9d7e8f5
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Add Library for advanced Waiting, including dependency and tests

WaitUtils.robot contains Keywords to be used by various
performance suites to detect when asynchronous work is done.

ScalarClosures.robot contains a specific way to wrap executable
Robot constructs into variables, to overcome limitations
of Robot Framework argument passing.

Each library also has a Robot suite to verify corectness
in simple (usually mocked) scenarios.

+ Testplan for integration verify library job is added
  (it includes Freeze suite, OpenFlow and BGPCEP functional tests).
+ "Stability" Validator moved from test suite to library for easier reuse.

- Example refactor of BGP performance suite will be in separate Change.
- *Test suites could have better coverage.
- Keyword names may be too verbose.
- In internals, ${state} and ${status} may be too similar names.

Change-Id: I113638e76bb5a62dcf2a44abcc464fb8bd38ab15
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Change resource from Utils.txt to Utils.robot in OVSDB Vxlan Suite

Change-Id: If4eb9dfc498507c96755a82f9ed41a34fb0daecb
Signed-off-by: Marcus G K Williams <Marcus.G.Williams@gmail.com>

Editing JSON files

to fix errors

Change-Id: I1206edd78b8d3bfae33d27e4bffad1039a670f3f
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Vtn Manager Pathpolicy test in csit

    * Refactor Verify flows for the pathpolicy
    * Address review comments add as a dependent patch

Change-Id: I3886402f8f0ba140d6db31fae37eefa46b144f9d
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Update lisp performance tests

Test framework and controller are on separate VMs, so send udpreplay
traffic to the ${CONTROLLER}

Change-Id: I0d4b02feaec3a82349e02c9d81effacd4f9d787f
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Fix instantiation status in data for pcepuser suite

The old data had odl-pcep-ietf-initiated00:create flag
hardcoded to false, which is not correct for instantiated LSPs.

+ Topology_Intercondition is no longer tagged "xfail".

Change-Id: I936c27314caf5f8560b438fef693ef146ea20a1b
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tcpmd5user to tolerate both Li and Be dispatcher configurations

Single test case added which tries to identify possible known Bugs.

Change-Id: Idfccaa4102b2a0f6cb39b3aae9cb52db16a986ef
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

topoprocessing unification test suite

Change-Id: I94e840cd8376d34197ddd74ff88fad03e0c3bb53
Signed-off-by: Matej Perina <matej.perina@pantheon.sk>

Tidied new and updated Robot files

Change-Id: If2b92dec823355b7c564f4a9d07437f1402b5460
Signed-off-by: Jozef Behran <jbehran@cisco.com>

MD-SAL Data Store benchmarking test suite.

- mdsal/dsbenchmark performance testsuite introduced
- update of the dsbenchmark.py tool (output suitable for plotting)

Change-Id: I91f4f57e8ba0e52b7671266490d773ea5eb38b9d
Signed-off-by: Radovan Sajben <rsajben@cisco.com>

VTN Manager OpenFlow 10 Specification Testing in CSIT

    * Modify 010__vtn_manager.robot file in both VTN_Mgr_OF10 and VTN_Mgr_OF13
    * Add new functions in VtnMaKeywords to verify the flows on switch
    * Add new robot files for flowfilter and flowcondition in OF10
    * Pathmap and Pathpolicy functionality Tested in Open Flow 10 Specification
    * Add Tags exclude in 010__vtn_manager_pathpolicy.robot file due to missing of in_port in dumpflows.
    * Add new robot files for data flow in OF10

Change-Id: Ieb090a894d778e8e6b986351889ae7f7e68f0146
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Add Macmap and vlanmap tests for VTN manager CSIT

    * Add two robot files for macmap in both VTN_Mgr_OF10 and VTN_Mgr_OF13
    * Add functions in VTNMaKeywords
    * Add vlanmap robot file in VTN_Mgr_OF10 and modify vlan test in OF13.

Change-Id: Idca94fe54e7b7e5b343ec2772b8851514add4268
Signed-off-by: manimuthazhagan <manimuthazhagan.r@hcl.com>

Added keyword library for "Netconf via Restconf" handling

This library currently adds a lot of code duplication as it
is almost the same as "ConfigViaRestconf". However there is
no time for such cleanup so it is going to be postponed to
a later commit.

Change-Id: Idc628363d49c7c240652557f040d9f8f0f6cd105
Signed-off-by: Jozef Behran <jbehran@cisco.com>

API for GET requests with automatic error handling

The keyword "Get Data From URI" issues a GET request for the
specified URI through the specified session, FAILs if the
request returns an error (with logging that error into Robot
logs and returns the data on success. Success is currently
defined as "returned status code 200" and the method is
hardwired to GET so this keyword is not useful for making
non-data-getting requests like POST or for GET requests
that don't return any data and return an OK-like status code
(2XX where XX != 00).

Change-Id: Iee5e894687aa9576bc4968fe851d6ab72e386872
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Pcepuser fixes: Better handling of prompt and json ordering

Change-Id: Ia3bd570befc61d4dd4d18bef5c2aa426138757ff
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

A dummy suite with testplan, for determining python versions

+ Test case to print system resource limits on Robot machine.
+ Test case to print system resource limits on ODL machine.

Change-Id: I3abf41fefad02e909388f6dfa6cdd353d8e3a3b2
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Bug 4486 - CSIT test wont copy config file to node

Changed Variable to ODL_SYSTEM_IP

Change-Id: I6080decca4cbe2fd614a1f43ac98cbdf46a7fb2a
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Make wait time in netconfready suite configurable

Useful for Sandbox testing.
Also, Lithium CSIT jobs with all install may legitimately need
more than the default 60 second.

Change-Id: I384071fc6602f0c3ad43b639a2715ce8fb2acb72
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Initialize robot test for ALTO.

Change-Id: I1e48fac8645cc89aefbb20f039cad7ce1dee0ff3
Signed-off-by: jensenzhang <jingxuan.n.zhang@gmail.com>

Added testplan and basic test suite for armoury

Change-Id: I404fddd4d571e51c581662ff03e60e2101bf0c8d
Signed-off-by: adetalhouet <adetalhouet@inocybe.com>

Add basic test suite for nemo

Change-Id: Icdcf79418941590e169cd4f59438a98bcfd98812
Signed-off-by: A H <an.ho@huawei.com>

adding idmlite testplan

Change-Id: I3dba9e3138a7e1e1cc481ac0d69411044d6cc5eb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Keyword to report failures due to a known bug

Use the keyword in the [Teardown] configuration line of the
affected test to get a pretty report about a Bugzilla bug
that is causing the test to fail (and also an indication
that the failure is expected).

This shall be used instead of various ad-hoc kludges to hit
a particular known bug but still continue the test suite.
At least one future test suite needs this and there might
be others.

The change was originally committed as a8248ecaf however
that change has messed up commit message, obscuring the
real purpose of changes. Additionally, the keyword was
not run through robot.tidy and it clobbers the original
test failure message. This update makes sure that the
original failure message is shown as well as the message
about the URL of the bug that is causing the failure so
the exact problem can be spotted without digging in
log.html.

Change-Id: Id32850307f68160b63247dd97a1ffaa8203bb1bc
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Modify VTN library file to launch VTN Coordinator in CSIT

    * To start vtn coordinator modified script
    * Deploy VTN in controller vm(CENTOS 7.1) instead of mininet vm(CENTOS 6.6)

Change-Id: Ie15014feae01137f8eb0de54b86030716d71dd8f
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Data correction for GBP demo and GBPSFC symm demo

Removed trouble making white spaces.

Change-Id: Ie277723440eb4d79ddf01cc728cca9837e747dc6
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Added testplan and basic test suite for unimgr

Change-Id: I816dae1b6df8aac36e0ce5cd0e5db98fdd107b3a
Signed-off-by: adetalhouet <adetalhouet@inocybe.com>

iterating on patch 28386

-  could not ammend patch set 28386 because it was depending on several
   other unrelated and unmerged patches.  this modification can stand on
   it's own and does not need to depend on other new changes.

Change-Id: I9dcfbf5b5df739ddac7d11cb7bd0f290e8fb4c52
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Tidy new tests

Change-Id: I8e27097336581debd0c272e770f7167ffc79cbf5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix lisp performance tests

Change-Id: I9ec23be10de8ed211ddf5ef53324d68bf8735610
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

fixing false failure

-  looks like the suite is running fast enough to catch a few
   hundred connections still open before they are closed.  There
   is no thread leak after all, and forcing those connections
   closed with pkill seems to address it.

-  This test will fail with Helium SR2 as it should because the
   bug exists there.  It will pass with Lithium SR2 as the bug
   is not there.

Change-Id: I4b321c692354d5a9213be61979706049f5e39b9a
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Testing Data Flows of VTN Manager in CSIT.

    * Add new robot files to test portmapping data flow functionality
    * Add new robot files to test vlanmapping data flow functionality

Change-Id: I958eba37c41cb79f0e3f583b1221e7badd57dd6d
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Tidy new .robot files

Version used: Robot Framework 2.9 (Python 2.7.9 on linux2)
This also reverts changes caused by tidy from earlier Robot version.

Change-Id: I8e95e2968f993809e87c4779fad71c0512ec0286
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add LISP performance test plan

Change-Id: I4ca3a615815dcc8e84a2dde7233d1bc30aacb65e
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

PathMap and PathPolicy VTN Manager Sandbox testing.

    * Add new files mininet topology and pathpolicy test cases

Change-Id: I7a6ea77645b9414fe95a582209925272616714c8
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Refactor cluster car-people test to reduce test time in case of failure

Reorganize and clean up cluster keywords.
Introduce START_TIMEOUT and STOP_TIMEOUT variables for instance restart.
Use cars to determine whether application is up.
Remove unnecessary waits.
Add test case documentation.
Change test cases name to standard.

Change-Id: I819cb86c604338b7452f4378ecde82d24cde6c16
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add Netconf server ready test to netconf suite

Change-Id: Ifee19d89c8212573d309f27bf75f514c8feeaa70
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fixed Timeout and Syntax issues with NIC Command Tests

Change-Id: I7c3babbd96e95c76f6a868ad4e516f1217cec5d0
Signed-off-by: Alton Fong <alton.fong@hp.com>

Moved the karaf logging keywords to KarafKeywords

This change defines API-like keywords to be used in suites.
Actual implementation may change in subsequent changes.

Original idea an main implementation by: Jozef Behran
Finishing touches by: Vratko Polak.

The keywords are moved with as little modifications as possible
(added code to preserve the active SSH connection across
these calls, renamed "Connect To Controller Karaf" to "Open
Controller Karaf Console On Background" and added requirement
that "Open Controller Karaf Console On Background" is used
prior to any "Log Message To Controller Karaf"),
and without any changes to the rest of the KarafKeywords
because these are used in quite a number of other suites.
Merging this new code with the existing KarafKeywords codebase
is a long and involved work that is better left to another commit.

Additionally, this change updates the BGP Functional test
to use the new keywords. This serves as an example about how
to use these keywords and additionaly provides an additional
verification that the keywords are not broken because the
integration job will rerun the test which will fail,
exposing the breakage. This change prompted for creating yet
another resource (SetupUtils.robot) with keywords that are
used in the [Setup ...] and [Teardown ...] sections of the
suite/test. These are going to be used in further test suites
so it is better to create them now to avoid code duplication
(actually code triplication as there are 2 more tests being
created that need them).

Change-Id: I5df655b9532aeeee377d89e21743e74f1050498e
Signed-off-by: Jozef Behran <jbehran@cisco.com>
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidy up merged Robot files.

Change-Id: Iae3dd94ca027ae996fd15fa7985bafe700731451
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidied missing file.

Change-Id: I736ffa3b6f2200082f0b90c19c244a1be5194e62
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Corrections in data for GBP/GBPSFC demo

Strings which need to be replaced by IP address
of VM have '_' prepended. Prevention of overriding
the same string used in a different context.

Change-Id: Iac25f0ec3d44bce724fcbd2b3178090824942f51
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Tidying all .robot files

The tidying tool was run on all files in the "csit" directory
(actually, the convenience script was used and it turned out
only the "csit" directory contains any .robot files). The
massive amount of .robot file edits is the result of this
tool run.

I prefer to make these automatic changes to be done now so
running "tidy" on my new code does not produce any unwanted
noise.

Change-Id: Ifb86d097b1de96c3ebc78a78176bc0b424002df4
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add lispflowmapping performance tests

Add test to detect regressions in mapping resolution performance of the
Mapping Service when used through the LISP Southbound Plugin.

First, add a script (loosely based on Jan Medved's
flow_config_blaster.py) to create 10.000 simple IPv4-to-IPv4 mappings to
ODL through RPCs.

Second and a script to generate a .pcap file containing 10.000
Map-Requests for each of those mappings in a randomized order. The .pcap
file can then be replayed at arbitrary speeds.

Third, use `udpreplay` to send the prerecorded lookup requests in the
.pcap file at a rate of 100.000 packets/second for 1000 times for a
total of 100 seconds.

Finally, compute the reply rate by reading the Tx packet counter from
the southbound statisitics using RPC and dividing it by the number of
seconds the packet generater was active.

Change-Id: Ib4de1782aa32b7e010f22e12fbd04b2f53579fb1
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Tool for checking that .robot files went through robot.tidy

This adds a tool that traverses the specified directories and
either checks that all of the .robot files were passed
through the robot.tidy tool (when "check" is specified as the
command) or performs the "tidying" (when "tidy" is specified
as command). A convenience shell script is provided that
orders the tool to traverse the entire test project and check
(or tidy them if "tidy" argument is given to it) all .robot
files it finds whether they are tidy.

I built this tool in about 2 hours after I got bugged by "did
you run the test through 'tidy'" kinds of requests. When the
"check" version is wired to the validation jobs, this kind of
answers can now be obtained automatically.

Change-Id: I8540f14ba81b55394f2a3285130dea6e945d6649
Signed-off-by: Jozef Behran <jbehran@cisco.com>

JSON correction for EP h36_2 in GBP

Change-Id: I75543cd1f63f66c2fda118475e99663bd05c183d
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fix failing LISP tests due to implementation changes

When returning a mapping on the RESTCONF interface, the mapping service
crafted the same object as the one sent on the southbound, according to
the LISP protocol (which is a Map-Reply with no locator records, action
bit: forward native). However, getting a reply on the northbound with
HTTP code 200 when actually there is no mapping in the database is
confusing, and not what a NB user would expect. The behavior of the
mapping service was changed in Beryllium to return HTTP 404 when no
mapping is present.

This commit accounts for the above change, and additionally factors out
common variables and keywords into Variables.py and a new LISP resource
respectively.

Change-Id: Ia7c8fd2adb2408f2b1c17865bf5512307dc1e635
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Add CSIT test cases for VTN Coordinator functionality

     * Add Vlanmap robot test file and add fucntion vtncokeyword file.
     * Modify default keyword in Start Mininet custom topology function in Utils.robot.
     * Remove exclude tags in vtn_flowfilter.robot file

Change-Id: I8e9ec3407e187ea952b79fe8a2ac93aa13f45220
Signed-off-by: Poornachandrarao <poornachandrarao.b@hcl.com>

Fixed inconsistent line endings in text files

I found some .robot files with Microsoft-style line endings
which are removed by the "tidy" tool, creating unwanted
noise in the form of making it appear that every line was
changed.

To make sure this is not going to happen anymore a
.gitattributes file was added that declares the .robot files
and a large bunch of other files to be text and specifies
that the line endings shall be normalized using the "auto"
algorithm unless the user configures his Git differently.

Change-Id: I653c691759aad7baccea2e6d4266254a072cbfe1
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Modifications in JSONs for GBPSFC demo

Changes made for demo-gbp1

Change-Id: I140a26f69a733d7df0132a3381d8b58c276d7b71
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Consolidate openflow services tests

As per discusion in the integration list we will consolidate OF tests.

Once this is merged I will go ahead and remove the "more" test.

Change-Id: I263fd945e0b3c013adff8a4a7c23cadfafdb6a1a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

All config rests from gbpsfc-env demo added

Change-Id: I9f4e9f6aa38891f7107775e448bf494e06cc00c0
Signed-off-by: Vladimir Lavor <vladimir.lavor@pantheon.sk>

Added SXP robot tests

Change-Id: I1512f8cef75c2be1eb979b03382db0b3a287fe68
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Add vlanmap test cases for VTN Manager

    * Add lines in Util.robot to copy Topology file.
    * Add python script for vlan topology.
    * Add vlan functions in VTNMaKeywords.robot

Change-Id: I15b9139f65d458e12323807541b5e0453000525c
Signed-off-by: manimuthazhagan <manimuthazhagan.r@hcl.com>

Add testplan and suite for PCEP performance testing

The suite has configurable scale authentication and session handling,
but operations tested are limited to updating delegated LSPs
on simulated by pcc-mock.

This patch contains utility for rapid restconf calls
and library for hiding restconf authentication details.
Also, backport of collections.Counter is added to libraries/.

As scale target (1 PCC * 65535 LSPs) needs more memory,
scriptplan for using 6 GB Heap is added.

For more details, see Documentation in throughpcep/cases.robot

Change-Id: Id4fd440aae92eee9d343b83484f580cf61ba420d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Added BGP_PORT and BGP_TOOL_PORT

There are now multiple suites with hardwired ports for 1790 and
17900 for the ODL BGP port and BGP tool port respectively so now
it makes sense to put this into the Variables.py file.

Change-Id: Ib04c5aa07fe144799418545c5384cd6b48bb4276
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added missing line

Change-Id: I896b6c7cd743fc6f031d18b1277c9643e307556f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix ConfigViaRestconf sometimes causing suite failure

When Robot "has bad mood", it emits an ERROR: "Error in file
'some/path/csit/libraries/ConfigViaRestconf.robot': Setting
variable 'cvr_workspace' failed: Invalid variable name
'cvr_workspace'".

The problem is that the line with the variable in the
"Settings" section is missing the "${...}" syntactic sugar
around the "cvr_workspace" variable name. This sometimes
triggers a bug in Robot that causes this malformed line to
be accepted and sometimes (very unlikely) it does not
trigger that bug, causing the abovementioned error and a
test failure caused by the fact that the variable remained
uninitialized, rendering the ConfigViaRestconf resource
inoperational.

Change-Id: Ia1c5b30234da138e4113858543971541abaa38cf
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Basic directory structure for GBPSFC CSIT test

Contributors should update their work here.

Change-Id: Iee67f37a43552630314453c9ecd505b742979747
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>