New L2Switch suite to catch standing issues

Addressing Jamo's comments

Change-Id: Ida139aa9387e5c10b25ab912cfbc9d823d54b5cd
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Add cluster status monitor tool."

Merge "Suite basicpcep removed."

Merge "TSDR HBase and H2 DataStore Integrations Test suites and following review comments are addressed 1.Space on leading and trailing on script 2.Reusage KarafKeyword has been written 3.Utils.txt suiteSetup has been utilized 4.Seperated the Hbase Client installation to Controller.sh 5.Updated the Variable.py with common Karaf variables"

Merge "Adding a final suite teardown to scale tests"

Suite basicpcep removed.

Releng/builder jobs now use the new and improved pcepuser suite,
so the old basicpcep suite can be safely removed now.

The testplan and variables related to basicpcep are also removed.

Change-Id: Ia56d8b486e51df5e1a3b0a7d28505a56551cd634
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

new testplan to be able to compare ofp after redesign

Change-Id: I6d722d9e8f6319591b8d8ef9080746ce31c2a21f
Signed-off-by: Peter Gubka <pgubka@cisco.com>

TSDR HBase and H2 DataStore Integrations Test suites and following review comments are addressed 1.Space on leading and trailing on script 2.Reusage KarafKeyword has been written 3.Utils.txt suiteSetup has been utilized 4.Seperated the Hbase Client installation to Controller.sh 5.Updated the Variable.py with common Karaf variables

Change-Id: I43ff56601c8031cf09360375965915466b00fd53
Signed-off-by: vasanthan_balasubram <vasanthan_balasubram@dell.com>

Adding a final suite teardown to scale tests

this makes it easier to run manually when the test VMs are
not dynamic and clean to start with.

-  will do a sudo mn -c to let mininet try to clean itself
-  will look for any left over mn processes and kill them at the OS level

Change-Id: Ib7577d00cea199c60e0c8c178b6131b2d898cacb
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Making cbench suite more friendly for Lithium OFP

-  there is a deadlock issue in the controller that causes
   cbench to hang.  This ends up in the keyword timing out.
   I added logic to catch that case and log the results as
   zero.

-  Also, moved the latency case to run first as that doesn't
   seem to hit the deadlock and will allow us to start tracking
   those numbers.  Once the deadlock is hit, the controller is
   *dead* for these tests so having throughput first made the
   working latency test worthless

Change-Id: I8c604cf5f3308035dc6de8c1e6aae849aba411c4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Add cluster status monitor tool.

Change-Id: I46729dd780b041c5f1b5526866678d91038c20b1
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Merge "Reworked FlowConfigBlaster to be able to batch multiple flows in a single RESTCONF request. Batching yields 5-12x better performance than sending individual flows."

Reworked FlowConfigBlaster to be able to batch multiple flows in a single RESTCONF request. Batching yields 5-12x better performance than sending individual flows.

Change-Id: I14806d575581565533c65bb678a9930fcd995a40
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "need a testplan file for Li-redesign cbench test"

Merge "Adding first test case for snmp project, for snmp-get operation"

need a testplan file for Li-redesign cbench test

Change-Id: I46f0d6611eb7ce5cf14aedc5376f861df74f17e5
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Adding first test case for snmp project, for snmp-get operation

Change-Id: I2c7dd9035b26567b99559f9693b6918ba8ae0f9e
Signed-off-by: Vaishali Mithbaokar <vmithbao@cisco.com>

Merge "Move cluster-deployer to a shared clustering directory."

Move cluster-deployer to a shared clustering directory.

Change-Id: I4aeaef2bc07ba14272c96c55e4c8d0ab5018eeb9
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Merge "Test Suite for VPN Service"

Test Suite for VPN Service

Signed-off-by: Sindhuri <sindhuri.b@ericsson.com>
Change-Id: I8484a62565ebf785de72f591e87661fd838624ff

Adding link/port bounce test to basic openflow suite

Adding switch capabilities and IP check

Also fixing some of the robot warnings

Creating variables for switch vendor

Change-Id: Ib373e8b236e65af0f5018237ba9e40959840f230
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Added Put file to put scripts onto the mininet vm & also added sudo command to handle root access on init robot file. Rephrased the 010__lacp_inventory.robot file into a keyword format. Rest the prompt to > on variables.py file."

Merge "new statistic manager tests"

Added Put file to put scripts onto the mininet vm & also added sudo command to handle root access on init robot file. Rephrased the 010__lacp_inventory.robot file into a keyword format. Rest the prompt to > on variables.py file.

Change-Id: I012ede4017783fe98d6f16c8c018cf0744182f17
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

LACP Integration suites

Change-Id: I5b082027d9a4d34b2e027ee9b9cb8d2e4829f29e
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

Merge "Restoring CPqD based test cases"

Merge "Adding verify controller log to scalability test."

new statistic manager tests

The idea of these tests is that flows are spread over the switches and
their tables the way we want. Eighter we want to have corner cases (all
flows on one switch in one table) or we want to have flows spread over
switches and tables according some rules.

The library generates flow details (a list) which are then used for
(de)configuration and checking the operational inventory datastore.

Testplan is not created yet. I'll do it next week.

Change-Id: I9f0ffa6f05c22f2aa75fc2cc2120f0390086daa3
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Adding verify controller log to scalability test.

Fixing some libraries to use right default ${WORKSPACE} and ${BUNDLEFOLDER}.

(We are passing these variables with the pybot command anyway)

Change-Id: Idd2cbb493a51b67af340c5d69edc0ce27554d84b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Restoring CPqD based test cases

Kicking OpenFlow test...

Change-Id: Ia14209a9e22170c8e6fd7895834e27fed0f2bb53
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adjusting Scalability suite to not log too much to file

Change-Id: I8917afc2add16f1ed43e11b595bd752f3190eef2
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adjusting wait time in scalability test

Change-Id: I1435bbbf2f7b6eec0d19c46ba736269bdc3a813c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Scalability Test - To start Playing"

Merge "add timeout-ness to karaf console keyword"

Scalability Test - To start Playing

Change-Id: I87e1798abae93ee582032e2cc6a51107f16fdb07
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

add timeout-ness to karaf console keyword

Change-Id: I0808cfcd4625214aafa4c6207aa989cefedf1e44
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Suite for TCPMD5 added, suite for PCEP expanded."

Merge "Utility function to isolate and rejoin a controller in a cluster."

Suite for TCPMD5 added, suite for PCEP expanded.

The TCPMD5 suite covers entirety of
https://wiki.opendaylight.org/view/TCPMD5:Lithium_Feature_Tests#How_to_test

Notable library (Robot Resource file in fact) is introduced:
ConfigViaRestconf, which simplifies the task of overriding
config-subsystem state at runtime using restconf, at least for XML data.
Tcpmd5-specific config data is present in variables file.

Testplan is included, which in future would run
all suites needed for testing user-facing karaf features
of BGPCEP and TCPMD5 projects.

Also, clone of basicpcep is added, named pcepuser.
The reason is that the new name is more natural
for the new testplan contents, but we do not want to break
existing jobs using basicpcep suite right now.

+ Pcep variables file contains comments, helpful and structured.
+ Resource (library) for PCEP operations added.
+ The pcepuser suite now covers the entire
https://wiki.opendaylight.org/view/BGP_LS_PCEP:Lithium_Feature_Tests#How_to_test

+ pep8 compliant
+ applied: python -m robot.tidy --inplace
+ ${RESTCONFPORT} and ${NEXUSURL_PREFIX} used
- ConfigViaRestconf keywords for JSON data are not implemented at all
- Quality of tcpmd5 variables file is somewhat lacking

Change-Id: I94e77d2effef77f7bf8c23d4bc61f2ceeeb3a034
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

giving more flows to benchmark the rest api

adding 500 flows (100 fl x 5 threads) takes less than 3 seconds to
configure and 3 seconds is not enough to measure the real rate,
threfor i enlarged the mumber of flows to 10k (2k x 5 thr)

Change-Id: Iaf6e5d7cab62db0dfcb6347b4fffc50150f94d7e
Signed-off-by: Peter Gubka <pgubka@cisco.com>

cbench testplan modification based on the renaming of the robot files

Change-Id: I6304a1f3523c1ffbd54bc80db49a9142a2c4a26e
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Utility function to isolate and rejoin a controller in a cluster.

Change-Id: I8b5af8077b9ba433ed30f9383845bed45eed162f
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Changing Execute Command by Write/Read as the first does not work after karaf upgrade

Change-Id: Ic641ba2d9968c1430dd021962ef669a74b466b0a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Added karaf alias, greeting message and restored shell output (disabled pty)"

new openflow rest api perf suite

changes needed to integrate already present robot and script files with a new tesplan file
it basically implements https://trello.com/c/nHYXeOYa/94-performance-prepare-e2e-flow-push-test-using-jan-s-scripts

Change-Id: I57e4082bd5e65f6314a3397839b05f4f2d53dd80
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Changing extension from .txt to .robot

if the team agrees on this change, this patch should
cover it.

Change-Id: I6ad000fa54560f23321f22a20f8f089fb2819cd8
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

testplan for Lithium ofp redesign job

Change-Id: Ic372d54788f894e36082de1721a35afd895fe890
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Added Feature Test Template for Capwap project"

Added "Wait Until Keyword" instead of sleep

Change-Id: Ia1be8bcaee9ef8bf171e3e6aba2a000131affcf4
Signed-off-by: senthil <senthil-b@hcl.com>

Added karaf alias, greeting message and restored shell output (disabled pty)

Change-Id: Ib92d86ae2f9b972814b51fb29cf37a8662ba38dc
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Merge "Initial keyword to check if controller is Dead"

Merge "Add basic RESTconf test to repo"

Initial keyword to check if controller is Dead

Change-Id: I6e347dca33ce833bdc73a1e32fbb46fb558ebae4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Added Feature Test Template for Capwap project

Change-Id: I73703cf3e8375cae9a24cc088f15b5f6e254012d
Signed-off-by: Vaibhav Bhatnagar <vbhatnag@brocade.com>

Merge "Adding l2switch scalability"

Adding l2switch scalability

Change-Id: I331722e3face8acd2034efcb99b1a5088dd1e5da
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Testplan for cbench daily job

Change-Id: Ib1d48317d8f3acfeb6f9793717d24a6bf0b9b1c2
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Separating the scalability test

Change-Id: I375392e4b12a961da3cce2637316ae1c5cc3554b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add helper script to connect to Karaf shell

Change-Id: I170c85ea87fcdfe999c61759442bf17e24ad2775
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add basic RESTconf test to repo

Signed-off-by: Joseph Stewart <josstewa@cisco.com>

Merge "Fixing netconf test in master"

Merge "Refactored test tools Vagrant docs for clarity"

Merge "Add Robot Framework and RIDE to fedora VM tool"

Refactored test tools Vagrant docs for clarity

* Cleaned up Markdown syntax issues
* Moved pre-installed tools docs to top of doc, important
* Provided better summaries of installed tools
* Linked to resources for installed tools

Change-Id: If9aad45859ee07265b9bc9c82b88e5b356caa35e
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add Robot Framework and RIDE to fedora VM tool

Change-Id: I460f646839c3bd3948bce1a823a193135f3b005f
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Adding netconf test plan

Change-Id: I77b52420c4544da6105a8b592dc44522c233765e
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add lispflowmapping northbound API system tests

These system tests exercise the old AD-SAL based northbound API of LISP
Flow Mapping, by adding a key for a /24 EID prefix, adding a mapping for
that prefix, and then looking up a /32 EID within that prefix and
comparing the result to the expected value.

Change-Id: I1616dd24fbd964a45aa81343769d52130c85cae2
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Merge "Enable VTN Coordinator Integration Tests"

Enable VTN Coordinator Integration Tests

Change-Id: I2451d909f7730a095e3b74160d2a7c709aebad0b
Signed-off-by: senthil <senthil-b@hcl.com>

Merge "Next try for logging perf numbers correctly for jenkins plot plugin"

Next try for logging perf numbers correctly for jenkins plot plugin

Change-Id: If28f7945fada203af846040100cb2a8c4b55652f
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Cbench test enhancements"

Cbench test enhancements

-  logging average results to .csv file to hopefully use in jenkins plot plugin

-  SSHLibrary is now updated so "File Should Exist" keyword is now available

Change-Id: I4033f9ee58491b35160aff9292e12b3049ab79b4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Give tools VM dir a more clear name

Change-Id: I1a0450077d2ba6b7f3d0ac1a4f3ac41c2b406a26
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Add netopeer installation in fedora script"

Add netopeer installation in fedora script

Change-Id: I28666952aeb7b770782a15542d646c29c40b3515
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

sshpass not installed in LF VMs, but can use standard ssh connection anyway.

also added two lines to close connections in utils lib.

Change-Id: I5737f8a07a6ca08bf76653323c8c3b35415d70f2
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Fixing netconf test in master

Change-Id: Icfe82764c9b66954901a5645770080de4205e04b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

OpenFlow E2E Performance test for OpenDaylight

We was creating a test to run in Continuous Integration that uses
existing perf scripts to estimate the max flows/sec and stores
this value in a CSV file that can be later plotted by Jenkins

Change-Id: Ia54ed94467cbec386ed32e5b01373fccaec89bc5
Signed-off-by: Julia Pavlicova <jpavlico@cisco.com>

Testplan, suite, variables and support library for basic PCEP testing.

https://wiki.opendaylight.org/view/BGP_LS_PCEP:Lithium_Feature_Tests#PCEP
specifies odl-bgpcep-pcep-all as an user-facing feature.
By M4, an automated test (not necessarily complete)
should be running in CI.

This is the fourth version of suite for testing basic PCEP,
this version is finally ready for merge.

Changes (added and missing) against previous patch sets:
+ Use space-only separation, formatted by RIDE
- Still using .robot extension
+ Documentation and docstrings added everywhere
+ Setup steps compacted to one Suite Setup keyword
+ Suite Teardown added, various log gathering happens there
+ Non-critical tests now can fail on Read Until
+ Start_Pcc_Mock now does tee to a file, its contents goes to Log
+ HfsJson library added, for sorting and indenting JSON strings
+ ${MININET} substituted to place where PCC IP address should be
+ Base64 code for tunnel name is computed in the variable file
+ Long JSON data is in the variable file, in readable form
+ PEP 8 compliant
+ pylint output addressed (not all, pylint is wrong sometimes)
+ Python files now do contain license headers
- actually two sections, with slight incompatibilities between them
+ Robot file now contains a single license section, in suite documentation
- No tests for TCPMD5, they will be added as another Change

Example Sandbox run for this patch set:
https://jenkins.opendaylight.org/sandbox/job/bgpcep-csit-1node-imds-basicpcep-only-master/17/

After this change is merged, separate change will introduce
csit job to releng/builder, triggered by upstream distribution jobs.

After that is merged, another change will add this suite
to the list of suites to be run in integration-verify job.
Until then, integration-verify job is insensitive to this suite.

Change-Id: I24a8704c07780a2a97904284eb3f14de1dde50b3
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Merge "Can't use SSHLibrary.File Should Exist right now :("

Can't use SSHLibrary.File Should Exist right now :(

Change-Id: I1bd0bbc0582c3fb347555acb48276f72ed70a271
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Adding libnetconf and netopeer to fedora"

Merge "Fixing the verification, which was one less than actual create."

Merge "Added Perf Test Plan and droptest config from robot"

Added Perf Test Plan and droptest config from robot

Change-Id: I6c69a948e7e83921e5bb4c348a9a139d12337b33
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Fixing the verification, which was one less than actual create.

Change-Id: If4e70ce1c1480288d83d6136f5f1945dd7226925
Signed-off-by: Shaleen Saxena <ssaxena@brocade.com>

Adding libnetconf and netopeer to fedora

Change-Id: I8e39f9b94f1be47cb4053c79a28c872b05693266
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

fixing unrecognized robot key word

Change-Id: Ia0bcfc39a0ccb82387c65279f33e5fb605522dc3
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Cluster sanity test using openflow plugin"

Cbench automation for CI

--changes after local review.  better documentation, failure descriptions, etc

Change-Id: If3cb5cbf0e06270e326fb44c8c3a40f71e1a7473
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Use Fedora vs CentOS for tools VM, add Ubuntu cfg script"

Use Fedora vs CentOS for tools VM, add Ubuntu cfg script

Change-Id: If730d42fb2f798f94ad4df5ce1bf848277b3da70
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Cluster sanity test using openflow plugin

The test configures on each node 1 flow. Then it expects to see
these flows on all nodes in both datastores (config, operational).
Pep8 alligned.

Change-Id: Ic82358e43c53eefbb55eae913a13dfd1dfd0f7e9
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Moved vagrant inline scripts to external scripts inside a new script directory"

Moved vagrant inline scripts to external scripts inside a new script directory

Change-Id: Iff6471684f5d4a3e9eb91987ae7f0fa6318d0123
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Major update of tools VM README

* Add docs for installing dependences
* General refactoring for clarity
* General refactoring of README structure

Change-Id: Ia98a8593a39496f67a466cbbc8ffe447fa0ab746
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Merge "Install ODL in tools VM using Puppet provisioner"

Removed a space from between library HTTP GET parameters.
This was causing the Jolokia query to fail.

Change-Id: Ieffb9d759770e6917de8d5b4966cebb10b21f6ca
Signed-off-by: Phillip Shea <phillip.shea@hp.com>