Fix W391 in tools/OF_Test/robot_suites/500__OF_Cluster_Sanity_OF

Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Change-Id: If9df79bf0ae1db0f6ce1ce8886f3e077b8f74206

bug fixing

before it's move to csit some revork will be needed

Change-Id: I6752a41894975199e15ce6a6a10ca4c33f27d6be
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Renaming the LACP testplan as lacp-lacp.txt

Change-Id: I68c95ccb1f28babc1f8e119c7d470bc93d31e9a2
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

basic stats collection scenario

it configures and deconfigure 16k flows, then again configure,
disconnect mininet, again connect and deconfigure flows. Between
each step the flows stats are checked

Change-Id: Id12994fd5695b788f21709cd4b2b8f2ec5c24951
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Changed the file 010__vpn.robot and added testplan

Signed-off-by: Sindhuri <sindhuri.b@ericsson.com>
Change-Id: If7baea44513e41efd4202d266d77079486e2f678

Test Suite to configure vpnservice,verify and delete

Change-Id: I9315186a50315217eba9d3e24b4240fd573ca53a
Signed-off-by: Sindhuri <sindhuri.b@ericsson.com>

renamed the old testplan file
Scale Test To Find Maximum Hosts
Added testplan for l2switch scale

Change-Id: Ib5bdc23d2e1023b44b0b8536efdd2a3e44b93cae

Signed-off-by: SANDEEP GANGADHARAN <SANDEEP.GANGADHARAN@HP.COM>

Add WUKS to suite setup

Change-Id: I266c4d47ed71fad72b7ef78e184d3321fedcb738
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Fixing iotdm bugzilla 3214:

https://bugs.opendaylight.org/show_bug.cgi?id=3214
"localhost" being used as server address should be ${CONTROLLER}

Change-Id: I446415de5ecfa60c882b961bfbdd71c3daf49f87
Signed-off-by: Joseph Stewart <josstewa@cisco.com>

Clarifying code and complying with standards.

Make code compliant with PEP8 as per ODL check-in rules.
Commit IoTDM tests.
Move libraries from robot test area to "libraries".
Changed tabs to spaced in robot test cases.
Removed commented-out code.

Change-Id: I9b22e3a999d8cf27413ec9ebd6b0f053acbd8783
Signed-off-by: Joseph Stewart <josstewa@cisco.com>

Scale Test To Find Maximum Hosts
Added testplan for l2switch scale
Change-Id: Ib5bdc23d2e1023b44b0b8536efdd2a3e44b93cae

Signed-off-by: SANDEEP GANGADHARAN <SANDEEP.GANGADHARAN@HP.COM>

Update the featureRepositories parameter in the multi-node-cluster template.
This updates the parameter to match versions in current snapshots.
Without this change, controllers will not form a cluster when deployed
with the cluster deployer script.

Change-Id: Idb600d63a450abdb4589a3872c1d17bfacbc72b5
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Test Plans seperation on TSDR  H2 and HBase datastore

Change-Id: I8b66fe12aea57e3ffcc55d7576a98f826abed639
Signed-off-by: vasanthan_balasubram <vasanthan_balasubram@dell.com>

Automation to track and catch bug 2429

adding Bug_Validation folder to flow-services testplan

Change-Id: I33393ffae19d789f3a2cdd91fc4d51e46556d860
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Fixing cleanup and setup

Change to switch initialization:
Making sure the interface is up after config by sending ifconfig up.
Otherwise If the interface had previously existed and brought down,
it never comes up and the  test case will fail.

Change to switch tear down:
Make sure to list down interfaces when deleting bridges, by using ifconfig -a modifier.
Otherwise if the interface is down (due to previous ifconfig down) the bridge is not deleted.

Also removing blank lines to pass tox test.

Change-Id: Ief23ca02d9f3bd0d14155642b517695ef23dcbe1
Signed-off-by: Jesus Arechiga <jesus.arechiga@gmail.com>

Tcpmd5user suite: Use pcc-mock in reconnecting mode

The initial specification for TCPMD5 user-facing feature
system tests states that pcc-mock should be used in reconnecting mode.

Pcc-mock already supports --reconnect command line argument,
and some of the previous failures can be attributed to the fact
that this argument was not used in initial check-in of tcpmd5user suite.

This change makes pcc-mock reconnecting in 1 second intervals.

Also, test for not seeing prompt is more narrow now.

Change-Id: I07c36d111908aa0f70a3741f11e897d310aaf59c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

testplan file for Li-Redesign daily switch scale test

Change-Id: I2b201f28dddc8103916a186dbae6483541394bc9
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

changes for parsing the new output format

these changes were triggered by https://git.opendaylight.org/gerrit/#/c/19494/

Change-Id: Iec3e1fb6775021c3b7cfa1b4a1a8bffbbaafb1eb
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Adding priority to flow mods in TTL suite

-  the reason for this patch is seen in the Flows_OF13/305__ttl.robot
suite.  BUT...

-  using the boyscout rule I've also tried to leave the campsite
a little bit cleaner by removing unneeded lines and using the global
${OPERATIONAL_NODES_API} variable

Change-Id: I66d84f91beba7e8889796dcc2b4a6a0e61f9634c
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Removing unused suites in AD_SAL_Apps_* folders

Change-Id: I22c7fd735a00148879a44f221cc37d3ff7f37c2f
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Add tools to isolate controllers.
Change-Id: I367c2a00a32d7a84d6468ee590322bc7512a4d15
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Adjusting netopeer test to work with any IP and user

Change-Id: I06f971708cc209893a9d17147554e12e32bf11aa
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

This will fix couple of adsal TCs

Change-Id: I71fc2874158313f298d9098d372be37bfbc2ff03
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Priority is required in flow config

-  The Lithium redesign is now correctly requiring that the
priority field be present in the flow being programmed.  The
fact that this was working with the Helium codebase is a bug
there.

-  This will fix 8 failures currently seen in Li-redesign
flow-services CI

-  This also fixes some WARN messages we get in the robot
logs by using the correct namespace "SSHLibrary" in the utils
library

Change-Id: Icaef7e2c225188ea2decf8a8b15587c6e6573e13
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Quick polling cycle needed to verify DPID is gone

-  looks like with the Lithium redesign it must be taking a
short time to remove the switch from the operational store
after the switch disconnects.  this will check every sec for
3s, at which point it will fail.

-  this fixes one failure we have in CI right now

Change-Id: Ied99db0a065caf2e0baf4b9ea98b387f76620029
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Adjusting Netconf connection timeout

Change-Id: I1d77b7f9aba16aea4c8586d8551a47709bfa34c0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

New L2Switch suite to catch standing issues

Addressing Jamo's comments

Change-Id: Ida139aa9387e5c10b25ab912cfbc9d823d54b5cd
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Add cluster status monitor tool."

Merge "Suite basicpcep removed."

Merge "TSDR HBase and H2 DataStore Integrations Test suites and following review comments are addressed 1.Space on leading and trailing on script 2.Reusage KarafKeyword has been written 3.Utils.txt suiteSetup has been utilized 4.Seperated the Hbase Client installation to Controller.sh 5.Updated the Variable.py with common Karaf variables"

Merge "Adding a final suite teardown to scale tests"

Suite basicpcep removed.

Releng/builder jobs now use the new and improved pcepuser suite,
so the old basicpcep suite can be safely removed now.

The testplan and variables related to basicpcep are also removed.

Change-Id: Ia56d8b486e51df5e1a3b0a7d28505a56551cd634
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

new testplan to be able to compare ofp after redesign

Change-Id: I6d722d9e8f6319591b8d8ef9080746ce31c2a21f
Signed-off-by: Peter Gubka <pgubka@cisco.com>

TSDR HBase and H2 DataStore Integrations Test suites and following review comments are addressed 1.Space on leading and trailing on script 2.Reusage KarafKeyword has been written 3.Utils.txt suiteSetup has been utilized 4.Seperated the Hbase Client installation to Controller.sh 5.Updated the Variable.py with common Karaf variables

Change-Id: I43ff56601c8031cf09360375965915466b00fd53
Signed-off-by: vasanthan_balasubram <vasanthan_balasubram@dell.com>

Adding a final suite teardown to scale tests

this makes it easier to run manually when the test VMs are
not dynamic and clean to start with.

-  will do a sudo mn -c to let mininet try to clean itself
-  will look for any left over mn processes and kill them at the OS level

Change-Id: Ib7577d00cea199c60e0c8c178b6131b2d898cacb
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Making cbench suite more friendly for Lithium OFP

-  there is a deadlock issue in the controller that causes
   cbench to hang.  This ends up in the keyword timing out.
   I added logic to catch that case and log the results as
   zero.

-  Also, moved the latency case to run first as that doesn't
   seem to hit the deadlock and will allow us to start tracking
   those numbers.  Once the deadlock is hit, the controller is
   *dead* for these tests so having throughput first made the
   working latency test worthless

Change-Id: I8c604cf5f3308035dc6de8c1e6aae849aba411c4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Add cluster status monitor tool.

Change-Id: I46729dd780b041c5f1b5526866678d91038c20b1
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Merge "Reworked FlowConfigBlaster to be able to batch multiple flows in a single RESTCONF request. Batching yields 5-12x better performance than sending individual flows."

Reworked FlowConfigBlaster to be able to batch multiple flows in a single RESTCONF request. Batching yields 5-12x better performance than sending individual flows.

Change-Id: I14806d575581565533c65bb678a9930fcd995a40
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "need a testplan file for Li-redesign cbench test"

Merge "Adding first test case for snmp project, for snmp-get operation"

need a testplan file for Li-redesign cbench test

Change-Id: I46f0d6611eb7ce5cf14aedc5376f861df74f17e5
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Adding first test case for snmp project, for snmp-get operation

Change-Id: I2c7dd9035b26567b99559f9693b6918ba8ae0f9e
Signed-off-by: Vaishali Mithbaokar <vmithbao@cisco.com>

Merge "Move cluster-deployer to a shared clustering directory."

Move cluster-deployer to a shared clustering directory.

Change-Id: I4aeaef2bc07ba14272c96c55e4c8d0ab5018eeb9
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Merge "Test Suite for VPN Service"

Test Suite for VPN Service

Signed-off-by: Sindhuri <sindhuri.b@ericsson.com>
Change-Id: I8484a62565ebf785de72f591e87661fd838624ff

Adding link/port bounce test to basic openflow suite

Adding switch capabilities and IP check

Also fixing some of the robot warnings

Creating variables for switch vendor

Change-Id: Ib373e8b236e65af0f5018237ba9e40959840f230
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Added Put file to put scripts onto the mininet vm & also added sudo command to handle root access on init robot file. Rephrased the 010__lacp_inventory.robot file into a keyword format. Rest the prompt to > on variables.py file."

Merge "new statistic manager tests"

Added Put file to put scripts onto the mininet vm & also added sudo command to handle root access on init robot file. Rephrased the 010__lacp_inventory.robot file into a keyword format. Rest the prompt to > on variables.py file.

Change-Id: I012ede4017783fe98d6f16c8c018cf0744182f17
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

LACP Integration suites

Change-Id: I5b082027d9a4d34b2e027ee9b9cb8d2e4829f29e
Signed-off-by: mahesh.manivasagam <mahesh_manivasagam@dell.com>

Merge "Restoring CPqD based test cases"

Merge "Adding verify controller log to scalability test."

new statistic manager tests

The idea of these tests is that flows are spread over the switches and
their tables the way we want. Eighter we want to have corner cases (all
flows on one switch in one table) or we want to have flows spread over
switches and tables according some rules.

The library generates flow details (a list) which are then used for
(de)configuration and checking the operational inventory datastore.

Testplan is not created yet. I'll do it next week.

Change-Id: I9f0ffa6f05c22f2aa75fc2cc2120f0390086daa3
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Adding verify controller log to scalability test.

Fixing some libraries to use right default ${WORKSPACE} and ${BUNDLEFOLDER}.

(We are passing these variables with the pybot command anyway)

Change-Id: Idd2cbb493a51b67af340c5d69edc0ce27554d84b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Restoring CPqD based test cases

Kicking OpenFlow test...

Change-Id: Ia14209a9e22170c8e6fd7895834e27fed0f2bb53
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adjusting Scalability suite to not log too much to file

Change-Id: I8917afc2add16f1ed43e11b595bd752f3190eef2
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adjusting wait time in scalability test

Change-Id: I1435bbbf2f7b6eec0d19c46ba736269bdc3a813c
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Scalability Test - To start Playing"

Merge "add timeout-ness to karaf console keyword"

Scalability Test - To start Playing

Change-Id: I87e1798abae93ee582032e2cc6a51107f16fdb07
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

add timeout-ness to karaf console keyword

Change-Id: I0808cfcd4625214aafa4c6207aa989cefedf1e44
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Suite for TCPMD5 added, suite for PCEP expanded."

Merge "Utility function to isolate and rejoin a controller in a cluster."

Suite for TCPMD5 added, suite for PCEP expanded.

The TCPMD5 suite covers entirety of
https://wiki.opendaylight.org/view/TCPMD5:Lithium_Feature_Tests#How_to_test

Notable library (Robot Resource file in fact) is introduced:
ConfigViaRestconf, which simplifies the task of overriding
config-subsystem state at runtime using restconf, at least for XML data.
Tcpmd5-specific config data is present in variables file.

Testplan is included, which in future would run
all suites needed for testing user-facing karaf features
of BGPCEP and TCPMD5 projects.

Also, clone of basicpcep is added, named pcepuser.
The reason is that the new name is more natural
for the new testplan contents, but we do not want to break
existing jobs using basicpcep suite right now.

+ Pcep variables file contains comments, helpful and structured.
+ Resource (library) for PCEP operations added.
+ The pcepuser suite now covers the entire
https://wiki.opendaylight.org/view/BGP_LS_PCEP:Lithium_Feature_Tests#How_to_test

+ pep8 compliant
+ applied: python -m robot.tidy --inplace
+ ${RESTCONFPORT} and ${NEXUSURL_PREFIX} used
- ConfigViaRestconf keywords for JSON data are not implemented at all
- Quality of tcpmd5 variables file is somewhat lacking

Change-Id: I94e77d2effef77f7bf8c23d4bc61f2ceeeb3a034
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

giving more flows to benchmark the rest api

adding 500 flows (100 fl x 5 threads) takes less than 3 seconds to
configure and 3 seconds is not enough to measure the real rate,
threfor i enlarged the mumber of flows to 10k (2k x 5 thr)

Change-Id: Iaf6e5d7cab62db0dfcb6347b4fffc50150f94d7e
Signed-off-by: Peter Gubka <pgubka@cisco.com>

cbench testplan modification based on the renaming of the robot files

Change-Id: I6304a1f3523c1ffbd54bc80db49a9142a2c4a26e
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Utility function to isolate and rejoin a controller in a cluster.

Change-Id: I8b5af8077b9ba433ed30f9383845bed45eed162f
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Changing Execute Command by Write/Read as the first does not work after karaf upgrade

Change-Id: Ic641ba2d9968c1430dd021962ef669a74b466b0a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Added karaf alias, greeting message and restored shell output (disabled pty)"

new openflow rest api perf suite

changes needed to integrate already present robot and script files with a new tesplan file
it basically implements https://trello.com/c/nHYXeOYa/94-performance-prepare-e2e-flow-push-test-using-jan-s-scripts

Change-Id: I57e4082bd5e65f6314a3397839b05f4f2d53dd80
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Changing extension from .txt to .robot

if the team agrees on this change, this patch should
cover it.

Change-Id: I6ad000fa54560f23321f22a20f8f089fb2819cd8
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

testplan for Lithium ofp redesign job

Change-Id: Ic372d54788f894e36082de1721a35afd895fe890
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Added Feature Test Template for Capwap project"

Added "Wait Until Keyword" instead of sleep

Change-Id: Ia1be8bcaee9ef8bf171e3e6aba2a000131affcf4
Signed-off-by: senthil <senthil-b@hcl.com>

Added karaf alias, greeting message and restored shell output (disabled pty)

Change-Id: Ib92d86ae2f9b972814b51fb29cf37a8662ba38dc
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Merge "Initial keyword to check if controller is Dead"

Merge "Add basic RESTconf test to repo"

Initial keyword to check if controller is Dead

Change-Id: I6e347dca33ce833bdc73a1e32fbb46fb558ebae4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Added Feature Test Template for Capwap project

Change-Id: I73703cf3e8375cae9a24cc088f15b5f6e254012d
Signed-off-by: Vaibhav Bhatnagar <vbhatnag@brocade.com>

Merge "Adding l2switch scalability"

Adding l2switch scalability

Change-Id: I331722e3face8acd2034efcb99b1a5088dd1e5da
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Testplan for cbench daily job

Change-Id: Ib1d48317d8f3acfeb6f9793717d24a6bf0b9b1c2
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Separating the scalability test

Change-Id: I375392e4b12a961da3cce2637316ae1c5cc3554b
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add helper script to connect to Karaf shell

Change-Id: I170c85ea87fcdfe999c61759442bf17e24ad2775
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add basic RESTconf test to repo

Signed-off-by: Joseph Stewart <josstewa@cisco.com>

Merge "Fixing netconf test in master"

Merge "Refactored test tools Vagrant docs for clarity"

Merge "Add Robot Framework and RIDE to fedora VM tool"

Refactored test tools Vagrant docs for clarity

* Cleaned up Markdown syntax issues
* Moved pre-installed tools docs to top of doc, important
* Provided better summaries of installed tools
* Linked to resources for installed tools

Change-Id: If9aad45859ee07265b9bc9c82b88e5b356caa35e
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add Robot Framework and RIDE to fedora VM tool

Change-Id: I460f646839c3bd3948bce1a823a193135f3b005f
Signed-off-by: Patrick Laurin <plaurin@inocybe.com>

Adding netconf test plan

Change-Id: I77b52420c4544da6105a8b592dc44522c233765e
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add lispflowmapping northbound API system tests

These system tests exercise the old AD-SAL based northbound API of LISP
Flow Mapping, by adding a key for a /24 EID prefix, adding a mapping for
that prefix, and then looking up a /32 EID within that prefix and
comparing the result to the expected value.

Change-Id: I1616dd24fbd964a45aa81343769d52130c85cae2
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Merge "Enable VTN Coordinator Integration Tests"

Enable VTN Coordinator Integration Tests

Change-Id: I2451d909f7730a095e3b74160d2a7c709aebad0b
Signed-off-by: senthil <senthil-b@hcl.com>

Merge "Next try for logging perf numbers correctly for jenkins plot plugin"

Next try for logging perf numbers correctly for jenkins plot plugin

Change-Id: If28f7945fada203af846040100cb2a8c4b55652f
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Cbench test enhancements"

Cbench test enhancements

-  logging average results to .csv file to hopefully use in jenkins plot plugin

-  SSHLibrary is now updated so "File Should Exist" keyword is now available

Change-Id: I4033f9ee58491b35160aff9292e12b3049ab79b4
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>