Merge "Cleaning test repository - removing old tests"

Setting standard mininet timeout + fixing hosttracker suite

Change-Id: If984050884729bb07af29f8f5a9022a6cb542064
Signed-off-by: Luis Gomez <ecelgp@gmail.com>
(cherry picked from commit dc18172d676204c6b388355231a86092251e12c6)

Cleaning test repository - removing old tests

Change-Id: I59f5a1c8d17c3b45f280394eec964f39b250b76a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fixing mininet reads so that we always clear mininet

Change-Id: Ia782e0d7b9a1e896ebf5c6e2ca316d6f0541489a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Test Library documentation for Robot Keywords"

Merge "Fix issues with 140_recovery_restart_follower test"

Fix issues with 140_recovery_restart_follower test

When attempting to add a car with both followers down, we exect the read
to return 404 (Not Found) but it may get a 500 with
NoShardLeaderException. Need to check if != 200.

Change-Id: I39743b1d84cc85fa38a08dba2f9e98c71f6de8ba
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Changed the body of flows."

Changed the body of flows.

Change-Id: I6430eaff5c762b75def4e935f8cc6edf40186645
Signed-off-by: Arash Eghtesadi <aeghtesadi@inocybe.com>

Add resiliency to 3-node cluster tests

Refactored re-usable keywords into ClusterKeywords.txt

Added "Wait Until Keyword Succeeds" to various keywords for resiliency,
obviating the need for arbitrary sleeps.

Added "3-node-cluster" Tag to each test case

Change-Id: Ibef9942547ad85b8ee006b87c85acf8e7102d8c5
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Enhancements to 3-node cluster tests"

Test Library documentation for Robot Keywords

Change-Id: I3a2ec676c6a1870e8537f44d778293f799f6c546
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Enhancements to 3-node cluster tests

Modified the stopController method to wait until the controller karaf process
has stopped completed via the ps command. This eliminates the arbitrary wait
which can cause sporadic failures if the controller takes too long to shutdown.

Also added a stopAllControllers method that first executes /bin/stop on all
controllers in parallel and then waits for completion. This speeds it up.

Added additional checks in varous test cases, eg use a FOR loop to verify all
the expected entries in the output from a REST GET instead of checking for just
a couple entries.

I also eliminated some test case files and consolidated the steps so that all
the related steps for a particular test are in one test case file. I find this
makes the steps easier to understand/follow without having to go to other files
and figure out which test case files are stand-alone and which  may be related
to other files. This also eliminates redundant setup steps in each test case file.

As part of consolidation, I separated Car and People leader failover tests into
their own separate files. They basically run the same sequence of steps but on
their respective data model/shard. However they're not exactly redundant because
the People tests utilize an RPC.

Change-Id: I8be1d219fa07b2384b4d622db67af1bc4e0bebec
Signed-off-by: Shaleen Saxena <ssaxena@brocade.com>

Now that AAA tests are running first, they are failing because
operational/nodes is not built yet.  Before, it was getting built
up by eariler run tests using mininet.  This will use a suite
setup __init__.txt inside the AAA folder to start mininet first.

Change-Id: Ic9915792845695fefc5f05252760c2b6266ec7f7
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Changed sleep timer to give AAA more time for feature install to complete

Change-Id: Icb2ef84910bbeb835a7ad0b4cc886be5eced79b1
Signed-off-by: Mark Tassinari <markat@hp.com>

Merge "Added proper OVS-dump-flows.sh.13 Removed get-totals.sh"

Merge "Added the folder with scripts that show flow statistics summaries in a mininet with OVS switches."

Added proper OVS-dump-flows.sh.13
Removed get-totals.sh

Change-Id: Ib27b7b227c9fd293ff4a77e012c46263157fe38d
Signed-off-by: Jan Medved <jmedved@cisco.com>

Added the folder with scripts that show flow statistics summaries in a mininet with OVS switches.

Change-Id: I671c4e236faa74cbe4a94bf230b2f4249cfcb86b
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "- Updated multi-blaster.sh and shard_multi_test.sh to allow host and port command line arguments."

- Updated multi-blaster.sh and shard_multi_test.sh to allow host and port command line arguments.

- Updated shard_multi_test.sh to print help string and to measure the total rate.

Change-Id: I6ce4b5a6ad194bf7f28e3d04b2f4dc831a304814
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "GIT Reorganization - Create VTN suites"

GIT Reorganization - Create VTN suites

Change-Id: I43fb01cd6ae02821038a97a6079928606dc4e0d8
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "Replaced the multi-blaster skeleton with real functionality. multi-blaster functions are now driven from command line switches and arguments."

GIT restructure - Adding project folders and features

Change-Id: I71a881ba17efc63ec15e5e48d8ffda46165db9d2
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Replaced the multi-blaster skeleton with real functionality. multi-blaster functions are now driven from command line switches and arguments.

Change-Id: I2209a8bf86f3c26930a4f5a126356917ae0548e7
Signed-off-by: Jan Medved <jmedved@cisco.com>

Added shard performance tests (shard_perf_test.py and shard_multi_test.sh)
Cleaned up help text for inventory crawler

Change-Id: I6b5791155e082e6267ebaf9aa3555ccb59f32677
Signed-off-by: Jan Medved <jmedved@cisco.com>

Added a printout for the overall test execution time

Change-Id: I0aa19bf0749dde07ce7ececc3ae8fb4bc3cd21ff
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "adding missing example flows"

Merge "added output error message display by remote ssh execution"

Merge "BUG 2344 : Refactor Clustering integration tests"

adding missing example flows

source https://wiki.opendaylight.org/view/Editing_OpenDaylight_OpenFlow_Plugin:End_to_End_Flows:Example_Flows
especially mpls actions

Change-Id: I8257168dc190818451242fd1d8e0f80588c9f050
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "Updating Flow for IPv4 prefix"

Updating Flow for IPv4 prefix

Change-Id: Id3fe902d47f875fddbc8560696d9d444f2522bab
Signed-off-by: Christopher O'Shea <christopher.o.shea@ericsson.com>

Merge "Fix Netconf test to work with latest changes on Netconf connector"

New Test(s) for AAA (disable/enable authentication and verify)

Change-Id: I578765894222dba933509c2f4e946ef28a3d143c
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

added output error message display by remote ssh execution

- retriggered

Change-Id: Ied3dd6cf0bce60225c6d990a69adb3cfef6719ad
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Upgraded WCBench to v2.0

- Support for Helium 0.2.1
- Vagrantfile for trivial deployment
- Almost all GitHub Issues closed

Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

BUG 2344 : Refactor Clustering integration tests

Deploy the 3-node cluster using deploy script and then run the scripts like so

pybot -v MEMBER1:10.194.126.49 -v MEMBER2:10.194.126.50 -v MEMBER3:10.194.126.51 -v PORT:8181 -v USERNAME:root -v PASSWORD:cvg123 -v KARAF_HOME:/root/deploy/current/odl ./datastore
pybot -v MEMBER1:10.194.126.49 -v MEMBER2:10.194.126.50 -v MEMBER3:10.194.126.51 -v PORT:8181 -v USERNAME:root -v PASSWORD:cvg123 -v KARAF_HOME:/root/deploy/current/odl ./routedrpc

Change-Id: I4582a94ea22f40a9236de330ac80727b2d1d4094
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Increasing timers for this test after stats mgr improvements"

Fix Netconf test to work with latest changes on Netconf connector

Change-Id: I7c5b783e1529c0591cc38137b3e7f26ec75285bb
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

BUG 2344 : Add the multi-node-test template for clustering integration tests

The multi-node-test template installs all the odl-clustering-test-app and ensures
that the modules.conf and module-shards.conf is generated appropriately for testing
the app in a multi-node cluster

This patch is dependent on the following controller patch,

https://git.opendaylight.org/gerrit/#/c/12705/

Change-Id: I58b2938c3125068ef895733bcec8e26050190b39
Signed-off-by: Moiz Raja <moraja@cisco.com>

adding netopeer via REST

Change-Id: Iaac81b4e6702186b61254e3de2a49aeb569a3b0b
Signed-off-by: Ekta Khurana <e.khurana@gmail.com>

rebasing with master after switchPOC was merged

Change-Id: I14dcda2432abf8e8aed310c68b04ce5c9c8547e6
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Switch Abstraction POC."

BUG 2276 : Add a script to restart a cluster

Change-Id: I4fd10c2f9509d68df3dee2cdd62b8d83ccb8c432
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2274 : User odl-restconf-noauth feature by default

Change-Id: I90f7ace8ed004832fd70986f5a2cfc73175b0c17
Signed-off-by: Moiz Raja <moraja@cisco.com>

Increasing timers for this test after stats mgr improvements

Change-Id: I7920a24bd4e7aa57af269a691a88302b061b5fda
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "[Fix for Bug 2189] - OpenFlow Karaf features config file now references 0.2.0-Helium release instead of 0.2.0-SNAPSHOT - Changed Jolokia hot-deploy feature template format to:  - Install bundle automatically on deploy.  - Use proper namespaces to avoid warning during Karaf startup and loading. - Don't deploy Jolokia as featuresBoot since Karaf hot deployment is being used. - Extract ODL release version automatically from deploy.py script's distibution parameter."

[Fix for Bug 2189]
- OpenFlow Karaf features config file now references 0.2.0-Helium release instead of 0.2.0-SNAPSHOT
- Changed Jolokia hot-deploy feature template format to:
- Install bundle automatically on deploy.
- Use proper namespaces to avoid warning during Karaf startup and loading.
- Don't deploy Jolokia as featuresBoot since Karaf hot deployment is being used.
- Extract ODL release version automatically from deploy.py script's distibution parameter.

Change-Id: Id8fa19e11a0c04459ded6f7e5eac3868e74e8969
Signed-off-by: mark.mozolewski <mark.mozolewski@hp.com>

Switch Abstraction POC.

- switch user made dynamic and defaults to ${MININET_USER}
- added ssh_key functionality for switches that use ssh for mgmt_protocol
- moved switch classes to a subdir in libraries for tidiness
- made Ovs default and SWITCH_IP == ${MININET} so that no changes
  need to be made to jenkins job

Change-Id: Ie563250ffd0b52c7c038f22fefde49f09ace209b
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>
using @property for dynamic switch class attribute strings

moved some attributes to properties so that the values of the
properties could change dynamically as other class attributes
are changed (e.g. when you get a flow object you need to update
the controller_ip, and because of that a lot of the strings
(for configs, etc) need to be updated in real time)

Change-Id: I82cbafda72927a56b73d2196d9694d426e855b8c
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>
moved generic keywords to new SwitchUtils library

also:
-  ${SWITCH} and ${CONTROLLER_IP} need to be passed as cmdLine
   args regexp will now match verifications, so long strings
   can be condensed in object definition (if desired)

Change-Id: I87c7357c16cf971eb7c4ece0014dbb6228b309a6
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>
renamed file

Change-Id: Ibd114274a1c402cb40b9c3d0ce7cf4530f9b6aa2
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>
OpenFlow validation enhancements

Actions Suite ported to use new switch abstraction.

Change-Id: I2f1f735c73bdfd7a1b3e58a6a8647f8bfeabf586
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>
${switch} object needed for read, write, execute wrappers

Change-Id: I7dce87eca1c3040c65716fc5585b9a2eb724a86b
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "Fixed a bug where measured rate was not reported properly Added comments into flow_add_delete_test and inventory_crawler Updated README"

Fixed a bug where measured rate was not reported properly
Added comments into flow_add_delete_test and inventory_crawler
Updated README

Change-Id: Iaa90667ebd549d3ed8072cfce7fbb477455a2c96
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "test to configure 100k flows"

Merge "Removing unneeded files"

Merge "Disaster Recovery Scripts"

Merge "- Put duplicate code in flow_add_delete_test into a common function - Added support for Floodlight in config_cleanup"

Removing unneeded files

Change-Id: Iff39b52f5c3c604c40513d05f4b0be7368b8df3c
Signed-off-by: Jan Medved <jmedved@cisco.com>

- Put duplicate code in flow_add_delete_test into a common function
- Added support for Floodlight in config_cleanup

Change-Id: I6f7e07e05138d4cd44195f8c4d8385aad6fe64f5
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "Added FlowConfigBlaster 'Floodlight Edition' - flow config blaster that uses Floodlight's static flow pusher REST API to program flows."

Added FlowConfigBlaster 'Floodlight Edition' - flow config blaster that uses Floodlight's static flow pusher REST API to program flows.

Change-Id: I9572137ae12aa39d82859bd3742194bcb00669c5
Signed-off-by: Jan Medved <jmedved@cisco.com>

updating out_port and out_group to 0xffffffff (any)

- we had a problem with flow deletion, because the group
  was not present on the switch while deletion and
  error was returned and flow remained on the switch
- xml compare library opdated, because 0xffffffff is
  in operational represented as decimal, so be able to
  compare these two values

Change-Id: I3da7a403b2157f902f2c056ca3b88927d5e60ab6
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Merge "robot integration tests for router rpc in datastore clustering"

Merge "- Added capability to read flow templates from files"

Merge "Additional comments & spellcheck for the README file"

- Added capability to read flow templates from files

- Added 'measured rate', which computes the flow programming rate as
  total_flows / total-elapsed-time from threads start to finish

- Small reorg of the code to get it ready for Floodlight flow config blaster

- README updates

- Helptext updates.

Change-Id: I1a286c790a05f4654f097b3d94f7f929c2ca1b8c
Signed-off-by: Jan Medved <jmedved@cisco.com>

Additional comments & spellcheck for the README file

Change-Id: I47343143146aebafff769f3b244265747807f815
Signed-off-by: Jan Medved <jmedved@cisco.com>

Added the README file documenting the test suite

Change-Id: I2da2a79f3aa57f38872340155bd5fcc9e9443831
Signed-off-by: Jan Medved <jmedved@cisco.com>

Merge "New test cases for openflow add and update"

Adding Longevity Test for clustering data store

Usage example : pybot -v IP1:10.195.128.18 -v PORT:8181 -v IP2:10.195.128.35 -v IP3:10.195.128.19 -v DURATION:500 010__longevity.txt

Change-Id: I1d40e366bb59b14822dd6fa17a42146c700684ac
Signed-off-by: Harman Singh <harmasin@cisco.com>

Adding clustering failure test cases

Usage : pybot -v LEADER:10.195.128.18 -v PORT:8181 -v FOLLOWER1:10.195.128.35 -v FOLLOWER2:10.195.128.19 -v USERNAME:root -v PASSWORD:Ecp123 -v KARAFHOME:/root/Documents/dist 010_restconf_rpc_crud_test_09_execute_on_last_node.txt

Change-Id: I6e4c00c34cdc9cef74fae65d253656d04c1ce59d
Signed-off-by: Harman Singh <harmasin@cisco.com>

Disaster Recovery Scripts

Change-Id: Ifa766ae6b5e1e0d211e2ab3a9d7b2839ae501bd0
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 2067 : Utility to automate the deployment of a cluster"

test to configure 100k flows

no switch needed to be connected
it is and example of how to to run several threads in the background
comments expected for this solution
this test will be enlarged to 1M flows if concept acceptable
for 1M odl need to be run with -Xmx8196m

Change-Id: I6c6d5e24ec2be88513b744e46a103bc65246d735
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Updating OF10 actions to appropriate OF13 actions

Change-Id: I0ededed5faab61aa615e5fb283dcfc3c2e6f2195
Signed-off-by: Peter Gubka <pgubka@cisco.com>

Fix Return Codes with recent values

Change-Id: I3490c753d4e36965dd1cb7b93021fcda6cc31ca4
Signed-off-by: senthil <senthil-b@hcl.com>

Performance scripts modifications. Added 2 scripts, modified 2 scripts.

Change-Id: I32842be18c1334542b1b48a87a02db2309f1a67e
Signed-off-by: jmedved@cisco.com <jmedved@cisco.com>

Modifying stats manager tests for collection of flow details

Removing test cases which can be applicable only on cpqd switch
Adding update tests for sal operations

Change-Id: If07d844a8aa1474c24718fc0ff27a05c02ade300
Signed-off-by: Peter Gubka <pgubka@cisco.com>

VTN test fix. This works 100% in my laptop.

Change-Id: I5017733f9e58cc665eb9e3dd0fb14277ed96142a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Super patch to stabilize our suites

Change-Id: I181182355d8bf4ecf0f1921bc8ef99687cb7d0ff
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

BUG 2067 : Utility to automate the deployment of a cluster

First pass at automating the deployment of a cluster.

To deploy a cluster do the following,
- cd to the cluster-deployer directory
- ./deploy.py --distribution=<absolute_path_of_the_distribution_zip> --hosts=<comma_separated_list_of_hosts> --rootdir=<root_directory_on_remote_host> --clean

To get usage unformation on the script
- ./deploy.py -h

There are some pre-requisites for the script which are mentioned as documentation at the top of the script

Change-Id: I1429f28ff4c6e565d44bfb1567f821ae2fb8454e
Signed-off-by: Moiz Raja <moraja@cisco.com>

Increasing stats time + adding adsal tag to allow MD-SAL only test

Change-Id: I0f036b629084d3410bf602be6e4ec697fca444b1
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Merge "bug 1772 is now fixed and verified in RC2.  This test case can now be expected to function and PASS.  Enabling it for regression."

Merge "Adding test for hosttracker"

bug 1772 is now fixed and verified in RC2.  This test case can now be expected
to function and PASS.  Enabling it for regression.

Change-Id: I1e5c0e2c1056f159957da85d0e4b418efd366222
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

Merge "large rework to optimize test code. removed lots of sleeps in favor of "Wait Until Keyword Succeeds" (WUKS) calls moved common functionality in to higher level keywords in the new Utils.txt resource"

large rework to optimize test code.
removed lots of sleeps in favor of "Wait Until Keyword Succeeds" (WUKS) calls
moved common functionality in to higher level keywords in the new Utils.txt
resource

Change stats for performance from 30s to 60s

Change-Id: Iab144bfb46c9789bbb0d8a9bc2e27eb57082881e
Signed-off-by: Jamo Luhrsen <james.luhrsen@hp.com>

UtilLibrary now uses requests session instead of
direct post /get which seem to open active connections

Change-Id: I3261d78b8497f8b1a97f991866511254bbf07628
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Adding test for hosttracker

- Check to see if host are add to the topology
- Check that host are deleted once mininet is stopped
- Change the init script to have predefine mac with --mac
- Add test to check host are deleted.

Change-Id: I2c0fe00be1d99fa3905617ae3b92c57cb1d98445
Signed-off-by: Christopher O'Shea <christopher.o.shea@ericsson.com>

Merge "Adding new netconf test suite."

Adding new netconf test suite.

Signed-off-by: carolsand <carolsand@gmail.com>

robot integration tests for router rpc in datastore clustering

Change-Id: Idf2041a897bdf6727b65b29c790bdea67004c945
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

renamed the test cases file name to contain  proper
sequence number

updated test cases to utilize getLeader api

Change-Id: I34ba798382587290d83cb71160b1ed0725d406e4
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Increasing sleep after mininet to stabilize l2switch suite

Change-Id: I7762ba3df0eef7e54433e6c7860c451fb0cc4d3e
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Adding sleep to l2switch suite

Change-Id: Ic4d423a6235410782a820038f18c3d9eacee6d8d
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Added library to determine Shard Cluster Roles

patch 2: added getLeader and getFollowers API

Change-Id: Ie0acd69d83d0e7a37fd4ccfd0089029eb7722120
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

kill controller and clean journal command utilities

Change-Id: If3fb107f38899534595fd6b0911ee49c028ad9d2
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Initial isolation test integrated with robot framework Usage: pybot -v LEADER:<leader_ip> -v PORT:8080 -v FOLLOWER1:<flwr1_ip> -v FOLLOWER2:<flwr2_ip> ~/integration/test/csit/suites/clustering/datastore/basic/<testname.txt> Adding start/stop controller util methods"

Merge "Adding tests to check number of switches and links connected"

Adding tests to check number of switches and links connected

These tests are dependent on mininet depth and fanout variables

Change-Id: Ida6b37247fe634b11ecc618cd470428fdd4623dc
Signed-off-by: Peter Gubka <pgubka@cisco.com>