iterating on patch 28386

-  could not ammend patch set 28386 because it was depending on several
   other unrelated and unmerged patches.  this modification can stand on
   it's own and does not need to depend on other new changes.

Change-Id: I9dcfbf5b5df739ddac7d11cb7bd0f290e8fb4c52
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Tidy new tests

Change-Id: I8e27097336581debd0c272e770f7167ffc79cbf5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix lisp performance tests

Change-Id: I9ec23be10de8ed211ddf5ef53324d68bf8735610
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

fixing false failure

-  looks like the suite is running fast enough to catch a few
   hundred connections still open before they are closed.  There
   is no thread leak after all, and forcing those connections
   closed with pkill seems to address it.

-  This test will fail with Helium SR2 as it should because the
   bug exists there.  It will pass with Lithium SR2 as the bug
   is not there.

Change-Id: I4b321c692354d5a9213be61979706049f5e39b9a
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Testing Data Flows of VTN Manager in CSIT.

    * Add new robot files to test portmapping data flow functionality
    * Add new robot files to test vlanmapping data flow functionality

Change-Id: I958eba37c41cb79f0e3f583b1221e7badd57dd6d
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Tidy new .robot files

Version used: Robot Framework 2.9 (Python 2.7.9 on linux2)
This also reverts changes caused by tidy from earlier Robot version.

Change-Id: I8e95e2968f993809e87c4779fad71c0512ec0286
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Add LISP performance test plan

Change-Id: I4ca3a615815dcc8e84a2dde7233d1bc30aacb65e
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

PathMap and PathPolicy VTN Manager Sandbox testing.

    * Add new files mininet topology and pathpolicy test cases

Change-Id: I7a6ea77645b9414fe95a582209925272616714c8
Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>

Refactor cluster car-people test to reduce test time in case of failure

Reorganize and clean up cluster keywords.
Introduce START_TIMEOUT and STOP_TIMEOUT variables for instance restart.
Use cars to determine whether application is up.
Remove unnecessary waits.
Add test case documentation.
Change test cases name to standard.

Change-Id: I819cb86c604338b7452f4378ecde82d24cde6c16
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add Netconf server ready test to netconf suite

Change-Id: Ifee19d89c8212573d309f27bf75f514c8feeaa70
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fixed Timeout and Syntax issues with NIC Command Tests

Change-Id: I7c3babbd96e95c76f6a868ad4e516f1217cec5d0
Signed-off-by: Alton Fong <alton.fong@hp.com>

Moved the karaf logging keywords to KarafKeywords

This change defines API-like keywords to be used in suites.
Actual implementation may change in subsequent changes.

Original idea an main implementation by: Jozef Behran
Finishing touches by: Vratko Polak.

The keywords are moved with as little modifications as possible
(added code to preserve the active SSH connection across
these calls, renamed "Connect To Controller Karaf" to "Open
Controller Karaf Console On Background" and added requirement
that "Open Controller Karaf Console On Background" is used
prior to any "Log Message To Controller Karaf"),
and without any changes to the rest of the KarafKeywords
because these are used in quite a number of other suites.
Merging this new code with the existing KarafKeywords codebase
is a long and involved work that is better left to another commit.

Additionally, this change updates the BGP Functional test
to use the new keywords. This serves as an example about how
to use these keywords and additionaly provides an additional
verification that the keywords are not broken because the
integration job will rerun the test which will fail,
exposing the breakage. This change prompted for creating yet
another resource (SetupUtils.robot) with keywords that are
used in the [Setup ...] and [Teardown ...] sections of the
suite/test. These are going to be used in further test suites
so it is better to create them now to avoid code duplication
(actually code triplication as there are 2 more tests being
created that need them).

Change-Id: I5df655b9532aeeee377d89e21743e74f1050498e
Signed-off-by: Jozef Behran <jbehran@cisco.com>
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidy up merged Robot files.

Change-Id: Iae3dd94ca027ae996fd15fa7985bafe700731451
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Tidied missing file.

Change-Id: I736ffa3b6f2200082f0b90c19c244a1be5194e62
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Corrections in data for GBP/GBPSFC demo

Strings which need to be replaced by IP address
of VM have '_' prepended. Prevention of overriding
the same string used in a different context.

Change-Id: Iac25f0ec3d44bce724fcbd2b3178090824942f51
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Tidying all .robot files

The tidying tool was run on all files in the "csit" directory
(actually, the convenience script was used and it turned out
only the "csit" directory contains any .robot files). The
massive amount of .robot file edits is the result of this
tool run.

I prefer to make these automatic changes to be done now so
running "tidy" on my new code does not produce any unwanted
noise.

Change-Id: Ifb86d097b1de96c3ebc78a78176bc0b424002df4
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add lispflowmapping performance tests

Add test to detect regressions in mapping resolution performance of the
Mapping Service when used through the LISP Southbound Plugin.

First, add a script (loosely based on Jan Medved's
flow_config_blaster.py) to create 10.000 simple IPv4-to-IPv4 mappings to
ODL through RPCs.

Second and a script to generate a .pcap file containing 10.000
Map-Requests for each of those mappings in a randomized order. The .pcap
file can then be replayed at arbitrary speeds.

Third, use `udpreplay` to send the prerecorded lookup requests in the
.pcap file at a rate of 100.000 packets/second for 1000 times for a
total of 100 seconds.

Finally, compute the reply rate by reading the Tx packet counter from
the southbound statisitics using RPC and dividing it by the number of
seconds the packet generater was active.

Change-Id: Ib4de1782aa32b7e010f22e12fbd04b2f53579fb1
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Tool for checking that .robot files went through robot.tidy

This adds a tool that traverses the specified directories and
either checks that all of the .robot files were passed
through the robot.tidy tool (when "check" is specified as the
command) or performs the "tidying" (when "tidy" is specified
as command). A convenience shell script is provided that
orders the tool to traverse the entire test project and check
(or tidy them if "tidy" argument is given to it) all .robot
files it finds whether they are tidy.

I built this tool in about 2 hours after I got bugged by "did
you run the test through 'tidy'" kinds of requests. When the
"check" version is wired to the validation jobs, this kind of
answers can now be obtained automatically.

Change-Id: I8540f14ba81b55394f2a3285130dea6e945d6649
Signed-off-by: Jozef Behran <jbehran@cisco.com>

JSON correction for EP h36_2 in GBP

Change-Id: I75543cd1f63f66c2fda118475e99663bd05c183d
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Fix failing LISP tests due to implementation changes

When returning a mapping on the RESTCONF interface, the mapping service
crafted the same object as the one sent on the southbound, according to
the LISP protocol (which is a Map-Reply with no locator records, action
bit: forward native). However, getting a reply on the northbound with
HTTP code 200 when actually there is no mapping in the database is
confusing, and not what a NB user would expect. The behavior of the
mapping service was changed in Beryllium to return HTTP 404 when no
mapping is present.

This commit accounts for the above change, and additionally factors out
common variables and keywords into Variables.py and a new LISP resource
respectively.

Change-Id: Ia7c8fd2adb2408f2b1c17865bf5512307dc1e635
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Add CSIT test cases for VTN Coordinator functionality

     * Add Vlanmap robot test file and add fucntion vtncokeyword file.
     * Modify default keyword in Start Mininet custom topology function in Utils.robot.
     * Remove exclude tags in vtn_flowfilter.robot file

Change-Id: I8e9ec3407e187ea952b79fe8a2ac93aa13f45220
Signed-off-by: Poornachandrarao <poornachandrarao.b@hcl.com>

Fixed inconsistent line endings in text files

I found some .robot files with Microsoft-style line endings
which are removed by the "tidy" tool, creating unwanted
noise in the form of making it appear that every line was
changed.

To make sure this is not going to happen anymore a
.gitattributes file was added that declares the .robot files
and a large bunch of other files to be text and specifies
that the line endings shall be normalized using the "auto"
algorithm unless the user configures his Git differently.

Change-Id: I653c691759aad7baccea2e6d4266254a072cbfe1
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Modifications in JSONs for GBPSFC demo

Changes made for demo-gbp1

Change-Id: I140a26f69a733d7df0132a3381d8b58c276d7b71
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Consolidate openflow services tests

As per discusion in the integration list we will consolidate OF tests.

Once this is merged I will go ahead and remove the "more" test.

Change-Id: I263fd945e0b3c013adff8a4a7c23cadfafdb6a1a
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

All config rests from gbpsfc-env demo added

Change-Id: I9f4e9f6aa38891f7107775e448bf494e06cc00c0
Signed-off-by: Vladimir Lavor <vladimir.lavor@pantheon.sk>

Added SXP robot tests

Change-Id: I1512f8cef75c2be1eb979b03382db0b3a287fe68
Signed-off-by: Martin Mihálek <mamihale@cisco.com>

Add vlanmap test cases for VTN Manager

    * Add lines in Util.robot to copy Topology file.
    * Add python script for vlan topology.
    * Add vlan functions in VTNMaKeywords.robot

Change-Id: I15b9139f65d458e12323807541b5e0453000525c
Signed-off-by: manimuthazhagan <manimuthazhagan.r@hcl.com>

Add testplan and suite for PCEP performance testing

The suite has configurable scale authentication and session handling,
but operations tested are limited to updating delegated LSPs
on simulated by pcc-mock.

This patch contains utility for rapid restconf calls
and library for hiding restconf authentication details.
Also, backport of collections.Counter is added to libraries/.

As scale target (1 PCC * 65535 LSPs) needs more memory,
scriptplan for using 6 GB Heap is added.

For more details, see Documentation in throughpcep/cases.robot

Change-Id: Id4fd440aae92eee9d343b83484f580cf61ba420d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Added BGP_PORT and BGP_TOOL_PORT

There are now multiple suites with hardwired ports for 1790 and
17900 for the ODL BGP port and BGP tool port respectively so now
it makes sense to put this into the Variables.py file.

Change-Id: Ib04c5aa07fe144799418545c5384cd6b48bb4276
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Added missing line

Change-Id: I896b6c7cd743fc6f031d18b1277c9643e307556f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fix ConfigViaRestconf sometimes causing suite failure

When Robot "has bad mood", it emits an ERROR: "Error in file
'some/path/csit/libraries/ConfigViaRestconf.robot': Setting
variable 'cvr_workspace' failed: Invalid variable name
'cvr_workspace'".

The problem is that the line with the variable in the
"Settings" section is missing the "${...}" syntactic sugar
around the "cvr_workspace" variable name. This sometimes
triggers a bug in Robot that causes this malformed line to
be accepted and sometimes (very unlikely) it does not
trigger that bug, causing the abovementioned error and a
test failure caused by the fact that the variable remained
uninitialized, rendering the ConfigViaRestconf resource
inoperational.

Change-Id: Ia1c5b30234da138e4113858543971541abaa38cf
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Basic directory structure for GBPSFC CSIT test

Contributors should update their work here.

Change-Id: Iee67f37a43552630314453c9ecd505b742979747
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Adjust Max switches suites timeout so we are sure this is not an issue

Change-Id: I6456d33f483894b7e7b598fc75770b1c692b9739
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Fix flow templates so that they all have different cookie

If cookies are used to update flows, these have to be all different

This will fix some false failures in current openflow "more" suite

Change-Id: I4a03962cf66f316d64332afbf353ed1528070ee7
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add robot test files for Flowfilter related keytypes

    * Add file VTN Flowfiletr with action type pass
    * Add file VBR and VBRIF Flowfilter with action types pass and drop.

Change-Id: Ib4babe3139e8236a36c8e9231acfca2c4700c306
Signed-off-by: Poornachandrarao <poornachandrarao.b@hcl.com>

Adjust group and meter test for Li redesign plugin

Li redesign API is slightly different reporting group & meters stats
It does not use group-desc or meter-config-stats sections

Change-Id: I805f8653c793cf2b47331f41e6f9a6a24b316756
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Library for handling BGP speaker tool

Currently it contains keywords for starting the BGP speaker
tool and for killing it. The code captures the output of
this tool and emits it to the Robot logs after the kill.
Additionally the BGP functional suite was updated to use
this new library.

Change-Id: I189a0c8adf6087e63537b7066e98e76338ee0958
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Repair typo in testplan

Change-Id: I8fd8cc514230fb75224cdf1a5a6221b598f2b1e0
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Netconf readiness test suite

It tries to get the list of modules. If that fails, a minute
is given to netconf to become ready.

Change-Id: Idff6cae00e652469c7ade68ebfe2a61d8c41d790
Signed-off-by: Jozef Behran <jbehran@cisco.com>

basic test for topoprocessing project

Change-Id: I0e97f28e3f3fe28cde62fb151e646948205ba832
Signed-off-by: Matej Perina <matej.perina@pantheon.sk>

Add audit test cases to verify VTN coordinator functionality

    * Enable exclude tags in audit test cases.
    * Modify VBRIF function in VtnCoKeywords file
    * Change waiting audit to down state in audit test files to check controller status.

Change-Id: I8aa98b0b5f76edf4da17f2bee38546a69c1365ac
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Bug 4267: Fix Tcpmd5user suite

Bug 3753 was causing failures that can be avoided by
making changes described at Bug 4267.
The tcpmd5user suite was changes to both detect Bug 3753 symptom
and apply the workaround so that testing can proceed.

This required changes to ConfigViaRestconf library:
+ Added GET methods, useful for checking the configuration change was applied.
+ Added support for JSON data.
+ Including normalization provided by HsfJson library.
+ Deviations are now Logged as diff.
+ Configurable workspace to store files being diffed.
+ All this in Verify_* keywords.
+ Added "Readme" text to library documentation.

Change-Id: I52edd0503620f2459ff829dc786bfe208d9242b7
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Update Exploratory cfg Template

In support of test development and triage for various types of
clustering tests, the config template  will now include
odl-l2switch-switch-all, odl-mdsal-apidocs, odl-dlux-all,
and odl-clustering-test-app.

Change-Id: I09f4d5ea31ee4f0f998c6859df2ee0989c5293de
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Add MD-SAL benchmarking scripts to tools directory

Jan Medved has created several benchmarking utilities for Coretutorials.
But Coretutorial project is not part of Beryllium.

The natural place for the python scripts is in tools,
as they are standalone, do not depend on anything,
and can be started from a machine remote to ODL.

Java part of benchmarking applications will be hosted elsewhere.

Change-Id: Ib872765c0608bba2296f27c4515417d8f01492be
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fixing broken test case.

This test case appears to have been broken since mid-August.  the
part that was broken was one line in Utils.robot

Also added specific users to the test case keywords for logging in
to the controller, as the default MININET_USER is not right in my
system (although it accidentally will work in CI).

Change-Id: Ied23da0e2caeafce7975d194dc61700cfb6d2250
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Added missing "<LibName>." qualifiers

Change-Id: Ic1d16c63c067eb7bfd0174f9fdda6d2dcc73d05f
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Merge "Move 'Create Dictionary' calls from tab format to '=' format"

Controller karaf logging does not properly work

The controller karaf logging does not properly wait for the
command to complete once entered for the first few commands.
The problem is that the prompt contains only ">" but that
character occurs in many more places than just in the prompt.
Fixed by adding prompt in controller karaf, including the
escape sequences.

Change-Id: I8f5a60b7a32f8cb7f5dedee867241ecb41b3777b
Signed-off-by: Jozef Behran <jbehran@cisco.com>

removing clustering-test-app tool from integration/test repo

this tool exists in the controller project where it is built
and maintained

Change-Id: I5977533d60cab7b3d266e66c62988a8f30b7aa6f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Merge "Add Cluster SyncStatus Keywords to Library."

Add Cluster SyncStatus Keywords to Library.

There have been some test failures when REST calls to the datastore are performed immediatedly after
a downed controller was brought back up. The test currently waits until the clustering-it-provider
is reported as being present by the rest call:
/restconf/config/opendaylight-inventory:nodes/node/controller-config/yang-ext:mount/config:modules.
When this point it reached, the controllers may still be in the process of electing a new leader and
may not be ready for REST calls to the datastore. The addition of this keyword to the library will add
the ability to verify that the cluster is absolutely up.

Change-Id: I26bb3490b4c08bdb5c18b3238c57ae86ca6638a5
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Move 'Create Dictionary' calls from tab format to '=' format

Create Dictionary tab format is deprecated and fixing will remove
a lot of cumbersome log warnings

Change-Id: I9fea967b42c4a75e2d08f7a3b0d2b450d3772545
Signed-off-by: Marcus G K Williams <Marcus.G.Williams@gmail.com>

Deprecate REST functions in RequestsLibrary.py

Robot RequestsLibary should be used instead.

Change-Id: I3a55ebc6d363ff2afbfeb01276f5cf8f9ae949f7
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Deprecate REST functions in UtilLibrary.py

Robot RequestsLibary should be used instead.

Change-Id: If6af408e1095a088c3137c291011186c81bf3b4e
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Add variable for timeout of controller stop

This change will expose the max timeout used to stop a controller.
The value is not being changed, it just allows robot to override
the default via the "-v" parameter. Example:

pybot -v CONTROLLER_STOP_TIMEOUT:240

Change-Id: Ica23742006d4eaef5319b4faed29d9ed20866387
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Step 2: Move test folder to root

Change-Id: I26bbe73fe106247b32ca237546436e92d34cf114
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Step 1: Move vm scripts to the right place

Change-Id: I71289bcda9a623e62fe4846408ad3da8f3603227
Signed-off-by: Luis Gomez <ecelgp@gmail.com>

Add .gitreview for integration/test

Add a .gitreview file for the integration/test project after the split
from the base integration

Change-Id: I2f7c9e2ca7d3c082d4985a0a61b74ec40155767c
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Add robot test files for VTN Coordinator features

     * Rename all robot test files with vtn features name
     * Modify test cases to reduce delay time of controller
     * Add Tags in some test cases to disable them
     * Fix error in VtnCoKeywords library file
     * Implemented the alternative solution discussed in Bug 4008

Change-Id: Ibd9dd634a2c9cd7880014966a8c8d62b5522a9bd
Signed-off-by: Karthik.S <siva-karthik@hcl.com>

Keyword to log messages to controller's karaf log

The keyword "Log Message To Controller Karaf" sends the
specified text to the Karaf log. It makes initialization
on its first call so no special initialization is necessary
and it does not drain any resources from suites that don't
use it. This keyword is not "cluster friendly" as it always
sends the message to the controller which is specified using
the "CONTROLLER" Robot variable.

Change-Id: I07417c242b5ad0e8fea2ee9910d2b44764a02ade
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Modifying "Find Max Links" keyword to gracefully exit if failure (timeout) occurs around mininet

Change-Id: Ib5eecbab374961130df8c22d66faa6e341ad6cf2
Signed-off-by: Kailash Khalasi <kkhalasi@iix.net>

Updated ADSAL Test references to "Library RequestsLibrary"

This will move references libraries/RequestsLibrary.py to "RequestsLibrary" of
openflowplugin/AD_SAL_NSF_10
openflowplugin/AD_SAL_NSF_13

Change-Id: I9569764573ef03330c55ef168027b861440649d6
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Added Tests For Flowfilter With Attributes.

   + Create flowfilters on vbridge interfaces
   + Various actions on flow filters added
   + Flows installed by VTN for various options are verified
   + Create flowfilters on Vtn and Vbridge
   + Added Macmap.

Signed-off-by: priya.ramasubbu <priya.ramasubbu@hcl.com>
Change-Id: Idbf2a6da1d62d3be9de24bb1e30367dbcbf0c0e8

Full and Generic Datastore CRUD Library

Implements generic Create, Read, Update and Delete keywords to be
used on any controller datastore.
A cars and people library was started such that modular CRUD tests
can be written for those shards.
The Config and Operational API  variables in Variables.py were modified
to remove a trailing '/' which was causing REST failures.

Change-Id: I732b03a7449d2b0a4d6bb1b57f5e8e8b19c87644
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Modifying openflow switch scale test to gracefully handle failures (mininet timeouts)

Change-Id: Ida1e98573a82bf076c3e77c345f840d31f09b562
Signed-off-by: Kailash Khalasi <kkhalasi@iix.net>

Added a check to verify controller has no Null Pointer Exceptions

Change-Id: I0c529b3a23ecb098a03fb778749c9720faef3e15
Signed-off-by: Nitika Agarwal <nitikaagarwal18@gmail.com>

Add support for HOLDTIME=0

When HOLDTIME=0, no KEEPALIVE messages will be sent and no
keepalive checking will be done. See RFC 4271, section 4.4.

Additionally a timing bug was exposed by this change and thus
fixed.

Change-Id: Icab0ef46207638c0072cc77a9b3bafe71b31c8eb
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Make hold time configurable via Robot variable

The default value for hold time is 180 seconds. If that is
not desired, another value can be passed via the ROBOT
variable HOLDTIME.

Change-Id: I21ee13d4a7810936a5de7b7f0b5d56ec904fa1fe
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Updated Test references to "Library RequestsLibrary"

This will move references libraries/RequestsLibrary.py to "RequestsLibrary" of
suites/openflowplugin
libraries/AAAKeywords.robot
libraries/FlowLib.robot
libraries/PcepOperations.robot
except ADSAL Testsuites.

Change-Id: Ibe0b823d13c679b057503c2d0cb7cc207bdca9fa
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

lispflowmapping: update RPC URL

The URL for lispflowmapping RPCs changes in Beryllium, this commit
updates the system tests accordingly.

Change-Id: Id00478646bbbffcddcf8817bc6a49bccc444eb63
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Fixed failure due to a too sensitive command

There is a command in the "Verify Keyword Does Not Fail
Within Timeout" keyword which tried to catch the "timeout
failure" error but the problem is that the "timeout failure"
error looks different on different versions of Robot
Framework. The result is that the test fails on any Robot
Framework version except the one that it was debugged on.
The fix simply reduces the sensitivity of the command to
"any error is ok with me".

Change-Id: I4ecd7b5f7c2ea7bc070313dc69b3a7c7d3f96908
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Switched to "Get|Put|Delete" from "[Get|Put|Delete]_Request"

The "Get_Request" command has a different format and the
format differs with different versions of Robot Framework.
The "Get" is deprecated but is the same across different
Robot Framework versions so to fix the problem the test was
switched to use "Get". The same is true for "Put_Request"
versus "Put" and "Delete_Request" versus "Delete".

Change-Id: I0e28024e3384212db79520296ace3dd7a3dc95e9
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Fixed SSH login not working

SSHLibrary.Login_With_Public_Key requires the SSH on the
machine where Robot is running not doing key verification and
asking questions of type "Host A.B.C.D was not seen before,
are you sure you want to connect to it?".

This fix uses the newly added "flexible login" keyword which
uses either password if it gets one or public key
authentication if no password provided. This allowed to
bypass these problems with public key authentication by
simply providing a password.

Change-Id: I6c9987ba2871274b4fad75ba56dcadd9623239d5
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Updated the MessageError to produce less confusing messages

The first change is that there is a colon between the text of
the error message and the message hexdump and the second
change is that when the message is empty, then string "(empty
message)" is placed there instead of an empty string. These
changes shall reduce user's confusion.

Change-Id: I46deb344797fc6949d28fdccfb24f60c45e9115a
Signed-off-by: Jozef Behran <jbehran@cisco.com>

Add Tests to check the FlowEntry installed by VTN.

  + Fetch Flow entries from OpenFlow switch and validate the same.

Signed-off-by: ananthip <ananthip@hcl.com>
Change-Id:  I670a52c0f2477da28632dbae4f362f020568f71c

Updated OpenStack references to "Library RequestsLibrary"

Change-Id: Icd721572ac26a767089c57cc84fcaac92e90a25c
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Add Tests for VTN Renderer feature of NIC.

Change-Id: Icda97dedd24c3c4cc02b616fbe77a92a673e861b
Signed-off-by: kavitha.ma <kavitha.ma@hcl.com>

Updated some Test references to "Library RequestsLibrary"

This will move all references of ../../libraries/RequestsLibrary.py to just "Library RequestsLibrary" of following
Robot_Tool/suites/base
Robot_Tool/suites/cluster
Robot_Tool/suites/ha

Change-Id: Ife9c44bd4157f78e89681386729735798c86f5c5
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Added a small testcase to debug the issue with testcase failures

Change-Id: I953d8916e9032bd6f6db6cb06f584b2a20457bbf
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Updated Vpnservice references to "Library RequestsLibrary"

Change-Id: I46502780da286780b8d4330c01cc7d18ae3a3f7f
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Fix typo in filled.json for bgpuser suite

Change-Id: I35d027e9d577f11c5097161bd9d3899b46f11e0c
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Introduce Keywords for flexible SSH login

Some environments require to use public keys for SSH authentication,
other environments do not have known_hosts prepared for that.

This change introduces *_PASSWORD variables to Variables.py
which by default are empty; and Utils.robot now have
"Flexible" keywords that choose Login method
based on presence of non-empty password.

This change should not require edits in existing suites.

Change-Id: Ibe077c5af32570bce285cf5dcda84042fe3651ec
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
(cherry picked from commit 59463500c53326221de6cbf4f1b0f48a27b3ae91)

${starttime} is a local variable, so we need to pass it to "Save Setup Time"

this is not seen in older versions of robotframe work because variable
scoping was not as strict.  In the new RF2.9, local variables do not
"leak".  This is probably a problem in many places, but I found this one
for now.  It breaks on my local RF2.9 environment.  Works with this
patch and should not have any problems upstream with older RF versions

Change-Id: I58e3f5b9ce1f71a86cf6bac8ca4c5e359e82832c
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Test case 2: OVSDB openflow extension

Use OF1.3 tunnel-id match and action to read VxLAN incoming packet tunnel-id
and write VxLAN outgoing packet tunnel-id.

Restoring original patch...

Change-Id: I0c376568e8bf1e78bdc7d6a626a06eddf183e585
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Improve Regex in Isolation Library

IPTables are now checked for the string DROP for
isolated controllers. This is so the isolation
keywords will not erroneously match actions
other than DROP on the same controller pair.

Change-Id: I0a55f994c6d19a6aebd30375396ca840da4da61b
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Add controller isolation keywords.

The following test features are added:
Isolate or rejoin a single pair of controllers.
Isolate or rejoin a controller from a cluster.
Rejoin all isolated contrllers to eachother.

Change-Id: Ic8376aa1c7283248eceeb80c90a5e999b29999f2
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

using robot library functions instead of subprocess

Change-Id: If6f472f00bd5df86679a2e41fad0f31466a0bbdb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Updated some Test references to "Library RequestsLibrary"

This will move all references of ../../libraries/RequestsLibrary.py to just "Library RequestsLibrary" of following
l2switch
iodtm

Change-Id: I4ca9b3d2e9822cac2d53befcd3b820dbd46bb7e8
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

Utils.Stop Suite needs to have ${mininet_conn_id} available

Change-Id: Ic266cf37d52f6aac754c2b75451844fed1e82cbb
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Updated some Test references to "Library RequestsLibrary"

This will move all references of ../../libraries/RequestsLibrary.py to just "Library RequestsLibrary" of following
AAA
Controller
lispflowmapping
snmp
usc

Change-Id: I4c131967cd68749e75a9f5c43de9065a10aa8d65
Signed-off-by: Chaudhry Muhammad Usama <chaudhryusama@gmail.com>

changing suite name to use .robot extension

Change-Id: I285938a1ceea493c3cc12bdbcd953b07de2ec755
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Using a single point of reference for DEFAULT_LINUX_PROMPT

the idea is to have all prompts defaults come from a single place
in Variables.py.  This is only the first patch for this work.  Two
goals here:

1.  remove all local definitions of the default prompt and point
those suites/libs to use the DEFAULT_LINUX_PROMPT in Variables.py

2.  convert all default args (e.g. ${prompt}=${linux_prompt} to use
this new ${DEFAULT_LINUX_PROMPT}

future patches can be more specific and start referencing variables
not yet introduced for things like ${MININETVM0_PROMPT},
${MININETVM1_PROMPT}, ${ODLVM2_PROMPT}, etc.

Change-Id: Ic87dfb930b25b37b1e02c50750a7a2f6732b24bf
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

default user for verifying karaf log file should be ${CONTROLLER_USER}

hopefully we will end up using more descriptive variables like
ODLVM1_USER, but for now CONTROLLER_USER is avaiable.  This patch
fixes a bug, where the default user for "Run Command On Remote
System" has it's default user as ${MININET_USER}.  If the
given environment has different users for the mininet and controller
VM, this keyword "Check Karaf Log File Does Not Have Messages"
ended up using ${MININET_USER} which is obviously wrong since
the karaf.log file is always going to be on the controller.

small bug, but hit me locally.

Change-Id: Id9ef26a1ac691a814e6165bd55cbf69edc3e325f
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Add an all-features template to the cluster deployer.

This is to assist in local reproduction of failures in
the Jenkins continuous integration environment.

Change-Id: Iac7922b5a067b884f221d7441cbcc61c694f1eaf
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Editing path to resources file in SFC Clustering

Adding CURDIR variable into resources path.

Change-Id: I69cc2f9c1de3a829c3940c7aaf9620940fa3fafd
Signed-off-by: Tomas Cechvala <tcechval@cisco.com>

Update Routed RPC tests to be runnable in CI

Clear all data from shards before running test.
Find the leader and followers rather than assume the first controller
    is leader.
Do a better job of verifying shard contents.
Because test 23 is a subset of test 24, both tests were combined as
    test 23 and then test 24 was eliminated.

Change-Id: I63621efe814b7ab95d8990275ef14f4354698894
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Add Routed RPC to clustering test set.

Change-Id: Iaf7165a755c1094584e01f321982d49b49252528
Signed-off-by: Phillip Shea <phillip.shea@hp.com>

Rename VtnMaKeywords.txt to VtnMaKeywords.robot

This facilitates identification of robot files.
All references to this file have also been updated.

Change-Id: If94f5ee4777e3750b1739a53d0c1a52156459ce6
Signed-off-by: Marcus G K Williams <Marcus.G.Williams@gmail.com>

Rename VtnCoKeywords.txt to VtnCoKeywords.robot

This facilitates identification of robot files.
All references to this file have also been updated.

Change-Id: I4d26b74a02997df760c37b3dfd37d4a2cdb12772
Signed-off-by: Marcus G K Williams <Marcus.G.Williams@gmail.com>

Rename FlowLib.txt to FlowLib.robot

This facilitates identification of robot files.
All references to this file have also been updated.

Change-Id: I234f23dd8398ca5815bb4fe0e129ba4db9d89ada
Signed-off-by: Marcus G K Williams <Marcus.G.Williams@gmail.com>