Code Review / integration / test.git / commitdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | patch | inline | side by side (parent: 8a45fa2)
Fix OpenFlow flow services suite 30/59830/10
authorLuis Gomez <ecelgp@gmail.com>
Mon, 3 Jul 2017 03:45:34 +0000 (20:45 -0700)
committerJamo Luhrsen <jluhrsen@redhat.com>
Wed, 5 Jul 2017 18:52:38 +0000 (18:52 +0000)
- Remove 2 flow stats test for Boron. These are supported after
Carbon due to yang model change.

- Adjust bug 8723 and SW scalability test timers.

Change-Id: I308503f85c8aae64d758a72c036b2d9518083067
Signed-off-by: Luis Gomez <ecelgp@gmail.com>
csit/libraries/WorkflowsOpenFlow.robot patch | blob | history
csit/suites/openflowplugin/Bug_Validation/8723.robot [moved from csit/suites/openflowplugin/Bug_Validation/7350.robot with 77% similarity] patch | blob | history
csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/010_SM_add_upd_del_flows.robot patch | blob | history
csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/020_SM_sal_add_upd_del_flows.robot patch | blob | history

diff --git a/csit/libraries/WorkflowsOpenFlow.robot b/csit/libraries/WorkflowsOpenFlow.robot
index a02926be5e1b99bc4ddfc3069b3b77a78e67bfc6..0b6da388a794feeaeb8de9878f42b393fa724a87 100644 (file)
--- a/csit/libraries/WorkflowsOpenFlow.robot
+++ b/csit/libraries/WorkflowsOpenFlow.robot
@@ -89,7 +89,7 @@ Workflow Linear Topology
     ${status}    ${result}    Run Keyword And Ignore Error    MininetKeywords.Stop Mininet And Exit
     Return From Keyword If    '${status}' == 'FAIL'    ${status}    Fail stopping mininet    ${topology_discover_time}
     Log To Console    Checking No Switches
     ${status}    ${result}    Run Keyword And Ignore Error    MininetKeywords.Stop Mininet And Exit
     Return From Keyword If    '${status}' == 'FAIL'    ${status}    Fail stopping mininet    ${topology_discover_time}
     Log To Console    Checking No Switches
-    ${status}    ${result}    Run Keyword And Ignore Error    Wait Until Keyword Succeeds    10s    2s    FlowLib.Check No Switches In Inventory
+    ${status}    ${result}    Run Keyword And Ignore Error    Wait Until Keyword Succeeds    30s    2s    FlowLib.Check No Switches In Inventory
     ...    ${switches}
     Return From Keyword If    '${status}' == 'FAIL'    ${status}    Fail checking no switch    ${topology_discover_time}
     Log To Console    Checking No Topology
     ...    ${switches}
     Return From Keyword If    '${status}' == 'FAIL'    ${status}    Fail checking no switch    ${topology_discover_time}
     Log To Console    Checking No Topology
diff --git a/csit/suites/openflowplugin/Bug_Validation/7350.robot b/csit/suites/openflowplugin/Bug_Validation/8723.robot
similarity index 77%
rename from csit/suites/openflowplugin/Bug_Validation/7350.robot
rename to csit/suites/openflowplugin/Bug_Validation/8723.robot
index a555b06910521aab05ac6a6793cd90a2b688437b..457a82dbccdb9c980c76971a144fc042c8292c8f 100644 (file)
--- a/csit/suites/openflowplugin/Bug_Validation/7350.robot
+++ b/csit/suites/openflowplugin/Bug_Validation/8723.robot
@@ -1,5 +1,5 @@
 *** Settings ***
 *** Settings ***
-Documentation     Test suite for Telstra Bug validation.
+Documentation     Test suite for Split connection bug.
 Suite Setup       Initialization Phase
 Suite Teardown    Final Phase
 Library           XML
 Suite Setup       Initialization Phase
 Suite Teardown    Final Phase
 Library           XML
@@ -22,16 +22,20 @@ Create Two Active Switch Connections To Controller And Check OVS Connections
     ${controller_opt} =    BuiltIn.Set Variable
     ${controller_opt} =    BuiltIn.Catenate    ${controller_opt}    ${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT}${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT1}
     OVSDB.Set Controller In OVS Bridge    ${TOOLS_SYSTEM_IP}    s1    ${controller_opt}
     ${controller_opt} =    BuiltIn.Set Variable
     ${controller_opt} =    BuiltIn.Catenate    ${controller_opt}    ${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT}${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT1}
     OVSDB.Set Controller In OVS Bridge    ${TOOLS_SYSTEM_IP}    s1    ${controller_opt}
-    BuiltIn.Wait Until Keyword Succeeds    10s    1s    OVSDB.Check OVS OpenFlow Connections    ${TOOLS_SYSTEM_IP}    2
-    BuiltIn.Wait Until Keyword Succeeds    30s    3s    Execute OvsVsctl List Controllers Command
+    BuiltIn.Wait Until Keyword Succeeds    20s    1s    OVSDB.Check OVS OpenFlow Connections    ${TOOLS_SYSTEM_IP}    1
+    BuiltIn.Wait Until Keyword Succeeds    10s    1s    Check Master Connection
+    FlowLib.Check Number Of Flows    1
+    [Teardown]    Report_Failure_Due_To_Bug    8723
 
 Restore original Connection To Controller And Check OVS Connection
     [Documentation]    Restore original Connection To Controller And Check OVS Connection
     ${controller_opt} =    BuiltIn.Set Variable
     ${controller_opt} =    BuiltIn.Catenate    ${controller_opt}    ${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT}
     OVSDB.Set Controller In OVS Bridge    ${TOOLS_SYSTEM_IP}    s1    ${controller_opt}
 
 Restore original Connection To Controller And Check OVS Connection
     [Documentation]    Restore original Connection To Controller And Check OVS Connection
     ${controller_opt} =    BuiltIn.Set Variable
     ${controller_opt} =    BuiltIn.Catenate    ${controller_opt}    ${SPACE}tcp:${ODL_SYSTEM_IP}:${ODL_OF_PORT}
     OVSDB.Set Controller In OVS Bridge    ${TOOLS_SYSTEM_IP}    s1    ${controller_opt}
-    BuiltIn.Wait Until Keyword Succeeds    10s    1s    OVSDB.Check OVS OpenFlow Connections    ${TOOLS_SYSTEM_IP}    1
-    BuiltIn.Wait Until Keyword Succeeds    30s    3s    Execute OvsVsctl List Controllers Command
+    BuiltIn.Wait Until Keyword Succeeds    20s    1s    OVSDB.Check OVS OpenFlow Connections    ${TOOLS_SYSTEM_IP}    1
+    BuiltIn.Wait Until Keyword Succeeds    10s    1s    Check Master Connection
+    FlowLib.Check Number Of Flows    1
+    [Teardown]    Report_Failure_Due_To_Bug    8723
 
 *** Keywords ***
 Initialization Phase
 
 *** Keywords ***
 Initialization Phase
@@ -47,8 +51,8 @@ Final Phase
     MininetKeywords.Stop Mininet And Exit    ${mininet_conn_id}
     RequestsLibrary.Delete All Sessions
 
     MininetKeywords.Stop Mininet And Exit    ${mininet_conn_id}
     RequestsLibrary.Delete All Sessions
 
-Execute OvsVsctl List Controllers Command
-    [Documentation]    List the configured controller connections.
+Check Master Connection
+    [Documentation]    Execute OvsVsctl List Controllers Command and check for master connection.
     ${output} =    Utils.Run Command On Mininet    ${TOOLS_SYSTEM_IP}    sudo ovs-vsctl list CONTROLLER
     BuiltIn.Set Suite Variable    ${output}
     Should Contain    ${output}    master
     ${output} =    Utils.Run Command On Mininet    ${TOOLS_SYSTEM_IP}    sudo ovs-vsctl list CONTROLLER
     BuiltIn.Set Suite Variable    ${output}
     Should Contain    ${output}    master
diff --git a/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/010_SM_add_upd_del_flows.robot b/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/010_SM_add_upd_del_flows.robot
index c4eee26d693fda9436d69cfb5f729f0a85fa4c73..aa4e53ec0bce97408b00f7b5c655c0a799d022aa 100644 (file)
--- a/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/010_SM_add_upd_del_flows.robot
+++ b/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/010_SM_add_upd_del_flows.robot
@@ -10,9 +10,9 @@ Library           SSHLibrary
 Library           XML
 Library           ${CURDIR}/../../../../libraries/Common.py
 Library           ${CURDIR}/../../../../libraries/XmlComparator.py
 Library           XML
 Library           ${CURDIR}/../../../../libraries/Common.py
 Library           ${CURDIR}/../../../../libraries/XmlComparator.py
-Variables         ${CURDIR}/../../../../variables/Variables.py
 Resource          ${CURDIR}/../../../../libraries/CompareStream.robot
 Resource          ${CURDIR}/../../../../libraries/FlowLib.robot
 Resource          ${CURDIR}/../../../../libraries/CompareStream.robot
 Resource          ${CURDIR}/../../../../libraries/FlowLib.robot
+Resource          ${CURDIR}/../../../../variables/Variables.robot
 
 *** Variables ***
 ${flow_update_time}    3s
 
 *** Variables ***
 ${flow_update_time}    3s
@@ -32,6 +32,7 @@ ${switch_name}    s${switch_idx}
 Test Add Flows Group 0
     [Documentation]    Add all flows and waits for SM to collect data
     [Template]    NONE
 Test Add Flows Group 0
     [Documentation]    Add all flows and waits for SM to collect data
     [Template]    NONE
+    CompareStream.Run_Keyword_If_At_Most_Boron    Remove Values From List    ${flowlist0}    f19.xml    f102.xml
     : FOR    ${flowfile}    IN    @{flowlist0}
     \    Log    ${flowfile}
     \    Create Flow Variables For Suite From XML File    ${XmlsDir}/${flowfile}
     : FOR    ${flowfile}    IN    @{flowlist0}
     \    Log    ${flowfile}
     \    Create Flow Variables For Suite From XML File    ${XmlsDir}/${flowfile}
@@ -92,6 +93,7 @@ Test Is Flow 18 Added
     f18.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 19 Added
     f18.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 19 Added
+    [Tags]    skip_if_boron
     f19.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 20 Added
     f19.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 20 Added
@@ -131,6 +133,7 @@ Test Is Flow 101 Added
     f101.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 102 Added
     f101.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 102 Added
+    [Tags]    skip_if_boron
     f102.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 103 Added
     f102.xml    ${True}    ${True}    ${False}    ${check_id}
 
 Test Is Flow 103 Added
@@ -273,6 +276,7 @@ Test Is Flow 18 Updated
     f18.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 19 Updated
     f18.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 19 Updated
+    [Tags]    skip_if_boron
     f19.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 20 Updated
     f19.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 20 Updated
@@ -312,6 +316,7 @@ Test Is Flow 101 Updated
     f101.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 102 Updated
     f101.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 102 Updated
+    [Tags]    skip_if_boron
     f102.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 103 Updated
     f102.xml    ${True}    ${True}    ${True}    ${check_id}
 
 Test Is Flow 103 Updated
@@ -454,6 +459,7 @@ Test Is Flow 18 Deleted
     f18.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 19 Deleted
     f18.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 19 Deleted
+    [Tags]    skip_if_boron
     f19.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 20 Deleted
     f19.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 20 Deleted
@@ -493,6 +499,7 @@ Test Is Flow 101 Deleted
     f101.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 102 Deleted
     f101.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 102 Deleted
+    [Tags]    skip_if_boron
     f102.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 103 Deleted
     f102.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 103 Deleted
diff --git a/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/020_SM_sal_add_upd_del_flows.robot b/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/020_SM_sal_add_upd_del_flows.robot
index 4a80b660221e94ecb4e6b1609df45e99fdd78195..a42fc9e53224d608f96e906cf86779b92465bebc 100644 (file)
--- a/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/020_SM_sal_add_upd_del_flows.robot
+++ b/csit/suites/openflowplugin/Flows_Additional_TCs/Stat_Manager_extended/020_SM_sal_add_upd_del_flows.robot
@@ -3,15 +3,16 @@ Documentation     Test suite for Stats Manager flows collection
 Suite Setup       Initialization Phase
 Suite Teardown    Delete All Sessions
 Test Template     Check Datastore Presence
 Suite Setup       Initialization Phase
 Suite Teardown    Delete All Sessions
 Test Template     Check Datastore Presence
-Library           OperatingSystem
 Library           Collections
 Library           Collections
-Library           XML
-Library           SSHLibrary
-Resource          ../../../../libraries/FlowLib.robot
-Library           ../../../../libraries/XmlComparator.py
-Variables         ../../../../variables/Variables.py
+Library           OperatingSystem
 Library           RequestsLibrary
 Library           RequestsLibrary
-Library           ../../../../libraries/Common.py
+Library           SSHLibrary
+Library           XML
+Library           ${CURDIR}/../../../../libraries/Common.py
+Library           ${CURDIR}/../../../../libraries/XmlComparator.py
+Resource          ${CURDIR}/../../../../libraries/CompareStream.robot
+Resource          ${CURDIR}/../../../../libraries/FlowLib.robot
+Resource          ${CURDIR}/../../../../variables/Variables.robot
 
 *** Variables ***
 ${flow_update_time}    3s
 
 *** Variables ***
 ${flow_update_time}    3s
@@ -31,6 +32,7 @@ ${switch_name}    s${switch_idx}
 Test Add Flows Group 0
     [Documentation]    Add all flows and waits for SM to collect data
     [Template]    NONE
 Test Add Flows Group 0
     [Documentation]    Add all flows and waits for SM to collect data
     [Template]    NONE
+    CompareStream.Run_Keyword_If_At_Most_Boron    Remove Values From List    ${flowlist0}    f19.xml    f102.xml
     : FOR    ${flowfile}    IN    @{flowlist0}
     \    Log    ${flowfile}
     \    Create Flow Variables For Suite From XML File    ${XmlsDir}/${flowfile}
     : FOR    ${flowfile}    IN    @{flowlist0}
     \    Log    ${flowfile}
     \    Create Flow Variables For Suite From XML File    ${XmlsDir}/${flowfile}
@@ -88,6 +90,7 @@ Test Is Flow 18 Added
     f18.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 19 Added
     f18.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 19 Added
+    [Tags]    skip_if_boron
     f19.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 20 Added
     f19.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 20 Added
@@ -127,6 +130,7 @@ Test Is Flow 101 Added
     f101.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 102 Added
     f101.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 102 Added
+    [Tags]    skip_if_boron
     f102.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 103 Added
     f102.xml    ${False}    ${True}    ${False}
 
 Test Is Flow 103 Added
@@ -251,6 +255,7 @@ Test Is Flow 18 Updated
     f18.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 19 Updated
     f18.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 19 Updated
+    [Tags]    skip_if_boron
     f19.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 20 Updated
     f19.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 20 Updated
@@ -290,6 +295,7 @@ Test Is Flow 101 Updated
     f101.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 102 Updated
     f101.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 102 Updated
+    [Tags]    skip_if_boron
     f102.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 103 Updated
     f102.xml    ${False}    ${True}    ${True}
 
 Test Is Flow 103 Updated
@@ -414,6 +420,7 @@ Test Is Flow 18 Deleted
     f18.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 19 Deleted
     f18.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 19 Deleted
+    [Tags]    skip_if_boron
     f19.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 20 Deleted
     f19.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 20 Deleted
@@ -453,6 +460,7 @@ Test Is Flow 101 Deleted
     f101.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 102 Deleted
     f101.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 102 Deleted
+    [Tags]    skip_if_boron
     f102.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 103 Deleted
     f102.xml    ${False}    ${False}    ${True}
 
 Test Is Flow 103 Deleted
Integration test