csit/suites/openflowplugin/EntityOwnership/030_Cluster_Sync_Problems.robot

   1 *** Settings ***
   2 Documentation     Test suite for entity ownership service and openflowplugin. Makes changes on controller side (isolating cluster node)
   3 Suite Setup       Start Suite
   4 Suite Teardown    End Suite
   5 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   6 Test Template     Isolating Node Scenario
   7 Library           SSHLibrary
   8 Library           RequestsLibrary
   9 Library           XML
  10 Resource          ${CURDIR}/../../../libraries/SetupUtils.robot
  11 Resource          ${CURDIR}/../../../libraries/Utils.robot
  12 Resource          ${CURDIR}/../../../libraries/FlowLib.robot
  13 Resource          ${CURDIR}/../../../libraries/OvsManager.robot
  14 Resource          ${CURDIR}/../../../libraries/ClusterManagement.robot
  15 Resource          ${CURDIR}/../../../libraries/ClusterOpenFlow.robot
  16 Library           Collections
  17
  18 *** Variables ***
  19 ${SWITCHES}       1
  20 ${START_CMD}      sudo mn --topo linear,${SWITCHES}
  21 @{CONTROLLER_NODES}    ${ODL_SYSTEM_1_IP}    ${ODL_SYSTEM_2_IP}    ${ODL_SYSTEM_3_IP}
  22 @{cntls_idx_list}    ${1}    ${2}    ${3}
  23
  24 *** Test Cases ***
  25 Start Mininet To All Nodes
  26     [Template]    NONE
  27     ${mininet_conn_id}=    SSHLibrary.Open Connection    ${TOOLS_SYSTEM_IP}    prompt=${TOOLS_SYSTEM_PROMPT}
  28     BuiltIn.Set Suite Variable    ${mininet_conn_id}
  29     SSHLibrary.Login With Public Key    ${TOOLS_SYSTEM_USER}    ${USER_HOME}/.ssh/id_rsa    any
  30     SSHLibrary.Put File    ${CURDIR}/../../../libraries/DynamicMininet.py    .
  31     SSHLibrary.Execute Command    sudo ovs-vsctl set-manager ptcp:6644
  32     SSHLibrary.Execute Command    sudo mn -c
  33     SSHLibrary.Write    ${START_CMD}
  34     SSHLibrary.Read Until    mininet>
  35     ${cntls_list}    BuiltIn.Create List    ${ODL_SYSTEM_1_IP}    ${ODL_SYSTEM_2_IP}    ${ODL_SYSTEM_3_IP}
  36     ${switch_list}    BuiltIn.Create List
  37     FOR    ${i}    IN RANGE    0    ${SWITCHES}
  38         ${sid}=    BuiltIn.Evaluate    ${i}+1
  39         Collections.Append To List    ${switch_list}    s${sid}
  40     END
  41     BuiltIn.Set Suite Variable    ${active_member}    1
  42     OvsManager.Setup Clustered Controller For Switches    ${switch_list}    ${cntls_list}
  43     BuiltIn.Wait Until Keyword Succeeds    15s    1s    ClusterOpenFlow.Verify Switch Connections Running On Member    ${SWITCHES}    1
  44
  45 Switches To Be Connected To All Nodes
  46     [Documentation]    Initial check for correct connected topology.
  47     [Template]    NONE
  48     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check All Switches Connected To All Cluster Nodes
  49
  50 Isolating Owner Of Switch s1
  51     s1
  52     [Teardown]    Report_Failure_Due_To_Bug    6177
  53
  54 Switches Still Be Connected To All Nodes
  55     [Template]    NONE
  56     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check All Switches Connected To All Cluster Nodes
  57     [Teardown]    Report_Failure_Due_To_Bug    6177
  58
  59 Stop Mininet And Verify No Owners
  60     [Template]    NONE
  61     Utils.Stop Mininet
  62     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check No Device Owners In Controller
  63     [Teardown]    Report_Failure_Due_To_Bug    6177
  64
  65 *** Keywords ***
  66 Start Suite
  67     SetupUtils.Setup_Utils_For_Setup_And_Teardown
  68
  69 End Suite
  70     ClusterManagement.Flush Iptables From List Or All
  71     RequestsLibrary.Delete All Sessions
  72
  73 Check All Switches Connected To All Cluster Nodes
  74     [Documentation]    Verifies all switches are connected to all cluster nodes
  75     OvsManager.Get Ovsdb Data
  76     FOR    ${i}    IN RANGE    0    ${SWITCHES}
  77         ${sid}=    BuiltIn.Evaluate    ${i}+1
  78         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_1_IP}    update_data=${False}
  79         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_2_IP}    update_data=${False}
  80         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_3_IP}    update_data=${False}
  81     END
  82
  83 Isolating Node Scenario
  84     [Arguments]    ${switch_name}
  85     [Documentation]    Disconnect and connect owner and successor and check switch data to be consistent
  86     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
  87     ${idx}=    BuiltIn.Evaluate    str("${switch_name}"[1:])
  88     BuiltIn.Set Test Variable    ${idx}
  89     Isolate Switchs Old Owner    ${switch_name}
  90     Rejoin Switchs Old Owner    ${switch_name}
  91     Isolate Switchs Successor    ${switch_name}
  92     Rejoin Switchs Successor    ${switch_name}
  93     [Teardown]    Run Keyword If    "${isol_node}"!="${Empty}"    Rejoin Controller To The Cluster    ${isol_node}
  94
  95 Isolate Switchs Old Owner
  96     [Arguments]    ${switch_name}
  97     ${old_owner}    ${old_successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}
  98     ${old_master}=    BuiltIn.Set Variable    ${ODL_SYSTEM_${old_owner}_IP}
  99     ${active_member}=    Collections.Get From List    ${old_successors}    0
 100     BuiltIn.Set Suite Variable    ${active_member}
 101     Isolate Controller From The Cluster    ${old_owner}
 102     BuiltIn.Set Test Variable    ${isol_node}    ${old_owner}
 103     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event    ${old_successors}
 104     ${new_master}=    BuiltIn.Wait Until Keyword Succeeds    10x    3s    Verify New Master Controller Node    ${switch_name}    ${old_master}
 105     ${owner}    ${successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}    ${old_successors}
 106     BuiltIn.Should Be Equal As Strings    ${new_master}    ${ODL_SYSTEM_${owner}_IP}
 107     BuiltIn.Set Suite Variable    ${active_member}    ${owner}
 108     BuiltIn.Set Test Variable    ${old_owner}
 109     BuiltIn.Set Test Variable    ${old_successors}
 110     BuiltIn.Set Test Variable    ${old_master}
 111     BuiltIn.Set Test Variable    ${owner}
 112     BuiltIn.Set Test Variable    ${new_master}
 113
 114 Rejoin Switchs Old Owner
 115     [Arguments]    ${switch_name}
 116     Rejoin Controller To The Cluster    ${old_owner}
 117     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
 118     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event
 119     ${new_owner}    ${new_successors}=    BuiltIn.Wait Until Keyword Succeeds    6x    10s    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}
 120     ...    ${active_member}
 121
 122 Isolate Switchs Successor
 123     [Arguments]    ${switch_name}
 124     ${old_owner}    ${old_successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}
 125     ${old_successor}=    Collections.Get From List    ${old_successors}    0
 126     ${old_slave}=    BuiltIn.Set Variable    ${ODL_SYSTEM_${old_successor}_IP}
 127     Isolate Controller From The Cluster    ${old_successor}
 128     BuiltIn.Set Test Variable    ${isol_node}    ${old_successor}
 129     ${tmp_candidates}=    BuiltIn.Create List    @{ClusterManagement__member_index_list}
 130     Collections.Remove Values From List    ${tmp_candidates}    ${old_successor}
 131     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event    ${tmp_candidates}
 132     ${owner}    ${successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}    ${tmp_candidates}
 133     BuiltIn.Should Be Equal    ${owner}    ${old_owner}
 134     BuiltIn.Set Test Variable    ${old_owner}
 135     BuiltIn.Set Test Variable    ${old_successors}
 136     BuiltIn.Set Test Variable    ${old_successor}
 137     BuiltIn.Set Test Variable    ${old_slave}
 138     BuiltIn.Set Test Variable    ${owner}
 139
 140 Rejoin Switchs Successor
 141     [Arguments]    ${switch_name}
 142     Rejoin Controller To The Cluster    ${old_successor}
 143     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
 144     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event
 145     ${new_owner}    ${new_successors}=    BuiltIn.Wait Until Keyword Succeeds    6x    10s    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}
 146     ...    ${active_member}
 147
 148 Rejoin Controller To The Cluster
 149     [Arguments]    ${isolated_node}
 150     ClusterManagement.Rejoin Member From List Or All    ${isolated_node}
 151     [Teardown]    SSHLibrary.Switch Connection    ${mininet_conn_id}
 152
 153 Isolate Controller From The Cluster
 154     [Arguments]    ${isolated_node}
 155     ClusterManagement.Isolate Member From List Or All    ${isolated_node}
 156     [Teardown]    SSHLibrary.Switch Connection    ${mininet_conn_id}
 157
 158 Check No Device Owners In Controller
 159     [Documentation]    Check there is no owners in controllers
 160     ${session} =    Resolve_Http_Session_For_Member    member_index=${active_member}
 161     ${data} =    TemplatedRequests.Get_As_Json_From_Uri    uri=${ENTITY_OWNER_URI}    session=${session}
 162     #ofp-topology-manager entity is introduced in the OPNFLWPLUG-1022 bug fix, and this entity will
 163     #always be present in the EOS output. All 3 controller nodes will be candidate, so EOS output will
 164     #contain 6 members (members show 2 times).
 165     BuiltIn.Should Contain X Times    ${data}    member    6
 166
 167 Verify New Master Controller Node
 168     [Arguments]    ${switch_name}    ${old_master}
 169     [Documentation]    Checks if given node is different from actual master
 170     ${idx}=    BuiltIn.Evaluate    "${switch_name}"[1:]
 171     ${owner}    ${successors}=    ClusterManagement.Get Owner And Candidates For Device    openflow:${idx}    openflow    ${active_member}
 172     ${new_master}    BuiltIn.Set Variable    ${ODL_SYSTEM_${owner}_IP}
 173     BuiltIn.Should Not Be Equal    ${old_master}    ${new_master}
 174     Return From Keyword    ${new_master}