csit/suites/openflowplugin/EntityOwnership/030_Cluster_Sync_Problems.robot

   1 *** Settings ***
   2 Documentation     Test suite for entity ownership service and openflowplugin. Makes changes on controller side (isolating cluster node)
   3 Suite Setup       Start Suite
   4 Suite Teardown    End Suite
   5 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   6 Test Template     Isolating Node Scenario
   7 Library           SSHLibrary
   8 Library           RequestsLibrary
   9 Library           XML
  10 Resource          ${CURDIR}/../../../libraries/SetupUtils.robot
  11 Resource          ${CURDIR}/../../../libraries/Utils.robot
  12 Resource          ${CURDIR}/../../../libraries/FlowLib.robot
  13 Resource          ${CURDIR}/../../../libraries/OvsManager.robot
  14 Resource          ${CURDIR}/../../../libraries/ClusterManagement.robot
  15 Resource          ${CURDIR}/../../../libraries/ClusterOpenFlow.robot
  16 Library           Collections
  17
  18 *** Variables ***
  19 ${SWITCHES}       1
  20 ${START_CMD}      sudo mn --topo linear,${SWITCHES}
  21 @{CONTROLLER_NODES}    ${ODL_SYSTEM_1_IP}    ${ODL_SYSTEM_2_IP}    ${ODL_SYSTEM_3_IP}
  22 @{cntls_idx_list}    ${1}    ${2}    ${3}
  23 ${ENTITY_OWNER_URI}    rests/data/entity-owners:entity-owners
  24
  25 *** Test Cases ***
  26 Start Mininet To All Nodes
  27     [Template]    NONE
  28     ${mininet_conn_id}=    SSHLibrary.Open Connection    ${TOOLS_SYSTEM_IP}    prompt=${TOOLS_SYSTEM_PROMPT}
  29     BuiltIn.Set Suite Variable    ${mininet_conn_id}
  30     SSHLibrary.Login With Public Key    ${TOOLS_SYSTEM_USER}    ${USER_HOME}/.ssh/id_rsa    any
  31     SSHLibrary.Put File    ${CURDIR}/../../../libraries/DynamicMininet.py    .
  32     SSHLibrary.Execute Command    sudo ovs-vsctl set-manager ptcp:6644
  33     SSHLibrary.Execute Command    sudo mn -c
  34     SSHLibrary.Write    ${START_CMD}
  35     SSHLibrary.Read Until    mininet>
  36     ${cntls_list}    BuiltIn.Create List    ${ODL_SYSTEM_1_IP}    ${ODL_SYSTEM_2_IP}    ${ODL_SYSTEM_3_IP}
  37     ${switch_list}    BuiltIn.Create List
  38     FOR    ${i}    IN RANGE    0    ${SWITCHES}
  39         ${sid}=    BuiltIn.Evaluate    ${i}+1
  40         Collections.Append To List    ${switch_list}    s${sid}
  41     END
  42     BuiltIn.Set Suite Variable    ${active_member}    1
  43     OvsManager.Setup Clustered Controller For Switches    ${switch_list}    ${cntls_list}
  44     BuiltIn.Wait Until Keyword Succeeds    15s    1s    ClusterOpenFlow.Verify Switch Connections Running On Member    ${SWITCHES}    1
  45
  46 Switches To Be Connected To All Nodes
  47     [Documentation]    Initial check for correct connected topology.
  48     [Template]    NONE
  49     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check All Switches Connected To All Cluster Nodes
  50
  51 Isolating Owner Of Switch s1
  52     s1
  53     [Teardown]    Report_Failure_Due_To_Bug    6177
  54
  55 Switches Still Be Connected To All Nodes
  56     [Template]    NONE
  57     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check All Switches Connected To All Cluster Nodes
  58     [Teardown]    Report_Failure_Due_To_Bug    6177
  59
  60 Stop Mininet And Verify No Owners
  61     [Template]    NONE
  62     Utils.Stop Mininet
  63     BuiltIn.Wait Until Keyword Succeeds    15x    1s    Check No Device Owners In Controller
  64     [Teardown]    Report_Failure_Due_To_Bug    6177
  65
  66 *** Keywords ***
  67 Start Suite
  68     SetupUtils.Setup_Utils_For_Setup_And_Teardown
  69
  70 End Suite
  71     ClusterManagement.Flush Iptables From List Or All
  72     RequestsLibrary.Delete All Sessions
  73
  74 Check All Switches Connected To All Cluster Nodes
  75     [Documentation]    Verifies all switches are connected to all cluster nodes
  76     OvsManager.Get Ovsdb Data
  77     FOR    ${i}    IN RANGE    0    ${SWITCHES}
  78         ${sid}=    BuiltIn.Evaluate    ${i}+1
  79         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_1_IP}    update_data=${False}
  80         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_2_IP}    update_data=${False}
  81         OvsManager.Should Be Connected    s${sid}    ${ODL_SYSTEM_3_IP}    update_data=${False}
  82     END
  83
  84 Isolating Node Scenario
  85     [Arguments]    ${switch_name}
  86     [Documentation]    Disconnect and connect owner and successor and check switch data to be consistent
  87     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
  88     ${idx}=    BuiltIn.Evaluate    str("${switch_name}"[1:])
  89     BuiltIn.Set Test Variable    ${idx}
  90     Isolate Switchs Old Owner    ${switch_name}
  91     Rejoin Switchs Old Owner    ${switch_name}
  92     Isolate Switchs Successor    ${switch_name}
  93     Rejoin Switchs Successor    ${switch_name}
  94     [Teardown]    Run Keyword If    "${isol_node}"!="${Empty}"    Rejoin Controller To The Cluster    ${isol_node}
  95
  96 Isolate Switchs Old Owner
  97     [Arguments]    ${switch_name}
  98     ${old_owner}    ${old_successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}
  99     ${old_master}=    BuiltIn.Set Variable    ${ODL_SYSTEM_${old_owner}_IP}
 100     ${active_member}=    Collections.Get From List    ${old_successors}    0
 101     BuiltIn.Set Suite Variable    ${active_member}
 102     Isolate Controller From The Cluster    ${old_owner}
 103     BuiltIn.Set Test Variable    ${isol_node}    ${old_owner}
 104     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event    ${old_successors}
 105     ${new_master}=    BuiltIn.Wait Until Keyword Succeeds    10x    3s    Verify New Master Controller Node    ${switch_name}    ${old_master}
 106     ${owner}    ${successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}    ${old_successors}
 107     BuiltIn.Should Be Equal As Strings    ${new_master}    ${ODL_SYSTEM_${owner}_IP}
 108     BuiltIn.Set Suite Variable    ${active_member}    ${owner}
 109     BuiltIn.Set Test Variable    ${old_owner}
 110     BuiltIn.Set Test Variable    ${old_successors}
 111     BuiltIn.Set Test Variable    ${old_master}
 112     BuiltIn.Set Test Variable    ${owner}
 113     BuiltIn.Set Test Variable    ${new_master}
 114
 115 Rejoin Switchs Old Owner
 116     [Arguments]    ${switch_name}
 117     Rejoin Controller To The Cluster    ${old_owner}
 118     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
 119     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event
 120     ${new_owner}    ${new_successors}=    BuiltIn.Wait Until Keyword Succeeds    6x    10s    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}
 121     ...    ${active_member}
 122
 123 Isolate Switchs Successor
 124     [Arguments]    ${switch_name}
 125     ${old_owner}    ${old_successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}
 126     ${old_successor}=    Collections.Get From List    ${old_successors}    0
 127     ${old_slave}=    BuiltIn.Set Variable    ${ODL_SYSTEM_${old_successor}_IP}
 128     Isolate Controller From The Cluster    ${old_successor}
 129     BuiltIn.Set Test Variable    ${isol_node}    ${old_successor}
 130     ${tmp_candidates}=    BuiltIn.Create List    @{ClusterManagement__member_index_list}
 131     Collections.Remove Values From List    ${tmp_candidates}    ${old_successor}
 132     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event    ${tmp_candidates}
 133     ${owner}    ${successors}=    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}    ${active_member}    ${tmp_candidates}
 134     BuiltIn.Should Be Equal    ${owner}    ${old_owner}
 135     BuiltIn.Set Test Variable    ${old_owner}
 136     BuiltIn.Set Test Variable    ${old_successors}
 137     BuiltIn.Set Test Variable    ${old_successor}
 138     BuiltIn.Set Test Variable    ${old_slave}
 139     BuiltIn.Set Test Variable    ${owner}
 140
 141 Rejoin Switchs Successor
 142     [Arguments]    ${switch_name}
 143     Rejoin Controller To The Cluster    ${old_successor}
 144     BuiltIn.Set Test Variable    ${isol_node}    ${Empty}
 145     ClusterOpenFlow.Check OpenFlow Shards Status After Cluster Event
 146     ${new_owner}    ${new_successors}=    BuiltIn.Wait Until Keyword Succeeds    6x    10s    ClusterOpenFlow.Get OpenFlow Entity Owner Status For One Device    openflow:${idx}
 147     ...    ${active_member}
 148
 149 Rejoin Controller To The Cluster
 150     [Arguments]    ${isolated_node}
 151     ClusterManagement.Rejoin Member From List Or All    ${isolated_node}
 152     [Teardown]    SSHLibrary.Switch Connection    ${mininet_conn_id}
 153
 154 Isolate Controller From The Cluster
 155     [Arguments]    ${isolated_node}
 156     ClusterManagement.Isolate Member From List Or All    ${isolated_node}
 157     [Teardown]    SSHLibrary.Switch Connection    ${mininet_conn_id}
 158
 159 Check No Device Owners In Controller
 160     [Documentation]    Check there is no owners in controllers
 161     ${session} =    Resolve_Http_Session_For_Member    member_index=${active_member}
 162     # FIXME: The URI only works for Silicon & earlier versions. This should be replaced with new RPC calls for Phosphorus.
 163     ${data} =    TemplatedRequests.Get_As_Json_From_Uri    uri=${ENTITY_OWNER_URI}    session=${session}
 164     #ofp-topology-manager entity is introduced in the OPNFLWPLUG-1022 bug fix, and this entity will
 165     #always be present in the EOS output. All 3 controller nodes will be candidate, so EOS output will
 166     #contain 6 members (members show 2 times).
 167     BuiltIn.Should Contain X Times    ${data}    member    6
 168
 169 Verify New Master Controller Node
 170     [Arguments]    ${switch_name}    ${old_master}
 171     [Documentation]    Checks if given node is different from actual master
 172     ${idx}=    BuiltIn.Evaluate    "${switch_name}"[1:]
 173     ${owner}    ${successors}=    ClusterManagement.Get Owner And Candidates For Device    openflow:${idx}    openflow    ${active_member}
 174     ${new_master}    BuiltIn.Set Variable    ${ODL_SYSTEM_${owner}_IP}
 175     BuiltIn.Should Not Be Equal    ${old_master}    ${new_master}
 176     Return From Keyword    ${new_master}