csit/suites/netvirt/upgrade/upgrade.robot

   1 *** Settings ***
   2 Documentation     Test suite for ODL Upgrade. It is assumed that OLD + OpenStack
   3 ...               integrated environment is deployed and ready.
   4 Suite Setup       Suite Setup
   5 Suite Teardown    Upgrade Suite Teardown
   6 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   7 Test Teardown     Get Test Teardown Debugs
   8 Library           OperatingSystem
   9 Library           RequestsLibrary
  10 Library           SSHLibrary
  11 Resource          ../../../libraries/ClusterManagement.robot
  12 Resource          ../../../libraries/DevstackUtils.robot
  13 Resource          ../../../libraries/KarafKeywords.robot
  14 Resource          ../../../libraries/OpenStackOperations.robot
  15 Resource          ../../../libraries/OVSDB.robot
  16 Resource          ../../../libraries/SetupUtils.robot
  17 Resource          ../../../libraries/Utils.robot
  18
  19 *** Variables ***
  20 ${SECURITY_GROUP}    upgrade_sg
  21 @{NETWORKS}       upgrade_net_1    upgrade_net_2
  22 @{SUBNETS}        upgrade_sub_1    upgrade_sub_2
  23 @{NET_1_VMS}      upgrade_net_1_vm_1    upgrade_net_1_vm_2
  24 @{NET_2_VMS}      upgrade_net_2_vm_1    upgrade_net_2_vm_2
  25 @{SUBNETS_RANGE}    91.0.0.0/24    92.0.0.0/24
  26 ${ROUTER}         upgrade_router_1
  27 ${TYPE}           tun
  28 ${PASSIVE_MANAGER}    ptcp:6641:127.0.0.1
  29 @{DEBUG_LOG_COMPONENTS}    org.opendaylight.ovsdb    org.opendaylight.ovsdb.lib    org.opendaylight.netvirt    org.opendaylight.genius
  30 ${UPDATE_FLAG_PATH}    /restconf/config/odl-serviceutils-upgrade:upgrade-config
  31 ${COMMIT_ACTIVE_BUNDLE_URI}    /restconf/operations/arbitrator-reconcile:commit-active-bundle
  32 ${COMMIT_ACTIVE_BUNDLE_DIR}    ${CURDIR}/../../../variables/netvirt/commit_active_bundle
  33
  34 *** Test Cases ***
  35 Create Setup And Verify Instance Connectivity
  36     [Documentation]    Create 2 VXLAN networks, subnets with 2 VMs each and a router. Ping all 4 VMs.
  37     Check Resource Connectivity
  38     Dump Debug With Annotations    POST_SETUP
  39
  40 Stop ODL
  41     ClusterManagement.Stop_Members_From_List_Or_All
  42
  43 Disconnect OVS
  44     [Documentation]    Delete OVS manager, controller and groups and tun ports
  45     : FOR    ${node}    IN    @{OS_ALL_IPS}
  46     \    OVSDB.Delete OVS Manager    ${node}
  47     \    OVSDB.Delete OVS Controller    ${node}
  48     \    OVSDB.Delete Groups On Bridge    ${node}    ${INTEGRATION_BRIDGE}
  49     \    OVSDB.Delete Ports On Bridge By Type    ${node}    ${INTEGRATION_BRIDGE}    ${TYPE}
  50
  51 Wipe Local Data
  52     [Documentation]    Delete data/, journal/, snapshots/
  53     ClusterManagement.Clean_Journals_Data_And_Snapshots_On_List_Or_All
  54
  55 Start ODL
  56     [Documentation]    Start controller, wait for it to come "UP" and make sure netvirt is installed
  57     ClusterManagement.Start_Members_From_List_Or_All    wait_for_sync=True
  58     Wait Until Keyword Succeeds    100s    5s    Utils.Check Diagstatus
  59     BuiltIn.Set_Suite_Variable    \${ClusterManagement__has_setup_run}    False
  60     KarafKeywords.Verify_Feature_Is_Installed    odl-netvirt-openstack
  61     Set Custom Component Logging To    DEBUG
  62
  63 Wait For Full Sync
  64     [Documentation]    Wait for networking_odl to sync neutron configuration
  65     Wait Until Keyword Succeeds    90s    5s    Canary Network Should Exist
  66
  67 Set Upgrade Flag
  68     ${resp} =    RequestsLibrary.Put Request    session    ${UPDATE_FLAG_PATH}    {"upgrade-config":{"upgradeInProgress":true}}
  69     BuiltIn.Should Be Equal As Strings    ${resp.status_code}    200
  70     : FOR    ${node}    IN    @{OS_ALL_IPS}
  71     \    ${dpnid} =    OVSDB.Get DPID    ${node}
  72     \    ${body} =    OperatingSystem.Get File    ${COMMIT_ACTIVE_BUNDLE_DIR}/data.json
  73     \    ${body} =    Replace String    ${body}    DPNID    ${dpnid}
  74     \    ${resp} =    RequestsLibrary.Post Request    session    ${COMMIT_ACTIVE_BUNDLE_URI}    data=${body}
  75     \    BuiltIn.Log    ${resp.content}
  76     \    BuiltIn.Should Contain    ${ALLOWED_STATUS_CODES}    ${resp.status_code}
  77
  78 Set OVS Manager And Controller
  79     [Documentation]    Set controller and manager on each OpenStack node and check that egress flows are present
  80     : FOR    ${node}    IN    @{OS_ALL_IPS}
  81     \    Utils.Run Command On Remote System And Log    ${node}    sudo ovs-vsctl set-manager tcp:${ODL_SYSTEM_IP}:${OVSDBPORT} ${PASSIVE_MANAGER}
  82     Wait Until Keyword Succeeds    180s    15s    Check OVS Nodes Have Egress Flows
  83
  84 UnSet Upgrade Flag
  85     ${resp} =    RequestsLibrary.Put Request    session    ${UPDATE_FLAG_PATH}    {"upgrade-config":{"upgradeInProgress":false}}
  86     BuiltIn.Should Be Equal As Strings    ${resp.status_code}    200
  87
  88 Check Connectivity With Previously Created Resources And br-int Info
  89     [Documentation]    Check that pre-existing instance connectivity still works after the new controller is brought
  90     ...    up and config is sync'd
  91     Dump Debug With Annotations    POST_UPGRADE
  92     Wait Until Keyword Succeeds    90s    10s    Check Resource Connectivity
  93
  94 *** Keywords ***
  95 Suite Setup
  96     OpenStackOperations.OpenStack Suite Setup
  97     Create Resources
  98     OpenStackOperations.Show Debugs    @{NET_1_VMS}    @{NET_2_VMS}
  99     OpenStackOperations.Get Suite Debugs
 100
 101 Create Resources
 102     [Documentation]    Create 2 VXLAN networks, subnets with 2 VMs each and a router. Ping all 4 VMs.
 103     : FOR    ${net}    IN    @{NETWORKS}
 104     \    OpenStackOperations.Create Network    ${net}
 105     OpenStackOperations.Create SubNet    @{NETWORKS}[0]    @{SUBNETS}[0]    @{SUBNETS_RANGE}[0]
 106     OpenStackOperations.Create SubNet    @{NETWORKS}[1]    @{SUBNETS}[1]    @{SUBNETS_RANGE}[1]
 107     OpenStackOperations.Create Allow All SecurityGroup    ${SECURITY_GROUP}
 108     OpenStackOperations.Create Nano Flavor
 109     : FOR    ${vm}    IN    @{NET_1_VMS}
 110     \    OpenStackOperations.Create Vm Instance On Compute Node    @{NETWORKS}[0]    ${vm}    ${OS_CMP1_HOSTNAME}    sg=${SECURITY_GROUP}
 111     : FOR    ${vm}    IN    @{NET_2_VMS}
 112     \    OpenStackOperations.Create Vm Instance On Compute Node    @{NETWORKS}[1]    ${vm}    ${OS_CMP2_HOSTNAME}    sg=${SECURITY_GROUP}
 113     OpenStackOperations.Create Router    ${ROUTER}
 114     : FOR    ${interface}    IN    @{SUBNETS}
 115     \    OpenStackOperations.Add Router Interface    ${ROUTER}    ${interface}
 116     @{NET1_VM_IPS}    ${NET1_DHCP_IP} =    OpenStackOperations.Get VM IPs    @{NET_1_VMS}
 117     @{NET2_VM_IPS}    ${NET2_DHCP_IP} =    OpenStackOperations.Get VM IPs    @{NET_2_VMS}
 118     BuiltIn.Set Suite Variable    @{NET1_VM_IPS}
 119     BuiltIn.Set Suite Variable    @{NET2_VM_IPS}
 120     BuiltIn.Should Not Contain    ${NET1_VM_IPS}    None
 121     BuiltIn.Should Not Contain    ${NET2_VM_IPS}    None
 122     BuiltIn.Should Not Contain    ${NET1_DHCP_IP}    None
 123     BuiltIn.Should Not Contain    ${NET2_DHCP_IP}    None
 124
 125 Check Resource Connectivity
 126     [Documentation]    Ping 2 VMs in the same net and 1 from another net.
 127     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_1    @{NET1_VM_IPS}[0]
 128     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_1    @{NET1_VM_IPS}[1]
 129     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_1    @{NET2_VM_IPS}[0]
 130     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_2    @{NET2_VM_IPS}[0]
 131     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_2    @{NET2_VM_IPS}[1]
 132     OpenStackOperations.Ping Vm From DHCP Namespace    upgrade_net_2    @{NET1_VM_IPS}[0]
 133
 134 Check OVS Nodes Have Egress Flows
 135     [Documentation]    Loop over all openstack nodes to ensure they have the proper flows installed.
 136     : FOR    ${node}    IN    @{OS_ALL_IPS}
 137     \    Does OVS Have Multiple Egress Flows    ${node}
 138
 139 Does OVS Have Multiple Egress Flows
 140     [Arguments]    ${ip}
 141     [Documentation]    Verifies that at least 1 flow exists on the node for the ${EGRESS_L2_FWD_TABLE}
 142     ${flows} =    Utils.Run Command On Remote System And Log    ${ip}    sudo ovs-ofctl -O OpenFlow13 dump-flows ${INTEGRATION_BRIDGE}
 143     ${egress_flows} =    String.Get Lines Containing String    ${flows}    table=${EGRESS_LPORT_DISPATCHER_TABLE}
 144     ${num_egress_flows} =    String.Get Line Count    ${egress_flows}
 145     BuiltIn.Should Be True    ${num_egress_flows} > 1
 146
 147 Set Custom Component Logging To
 148     [Arguments]    ${level}
 149     SetupUtils.Setup_Logging_For_Debug_Purposes_On_List_Or_All    ${level}    ${DEBUG_LOG_COMPONENTS}
 150     KarafKeywords.Issue_Command_On_Karaf_Console    log:list
 151
 152 Dump Debug With Annotations
 153     [Arguments]    ${tag}
 154     [Documentation]    Dump tons of debug logs for each OS node but also emit tags to make parsing easier
 155     Builtin.Log    Start dumping at phase ${tag}
 156     : FOR    ${node}    IN    @{OS_ALL_IPS}
 157     \    ${conn_id} =    DevstackUtils.Open Connection    ${node}_CONNECTION_NAME    ${node}
 158     \    Builtin.Log    Start dumping for ${node} at phase ${tag}
 159     \    OpenStackOperations.Get DumpFlows And Ovsconfig    ${conn_id}
 160     \    Builtin.Log    End dumping for ${node} at phase ${tag}
 161     \    SSHLibrary.Close Connection
 162     Builtin.Log    End dumping at phase ${tag}
 163
 164 Canary Network Should Exist
 165     OpenStackOperations.Get Neutron Network Rest    bd8db3a8-2b30-4083-a8b3-b3fd46401142
 166
 167 Upgrade Suite Teardown
 168     Set Custom Component Logging To    INFO
 169     OpenStackOperations.OpenStack Suite Teardown