csit/suites/openstack/tempest/tempest.robot

   1 *** Settings ***
   2 Documentation     Test suite for running tempest tests. It is assumed that the test environment
   3 ...               is already deployed and ready.
   4 Suite Setup       Log In To Tempest Executor And Setup Test Environment
   5 Suite Teardown    Clean Up After Running Tempest
   6 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   7 Test Teardown     Get OvsDebugInfo
   8 Test Template     DevstackUtils.Run Tempest Tests
   9 Library           SSHLibrary
  10 Resource          ../../../libraries/DevstackUtils.robot
  11 Resource          ../../../libraries/OpenStackOperations.robot
  12 Resource          ../../../libraries/SetupUtils.robot
  13 Resource          ../../../libraries/Utils.robot
  14 Variables         ../../../variables/Variables.py
  15
  16 *** Variables ***
  17 ${exclusion_regex}    'metering|test_l3_agent_scheduler.L3AgentSchedulerTestJSON|test_extensions.ExtensionsTestJSON.test_list_show_extensions|test_routers_dvr.RoutersTestDVR.test_centralized_router_update_to_dvr'
  18 ${tempest_config_file}    /opt/stack/tempest/etc/tempest.conf
  19 ${external_physical_network}    physnet1
  20 ${external_net_name}    external-net
  21 ${external_subnet_name}    external-subnet
  22 ${external_gateway}    10.10.10.250
  23 ${external_subnet}    10.10.10.0/24
  24
  25 *** Test Cases ***
  26 tempest.api.network
  27     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  28
  29 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_connectivity_between_vms_on_different_networks
  30     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  31
  32 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_mtu_sized_frames
  33     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  34
  35 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops
  36     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  37
  38 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_port_security_macspoofing_port
  39     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  40
  41 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_preserve_preexisting_port
  42     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  43
  44 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_router_rescheduling
  45     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  46
  47 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_subnet_details
  48     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  49
  50 tempest.scenario.test_aggregates_basic_ops.TestAggregatesBasicOps.test_aggregate_basic_ops
  51     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  52
  53 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_pause_unpause
  54     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  55
  56 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_stop_start
  57     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  58
  59 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_reboot
  60     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  61
  62 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_rebuild
  63     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  64
  65 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_suspend_resume
  66     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  67
  68 tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops
  69     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  70
  71 *** Keywords ***
  72 Log In To Tempest Executor And Setup Test Environment
  73     [Documentation]    Initialize SetupUtils, open SSH connection to a devstack system and source the openstack
  74     ...    credentials needed to run the tempest tests
  75     SetupUtils.Setup_Utils_For_Setup_And_Teardown
  76     # source_pwd is expected to exist in the below Create Network, Create Subnet keywords.    Might be a bug.
  77     ${source_pwd}    Set Variable    yes
  78     Set Suite Variable    ${source_pwd}
  79     # Tempest tests need an existing external network in order to create routers.
  80     Create Network    ${external_net_name} --router:external --provider:network_type=flat --provider:physical_network=${external_physical_network}
  81     Create Subnet    ${external_net_name}    ${external_subnet_name}    ${external_subnet}    --gateway ${external_gateway}
  82     List Networks
  83     ${control_node_conn_id}=    SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT_STRICT}
  84     Utils.Flexible SSH Login    ${OS_USER}
  85     Write Commands Until Prompt    source ${DEVSTACK_DEPLOY_PATH}/openrc admin admin
  86     Write Commands Until Prompt    sudo rm -rf /opt/stack/tempest/.testrepository
  87     ${net_id}=    Get Net Id    ${external_net_name}    ${control_node_conn_id}
  88     Tempest Conf Add External Network    ${net_id}
  89
  90 Tempest Conf Add External Network
  91     [Arguments]    ${external_network_id}
  92     [Documentation]    Tempest will be run with a config file - this function will add the
  93     ...    given external network ID to the configuration file.
  94     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    network    public_network_id    ${external_network_id}
  95     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    debug    False
  96     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    log_level    INFO
  97     Write Commands Until Prompt    sudo cat ${tempest_config_file}
  98     Write Commands Until Prompt    sudo chmod 777 ${tempest_config_file}
  99
 100 Modify Config In File On Existing SSH Connection
 101     [Arguments]    ${config_file}    ${modifier}    ${config_section}    ${config_key}    ${config_value}=${EMPTY}
 102     [Documentation]    uses crudini to populate oslo cofg file.
 103     # this keyword is only one line so seems like extra overhead, but this may be a good candidate to move
 104     # to a library at some point, when/if other suites need to use it, so wanted to make it generic.
 105     Write Commands Until Prompt    sudo -E crudini --${modifier} ${config_file} ${config_section} ${config_key} ${config_value}
 106
 107 Clean Up After Running Tempest
 108     [Documentation]    Clean up any extra leftovers that were created to allow tempest tests to run.
 109     Delete Network    ${external_net_name}
 110     List Networks
 111     Close All Connections