csit/suites/openstack/tempest/tempest.robot

   1 *** Settings ***
   2 Documentation     Test suite for running tempest tests. It is assumed that the test environment
   3 ...               is already deployed and ready.
   4 Suite Setup       Log In To Tempest Executor And Setup Test Environment
   5 Suite Teardown    Clean Up After Running Tempest
   6 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   7 Test Teardown     Get OvsDebugInfo
   8 Test Template     DevstackUtils.Run Tempest Tests
   9 Library           SSHLibrary
  10 Resource          ../../../libraries/DevstackUtils.robot
  11 Resource          ../../../libraries/OpenStackOperations.robot
  12 Resource          ../../../libraries/SetupUtils.robot
  13 Resource          ../../../libraries/Utils.robot
  14 Variables         ../../../variables/Variables.py
  15
  16 *** Variables ***
  17 ${exclusion_regex}    'metering|test_l3_agent_scheduler.L3AgentSchedulerTestJSON|test_extensions.ExtensionsTestJSON.test_list_show_extensions|test_routers_dvr.RoutersTestDVR.test_centralized_router_update_to_dvr'
  18 ${tempest_config_file}    /opt/stack/tempest/etc/tempest.conf
  19 ${external_physical_network}    physnet1
  20 ${external_net_name}    external-net
  21 ${external_subnet_name}    external-subnet
  22 ${external_gateway}    10.10.10.250
  23 ${external_subnet}    10.10.10.0/24
  24
  25 *** Test Cases ***
  26 tempest.api.network
  27     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  28
  29 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_connectivity_between_vms_on_different_networks
  30     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  31
  32 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops
  33     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  34
  35 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_port_security_macspoofing_port
  36     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  37
  38 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_preserve_preexisting_port
  39     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  40
  41 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_subnet_details
  42     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  43
  44 tempest.scenario.test_aggregates_basic_ops.TestAggregatesBasicOps.test_aggregate_basic_ops
  45     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  46
  47 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_pause_unpause
  48     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  49
  50 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_stop_start
  51     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  52
  53 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_reboot
  54     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  55
  56 tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops
  57     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  58
  59 *** Keywords ***
  60 Log In To Tempest Executor And Setup Test Environment
  61     [Documentation]    Initialize SetupUtils, open SSH connection to a devstack system and source the openstack
  62     ...    credentials needed to run the tempest tests
  63     SetupUtils.Setup_Utils_For_Setup_And_Teardown
  64     # source_pwd is expected to exist in the below Create Network, Create Subnet keywords.    Might be a bug.
  65     ${source_pwd}    Set Variable    yes
  66     Set Suite Variable    ${source_pwd}
  67     # Tempest tests need an existing external network in order to create routers.
  68     Create Network    ${external_net_name} --router:external --provider:network_type=flat --provider:physical_network=${external_physical_network}
  69     Create Subnet    ${external_net_name}    ${external_subnet_name}    ${external_subnet}    --gateway ${external_gateway}
  70     List Networks
  71     ${control_node_conn_id}=    SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT_STRICT}
  72     Utils.Flexible SSH Login    ${OS_USER}
  73     Write Commands Until Prompt    source ${DEVSTACK_DEPLOY_PATH}/openrc admin admin
  74     Write Commands Until Prompt    sudo rm -rf /opt/stack/tempest/.testrepository
  75     ${net_id}=    Get Net Id    ${external_net_name}    ${control_node_conn_id}
  76     Tempest Conf Add External Network    ${net_id}
  77
  78 Tempest Conf Add External Network
  79     [Arguments]    ${external_network_id}
  80     [Documentation]    Tempest will be run with a config file - this function will add the
  81     ...    given external network ID to the configuration file.
  82     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    network    public_network_id    ${external_network_id}
  83     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    debug    False
  84     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    log_level    INFO
  85     Write Commands Until Prompt    sudo cat ${tempest_config_file}
  86     Write Commands Until Prompt    sudo chmod 777 ${tempest_config_file}
  87
  88 Modify Config In File On Existing SSH Connection
  89     [Arguments]    ${config_file}    ${modifier}    ${config_section}    ${config_key}    ${config_value}=${EMPTY}
  90     [Documentation]    uses crudini to populate oslo cofg file.
  91     # this keyword is only one line so seems like extra overhead, but this may be a good candidate to move
  92     # to a library at some point, when/if other suites need to use it, so wanted to make it generic.
  93     Write Commands Until Prompt    sudo -E crudini --${modifier} ${config_file} ${config_section} ${config_key} ${config_value}
  94
  95 Clean Up After Running Tempest
  96     [Documentation]    Clean up any extra leftovers that were created to allow tempest tests to run.
  97     Delete Network    ${external_net_name}
  98     List Networks
  99     Close All Connections