csit/suites/openstack/tempest/tempest.robot

   1 *** Settings ***
   2 Documentation     Test suite for running tempest tests. It is assumed that the test environment
   3 ...               is already deployed and ready.
   4 Suite Setup       Log In To Tempest Executor And Setup Test Environment
   5 Suite Teardown    Clean Up After Running Tempest
   6 Test Setup        SetupUtils.Setup_Test_With_Logging_And_Without_Fast_Failing
   7 Test Teardown     Run Keywords    Get Test Teardown Debugs
   8 Test Template     DevstackUtils.Run Tempest Tests
   9 Library           SSHLibrary
  10 Resource          ../../../libraries/DevstackUtils.robot
  11 Resource          ../../../libraries/OpenStackOperations.robot
  12 Resource          ../../../libraries/SetupUtils.robot
  13 Resource          ../../../libraries/Utils.robot
  14 Variables         ../../../variables/Variables.py
  15
  16 *** Variables ***
  17 ${exclusion_regex}    'metering|test_l3_agent_scheduler.L3AgentSchedulerTestJSON|test_extensions.ExtensionsTestJSON.test_list_show_extensions|test_routers_dvr.RoutersTestDVR.test_centralized_router_update_to_dvr'
  18 ${tempest_config_file}    /opt/stack/tempest/etc/tempest.conf
  19 ${external_net_name}    external-net
  20 ${external_subnet_name}    external-subnet
  21 ${external_gateway}    10.10.10.250
  22 ${external_subnet}    10.10.10.0/24
  23 ${network_vlan_id}    167
  24
  25 *** Test Cases ***
  26 tempest.api.network
  27     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  28
  29 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_connectivity_between_vms_on_different_networks
  30     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  31
  32 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_hotplug_nic
  33     [Tags]    skip_if_stable/mitaka
  34     # Failing due to default security rules behavior missing in Mitaka
  35     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  36
  37 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_mtu_sized_frames
  38     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  39
  40 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops
  41     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  42
  43 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_preserve_preexisting_port
  44     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  45
  46 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_router_rescheduling
  47     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  48
  49 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_subnet_details
  50     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  51
  52 tempest.scenario.test_aggregates_basic_ops.TestAggregatesBasicOps.test_aggregate_basic_ops
  53     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  54
  55 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_pause_unpause
  56     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  57
  58 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_stop_start
  59     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  60
  61 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_reboot
  62     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  63
  64 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_rebuild
  65     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  66
  67 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_suspend_resume
  68     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  69
  70 tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops
  71     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  72
  73 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_port_security_macspoofing_port
  74     [Tags]    skip_if_transparent    skip_if_stable/mitaka
  75     # Failing due to default security rules behavior missing in Mitaka, and also in all transparent runs
  76     ${TEST_NAME}    ${exclusion_regex}    ${tempest_config_file}
  77
  78 *** Keywords ***
  79 Log In To Tempest Executor And Setup Test Environment
  80     [Documentation]    Initialize SetupUtils, open SSH connection to a devstack system and source the openstack
  81     ...    credentials needed to run the tempest tests
  82     SetupUtils.Setup_Utils_For_Setup_And_Teardown
  83     # source_pwd is expected to exist in the below Create Network, Create Subnet keywords.    Might be a bug.
  84     ${source_pwd}    Set Variable    yes
  85     Set Suite Variable    ${source_pwd}
  86     # Tempest tests need an existing external network in order to create routers.
  87     Create Network    ${external_net_name} --router:external --provider:network_type=vlan --provider:physical_network=${PUBLIC_PHYSICAL_NETWORK} --provider:segmentation_id=${network_vlan_id}
  88     Create Subnet    ${external_net_name}    ${external_subnet_name}    ${external_subnet}    --gateway ${external_gateway}
  89     List Networks
  90     ${control_node_conn_id}=    SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT_STRICT}
  91     Utils.Flexible SSH Login    ${OS_USER}
  92     Write Commands Until Prompt    source ${DEVSTACK_DEPLOY_PATH}/openrc admin admin
  93     Write Commands Until Prompt    sudo rm -rf /opt/stack/tempest/.testrepository
  94     ${net_id}=    Get Net Id    ${external_net_name}    ${control_node_conn_id}
  95     Tempest Conf Add External Network    ${net_id}
  96
  97 Tempest Conf Add External Network
  98     [Arguments]    ${external_network_id}
  99     [Documentation]    Tempest will be run with a config file - this function will add the
 100     ...    given external network ID to the configuration file.
 101     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    network    public_network_id    ${external_network_id}
 102     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    debug    False
 103     Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    log_level    INFO
 104     Write Commands Until Prompt    sudo cat ${tempest_config_file}
 105     Write Commands Until Prompt    sudo chmod 777 ${tempest_config_file}
 106
 107 Modify Config In File On Existing SSH Connection
 108     [Arguments]    ${config_file}    ${modifier}    ${config_section}    ${config_key}    ${config_value}=${EMPTY}
 109     [Documentation]    uses crudini to populate oslo cofg file.
 110     # this keyword is only one line so seems like extra overhead, but this may be a good candidate to move
 111     # to a library at some point, when/if other suites need to use it, so wanted to make it generic.
 112     Write Commands Until Prompt    sudo -E crudini --${modifier} ${config_file} ${config_section} ${config_key} ${config_value}
 113
 114 Clean Up After Running Tempest
 115     [Documentation]    Clean up any extra leftovers that were created to allow tempest tests to run.
 116     Delete Network    ${external_net_name}
 117     List Networks
 118     Close All Connections