Code Review / integration / test.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Add External Network PNF Tests
[integration/test.git] / csit / suites / openstack / tempest / tempest.robot
diff --git a/csit/suites/openstack/tempest/tempest.robot b/csit/suites/openstack/tempest/tempest.robot
index d6b70a1a942d3b4bb960eadeb75917c234ee5fdf..4633a42a4da972014c720212e49b9b005f7a0392 100644 (file)
--- a/csit/suites/openstack/tempest/tempest.robot
+++ b/csit/suites/openstack/tempest/tempest.robot
@@ -12,95 +12,92 @@ Resource          ../../../libraries/OpenStackOperations.robot
 Resource          ../../../libraries/SetupUtils.robot
 Resource          ../../../libraries/Utils.robot
 Variables         ../../../variables/Variables.py
+Resource          ../../../variables/netvirt/Variables.robot
 
 *** Variables ***
-${exclusion_regex}    'test_routers_negative.RoutersNegativeIpV6Test.test_router_set_gateway_used_ip_returns_409|test_routers_negative.RoutersNegativeTest.test_router_set_gateway_used_ip_returns_409'
+${blacklist_file}    /tmp/blacklist.txt
+@{stable/mitaka_exclusion_regexes}    test_routers_negative.RoutersNegativeIpV6Test.test_router_set_gateway_used_ip_returns_409    test_routers_negative.RoutersNegativeTest.test_router_set_gateway_used_ip_returns_409
+@{stable/newton_exclusion_regexes}    ${EMPTY}
 ${tempest_config_file}    /opt/stack/tempest/etc/tempest.conf
+${external_physical_network}    physnet1
 ${external_net_name}    external-net
 ${external_subnet_name}    external-subnet
+# Parameter values below are based on releng/builder - changing them requires updates in releng/builder as well
 ${external_gateway}    10.10.10.250
+${external_subnet_allocation_pool}    start=10.10.10.2,end=10.10.10.249
 ${external_subnet}    10.10.10.0/24
 ${network_vlan_id}    167
 
 *** Test Cases ***
 tempest.api.network
-    # mitaka release and earlier would fail on the RoutersNegative* tests, so skipping here and running
-    # explicitly in their own test cases which will skip_if_stable/mitaka is the openstack branch
-    ${TEST_NAME}    ${exclusion_regex}
-
-tempest.api.network.test_routers_negative.RoutersNegativeIpV6Test
-    [Tags]    skip_if_stable/mitaka
-    # OpenStack patch to fix this was merged in newton+ and will not be back-ported to mitaka
-    # https://review.openstack.org/#/c/219215
-    ${TEST_NAME}
-
-tempest.api.network.test_routers_negative.RoutersNegativeTest
-    [Tags]    skip_if_stable/mitaka
-    # OpenStack patch to fix this was merged in newton+ and will not be back-ported to mitaka
-    # https://review.openstack.org/#/c/219215
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_connectivity_between_vms_on_different_networks
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_hotplug_nic
     [Tags]    skip_if_stable/mitaka
     # Failing due to default security rules behavior missing in Mitaka
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_mtu_sized_frames
-    [Tags]    skip_if_stable/mitaka    skip_if_stable/newton
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_preserve_preexisting_port
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_router_rescheduling
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_subnet_details
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_aggregates_basic_ops.TestAggregatesBasicOps.test_aggregate_basic_ops
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_pause_unpause
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_stop_start
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_reboot
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_rebuild
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_advanced_server_ops.TestNetworkAdvancedServerOps.test_server_connectivity_suspend_resume
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_port_security_macspoofing_port
     [Tags]    skip_if_transparent    skip_if_stable/mitaka
     # Failing due to default security rules behavior missing in Mitaka, and also in all transparent runs
-    ${TEST_NAME}
+    ${TEST_NAME}    ${blacklist_file}    ${tempest_config_file}
 
 *** Keywords ***
 Log In To Tempest Executor And Setup Test Environment
     [Documentation]    Initialize SetupUtils, open SSH connection to a devstack system and source the openstack
-    ...    credentials needed to run the tempest tests
+    ...    credentials needed to run the tempest tests. The (sometimes empty) tempest blacklist file will be created
+    ...    and pushed to the tempest executor.
+    Create Blacklist File
     SetupUtils.Setup_Utils_For_Setup_And_Teardown
     # source_pwd is expected to exist in the below Create Network, Create Subnet keywords.    Might be a bug.
     ${source_pwd}    Set Variable    yes
     Set Suite Variable    ${source_pwd}
     # Tempest tests need an existing external network in order to create routers.
-    Create Network    ${external_net_name} --router:external --provider:network_type=vlan --provider:physical_network=${PUBLIC_PHYSICAL_NETWORK} --provider:segmentation_id=${network_vlan_id}
-    Create Subnet    ${external_net_name}    ${external_subnet_name}    ${external_subnet}    --gateway ${external_gateway}
+    : FOR    ${feature_name}    IN    @{legacy_feature_list}
+    \    ${feature_check_status}=    Run Keyword And Return Status    Verify Feature Is Installed    ${feature_name}
+    \    Exit For Loop If    '${feature_check_status}' == 'True'
+    Run Keyword If    '${feature_check_status}' == 'True'    Create Network    ${external_net_name}    --router:external --provider:network_type=flat --provider:physical_network=${external_physical_network}
+    ...    ELSE    Create Network    ${external_net_name}    --router:external --provider:network_type=vlan --provider:physical_network=${PUBLIC_PHYSICAL_NETWORK} --provider:segmentation_id=${network_vlan_id}
+    Create Subnet    ${external_net_name}    ${external_subnet_name}    ${external_subnet}    --gateway ${external_gateway} --allocation-pool ${external_subnet_allocation_pool}
     List Networks
     ${control_node_conn_id}=    SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT_STRICT}
     Utils.Flexible SSH Login    ${OS_USER}
@@ -113,9 +110,9 @@ Tempest Conf Add External Network
     [Arguments]    ${external_network_id}
     [Documentation]    Tempest will be run with a config file - this function will add the
     ...    given external network ID to the configuration file.
-    Modify Config In File On Existing SSH Connection    set    network    public_network_id    ${external_network_id}
-    Modify Config In File On Existing SSH Connection    set    DEFAULT    debug    False
-    Modify Config In File On Existing SSH Connection    set    DEFAULT    log_level    INFO
+    Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    network    public_network_id    ${external_network_id}
+    Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    debug    False
+    Modify Config In File On Existing SSH Connection    ${tempest_config_file}    set    DEFAULT    log_level    INFO
     Write Commands Until Prompt    sudo cat ${tempest_config_file}
     Write Commands Until Prompt    sudo chmod 777 ${tempest_config_file}
 
@@ -131,3 +128,13 @@ Clean Up After Running Tempest
     Delete Network    ${external_net_name}
     List Networks
     Close All Connections
+
+Create Blacklist File
+    [Documentation]    For each exclusion regex in the required @{${OPENSTACK_BRANCH}_exclusion_regexes} list a new
+    ...    line will be created in the required ${blacklist_file} location. This file is pushed to the OS_CONTROL_NODE
+    ...    which is assumed to be the tempest executor.
+    Create File    ${blacklist_file}
+    : FOR    ${exclusion}    IN    @{${OPENSTACK_BRANCH}_exclusion_regexes}
+    \    Append To File    ${blacklist_file}    ${exclusion}\n
+    Log File    ${blacklist_file}
+    SSHKeywords.Copy File To Remote System    ${OS_CONTROL_NODE_IP}    ${blacklist_file}    ${blacklist_file}
Integration test