csit/libraries/DevstackUtils.robot

   1 *** Settings ***
   2 Documentation     General Utils library. This library has broad scope, it can be used by any robot system tests.
   3 Library           SSHLibrary
   4 Library           String
   5 Library           DateTime
   6 Library           Process
   7 Library           Collections
   8 Library           RequestsLibrary
   9 Library           ./UtilLibrary.py
  10 Resource          KarafKeywords.robot
  11 Resource          OpenStackOperations.robot
  12 Variables         ../variables/Variables.py
  13
  14 *** Variables ***
  15 ${OPENSTACK_BRANCH}    stable/liberty
  16 ${NETWORKING-ODL_BRANCH}    ${OPENSTACK_BRANCH}
  17 ${TEMPEST_REGEX}    tempest.api.network
  18 ${ODL_BOOT_WAIT_URL}    restconf/operational/network-topology:network-topology/topology/netvirt:1
  19 ${default_devstack_prompt_timeout}    10s
  20 ${devstack_workspace}    ~/ds_workspace
  21 ${DEVSTACK_SYSTEM_PASSWORD}    \    # set to empty, but provide for others to override if desired
  22 ${CLEAN_DEVSTACK_HOST}    False
  23
  24 *** Keywords ***
  25 Run Tempest Tests
  26     [Arguments]    ${tempest_regex}    ${tempest_exclusion_regex}=""    ${tempest_conf}=""    ${tempest_directory}=/opt/stack/tempest    ${timeout}=600s
  27     [Documentation]    Execute the tempest tests.
  28     ${devstack_conn_id}=    Get ControlNode Connection
  29     Switch Connection    ${devstack_conn_id}
  30     Write Commands Until Prompt    source ${DEVSTACK_DEPLOY_PATH}/openrc admin admin
  31     Write Commands Until Prompt    cd ${tempest_directory}
  32     Write Commands Until Prompt    sudo testr list-tests | egrep ${tempest_regex} | egrep -v ${tempest_exclusion_regex} > tests_to_execute.txt
  33     ${tests_to_execute}=    Write Commands Until Prompt    sudo cat tests_to_execute.txt
  34     Log    ${tests_to_execute}
  35     # run_tempests.sh is a wrapper to testr, and we are providing the config file
  36     ${results}=    Write Commands Until Prompt    sudo -E ${tempest_directory}/run_tempest.sh -C ${tempest_conf} -N ${tempest_regex} -- --load-list tests_to_execute.txt    timeout=${timeout}
  37     Log    ${results}
  38     # Save stdout to file
  39     Create File    tempest_output_${tempest_regex}.log    data=${results}
  40     # output tempest generated log file which may have different debug levels than what stdout would show
  41     # FIXME: having the INFO level tempest logs is helpful as it gives details like the UUIDs of nouns used in the
  42     # the tests which can sometimes be tracked in ODL and Openstack logs when debugging. However, this "cat" step
  43     # does not even complete for the tempest.api.network tests in under 2min. We need a faster way to get this
  44     # info. Probably pulling the log file and storing it on the log server is best. Hopefully someone can get
  45     # to this. For now, commenting out this next debug step.
  46     # ${output}=    Write Commands Until Prompt    cat ${tempest_directory}/tempest.log    timeout=120s
  47     # Log    ${output}
  48     Should Contain    ${results}    Failed: 0
  49     # TODO: also need to verify some non-zero pass count as well as other results are ok (e.g. skipped, etc)
  50
  51 Devstack Suite Setup
  52     [Arguments]    ${source_pwd}=no    ${odl_ip}=${ODL_SYSTEM_IP}
  53     [Documentation]    Login to the Openstack Control Node to run tempest suite
  54     Create Session    session    http://${odl_ip}:${RESTCONFPORT}    auth=${AUTH}    headers=${HEADERS}
  55     ${devstack_conn_id}=    SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT}
  56     Set Suite Variable    ${devstack_conn_id}
  57     Set Suite Variable    ${source_pwd}
  58     Log    ${devstack_conn_id}
  59     Utils.Flexible SSH Login    ${OS_USER}    ${DEVSTACK_SYSTEM_PASSWORD}
  60     SSHLibrary.Set Client Configuration    timeout=${default_devstack_prompt_timeout}
  61
  62 Clean DevStack Host In Case It Is Not Sterile
  63     [Documentation]    In upstream CI, the expectation is that the devstack VM is fresh, sterile and ready
  64     ...    for any version of devstack, networking-odl, and OpenDaylight. During local test development,
  65     ...    it can be faster to just clean the needed packages, configurations, repos, files, etc. instead of
  66     ...    spinning up a new system. This keyword serves as a living list of those items needed to prep a
  67     ...    potentially non-sterile devstack system.
  68     Write Commands Until Prompt    pgrep python | awk '{print "sudo kill",$1}' | sh
  69     Write Commands Until Prompt    pgrep java | awk '{print "sudo kill",$1}' | sh
  70     Write Commands Until Prompt    rpm -qa | grep rdo
  71     Write Commands Until Prompt    sudo rpm -e $(sudo rpm -qa | grep rdo)
  72     Write Commands Until Prompt    sudo yum remove -y pyOpenSSL
  73     Write Commands Until Prompt    sudo -H pip uninstall -y virtualenv
  74     Write Commands Until Prompt    sudo rm -rf /tmp/ansible /opt/stack
  75     Write Commands Until Prompt    rm -rf ${devstack_workspace} ~/os-testr
  76     Write Commands Until Prompt    sudo ovs-vsctl del-br br-ex
  77     Write Commands Until Prompt    sudo ovs-vsctl del-br br-int
  78     Write Commands Until Prompt    sudo ovs-vsctl del-manager
  79
  80 Write Commands Until Prompt
  81     [Arguments]    ${cmd}    ${timeout}=${default_devstack_prompt_timeout}
  82     [Documentation]    quick wrapper for Write and Read Until Prompt Keywords to make test cases more readable
  83     SSHLibrary.Set Client Configuration    timeout=${timeout}
  84     SSHLibrary.Read
  85     SSHLibrary.Write    ${cmd}
  86     ${output}=    SSHLibrary.Read Until Prompt
  87     [Return]    ${output}
  88
  89 Get Networking ODL Version Of Release
  90     [Arguments]    ${version}
  91     [Documentation]    Get version of ODL to be installed
  92     # once Beryllium SR1 goes out, we can change beryllium-latest to use 0.4.2
  93     Return From Keyword If    "${version}" == "beryllium-latest"    beryllium-snapshot-0.4.2
  94     Return From Keyword If    "${version}" == "beryllium-SR1"    beryllium-snapshot-0.4.1
  95     Return From Keyword If    "${version}" == "beryllium"    beryllium-snapshot-0.4.0
  96     Return From Keyword If    "${version}" == "lithium-latest"    lithium-snapshot-0.3.5
  97     Return From Keyword If    "${version}" == "lithium-SR4"    lithium-snapshot-0.3.4
  98     Return From Keyword If    "${version}" == "lithium-SR3"    lithium-snapshot-0.3.3
  99     Return From Keyword If    "${version}" == "lithium-SR2"    lithium-snapshot-0.3.2
 100     Return From Keyword If    "${version}" == "lithium-SR1"    lithium-snapshot-0.3.1
 101     # FYI networking-odl no longer has this for some reason.
 102     Return From Keyword If    "${version}" == "lithium"    lithium-snapshot-0.3.0
 103     Return From Keyword If    "${version}" == "helium"    helium
 104
 105 Show Devstack Debugs
 106     [Documentation]    Collect the devstack logs to debug in case of failure
 107     Write Commands Until Prompt    gunzip /opt/stack/logs/devstacklog.txt.gz
 108     Write Commands Until Prompt    tail -n2000 /opt/stack/logs/devstacklog.txt    timeout=600s
 109     Write Commands Until Prompt    grep 'distribution-karaf.*zip' /opt/stack/logs/devstacklog.txt