Tidied new and updated suites
[integration/test.git] / csit / libraries / DevstackUtils.robot
1 *** Settings ***
2 Documentation     General Utils library. This library has broad scope, it can be used by any robot system tests.
3 Library           SSHLibrary
4 Library           String
5 Library           DateTime
6 Library           Process
7 Library           Collections
8 Library           RequestsLibrary
9 Library           ./UtilLibrary.py
10 Resource          KarafKeywords.robot
11 Variables         ../variables/Variables.py
12
13 *** Variables ***
14 ${ODL_VERSION}    lithium-SR3
15 ${OPENSTACK_BRANCH}    stable/liberty
16 ${NETWORKING-ODL_BRANCH}    ${OPENSTACK_BRANCH}
17 ${TEMPEST_REGEX}    tempest.api.network
18 ${ODL_BOOT_WAIT_URL}    restconf/operational/network-topology:network-topology/topology/netvirt:1
19 ${default_devstack_prompt_timeout}    10s
20 ${devstack_workspace}    ~/ds_workspace
21 ${DEVSTACK_SYSTEM_PASSWORD}    \    # set to empty, but provide for others to override if desired
22 ${CLEAN_DEVSTACK_HOST}    False
23
24 *** Keywords ***
25 Run Tempest Tests
26     [Arguments]    ${tempest_regex}    ${timeout}=600s
27     [Documentation]    Execute the tempest tests
28     Write Commands Until Prompt    cd /opt/stack/new/tempest
29     Write Commands Until Prompt    sudo rm -rf /opt/stack/new/tempest/.testrepository
30     Write Commands Until Prompt    sudo testr init
31     ${results}=    Write Commands Until Prompt    sudo -E testr run ${tempest_regex} --subunit | subunit-trace --no-failure-debug -f    timeout=${timeout}
32     Create File    ${WORKSPACE}/tempest_output.log    data=${results}
33     Should Contain    ${results}    Failed: 0
34     # TODO: also need to verify some non-zero pass count as well as other results are ok (e.g. skipped, etc)
35
36 Devstack Suite Setup Tests
37     [Documentation]    Login to the Openstack Control Node to run tempest suite
38     SSHLibrary.Open Connection    ${OS_CONTROL_NODE_IP}    prompt=${DEFAULT_LINUX_PROMPT}
39     Utils.Flexible SSH Login    ${OS_USER}    ${DEVSTACK_SYSTEM_PASSWORD}
40     SSHLibrary.Set Client Configuration    timeout=${default_devstack_prompt_timeout}
41
42 Devstack Suite Setup
43     [Documentation]    Login to the Openstack Control Node to run tempest suite
44     SSHLibrary.Open Connection    ${DEVSTACK_SYSTEM_IP}    prompt=${DEFAULT_LINUX_PROMPT}
45     Utils.Flexible SSH Login    ${DEVSTACK_SYSTEM_USER}    ${DEVSTACK_SYSTEM_PASSWORD}
46     SSHLibrary.Set Client Configuration    timeout=${default_devstack_prompt_timeout}
47     Run Keyword If    ${CLEAN_DEVSTACK_HOST}    Clean DevStack Host In Case It Is Not Sterile
48     Write Commands Until Prompt    export PATH=$PATH:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/usr/local/sbin
49     Write Commands Until Prompt    export ODL_VERSION=${ODL_VERSION}
50     Write Commands Until Prompt    export OPENSTACK_BRANCH=${OPENSTACK_BRANCH}
51     Write Commands Until Prompt    export TEMPEST_REGEX=${TEMPEST_REGEX}
52     Write Commands Until Prompt    export ODL_BOOT_WAIT_URL=${ODL_BOOT_WAIT_URL}
53     ${odl_version_to_install}=    Get Networking ODL Version Of Release    ${ODL_VERSION}
54     Write Commands Until Prompt    export DEVSTACK_LOCAL_CONFIG="enable_plugin networking-odl https://git.openstack.org/openstack/networking-odl ${NETWORKING-ODL_BRANCH};"
55     Write Commands Until Prompt    export DEVSTACK_LOCAL_CONFIG+="ODL_NETVIRT_DEBUG_LOGS=True;ODL_RELEASE=${odl_version_to_install};"
56     Write Commands Until Prompt    echo $DEVSTACK_LOCAL_CONFIG
57     Write Commands Until Prompt    export OVERRIDE_ZUUL_BRANCH=${OPENSTACK_BRANCH}
58     Write Commands Until Prompt    export PYTHONUNBUFFERED=true
59     Write Commands Until Prompt    export DEVSTACK_GATE_TIMEOUT=120
60     Write Commands Until Prompt    export DEVSTACK_GATE_TEMPEST=1
61     Write Commands Until Prompt    export DEVSTACK_GATE_NEUTRON=1
62     Write Commands Until Prompt    export KEEP_LOCALRC=1
63     Write Commands Until Prompt    export PROJECTS="openstack/networking-odl $PROJECTS"
64     Write Commands Until Prompt    export DEVSTACK_GATE_TEMPEST_REGEX=tempest.api.network.test_ports.PortsTestJSON.test_show_port
65     Write Commands Until Prompt    sudo yum -y install redhat-lsb-core indent python-testrepository    timeout=120s
66     Write Commands Until Prompt    sudo /usr/sbin/groupadd ${DEVSTACK_SYSTEM_USER}
67     Write Commands Until Prompt    sudo mkdir -p /opt/stack/new
68     Write Commands Until Prompt    sudo chown -R ${DEVSTACK_SYSTEM_USER}:${DEVSTACK_SYSTEM_USER} /opt/stack/new
69     Write Commands Until Prompt    sudo bash -c 'echo "stack ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers'
70     Write Commands Until Prompt    sudo mkdir -p /usr/local/${DEVSTACK_SYSTEM_USER}/slave_scripts
71     Write Commands Until Prompt    git clone https://github.com/openstack/os-testr.git    timeout=30s
72     Write Commands Until Prompt    cd os-testr/os_testr
73     Write Commands Until Prompt    sudo cp subunit2html.py /usr/local/${DEVSTACK_SYSTEM_USER}/slave_scripts
74     Write Commands Until Prompt    mkdir -p ${devstack_workspace}
75     Write Commands Until Prompt    cd ${devstack_workspace}
76     Write Commands Until Prompt    export WORKSPACE=${devstack_workspace}
77     Write Commands Until Prompt    rm -rf devstack-gate
78     Write Commands Until Prompt    git clone https://git.openstack.org/openstack-infra/devstack-gate    timeout=30s
79
80 Clean DevStack Host In Case It Is Not Sterile
81     [Documentation]    In upstream CI, the expectation is that the devstack VM is fresh, sterile and ready
82     ...    for any version of devstack, networking-odl, and OpenDaylight. During local test development,
83     ...    it can be faster to just clean the needed packages, configurations, repos, files, etc. instead of
84     ...    spinning up a new system. This keyword serves as a living list of those items needed to prep a
85     ...    potentially non-sterile devstack system.
86     Write Commands Until Prompt    pgrep python | awk '{print "sudo kill",$1}' | sh
87     Write Commands Until Prompt    pgrep java | awk '{print "sudo kill",$1}' | sh
88     Write Commands Until Prompt    rpm -qa | grep rdo
89     Write Commands Until Prompt    sudo rpm -e $(sudo rpm -qa | grep rdo)
90     Write Commands Until Prompt    sudo yum remove -y pyOpenSSL
91     Write Commands Until Prompt    sudo -H pip uninstall -y virtualenv
92     Write Commands Until Prompt    sudo rm -rf /tmp/ansible /opt/stack
93     Write Commands Until Prompt    rm -rf ${devstack_workspace} ~/os-testr
94     Write Commands Until Prompt    sudo ovs-vsctl del-br br-ex
95     Write Commands Until Prompt    sudo ovs-vsctl del-br br-int
96     Write Commands Until Prompt    sudo ovs-vsctl del-manager
97
98 Write Commands Until Prompt
99     [Arguments]    ${cmd}    ${timeout}=${default_devstack_prompt_timeout}
100     [Documentation]    quick wrapper for Write and Read Until Prompt Keywords to make test cases more readable
101     SSHLibrary.Set Client Configuration    timeout=${timeout}
102     SSHLibrary.Write    ${cmd}
103     ${output}=    SSHLibrary.Read Until Prompt
104     [Return]    ${output}
105
106 Get Networking ODL Version Of Release
107     [Arguments]    ${version}
108     [Documentation]    Get version of ODL to be installed
109     # once Beryllium SR1 goes out, we can change beryllium-latest to use 0.4.2
110     Return From Keyword If    "${version}" == "beryllium-latest"    beryllium-snapshot-0.4.2
111     Return From Keyword If    "${version}" == "beryllium-SR1"    beryllium-snapshot-0.4.1
112     Return From Keyword If    "${version}" == "beryllium"    beryllium-snapshot-0.4.0
113     Return From Keyword If    "${version}" == "lithium-latest"    lithium-snapshot-0.3.5
114     Return From Keyword If    "${version}" == "lithium-SR4"    lithium-snapshot-0.3.4
115     Return From Keyword If    "${version}" == "lithium-SR3"    lithium-snapshot-0.3.3
116     Return From Keyword If    "${version}" == "lithium-SR2"    lithium-snapshot-0.3.2
117     Return From Keyword If    "${version}" == "lithium-SR1"    lithium-snapshot-0.3.1
118     # FYI networking-odl no longer has this for some reason.
119     Return From Keyword If    "${version}" == "lithium"    lithium-snapshot-0.3.0
120     Return From Keyword If    "${version}" == "helium"    helium
121
122 Show Devstack Debugs
123     [Documentation]    Collect the devstack logs to debug in case of failure
124     Write Commands Until Prompt    gunzip /opt/stack/logs/devstacklog.txt.gz
125     Write Commands Until Prompt    tail -n2000 /opt/stack/logs/devstacklog.txt    timeout=600s
126     Write Commands Until Prompt    grep 'distribution-karaf.*zip' /opt/stack/logs/devstacklog.txt