csit/libraries/NexusKeywords.robot

   1 *** Settings ***
   2 Documentation     Nexus repository access keywords, and supporting Java and Maven handling.
   3 ...
   4 ...               Copyright (c) 2015,2016 Cisco Systems, Inc. and others. All rights reserved.
   5 ...
   6 ...               This program and the accompanying materials are made available under the
   7 ...               terms of the Eclipse Public License v1.0 which accompanies this distribution,
   8 ...               and is available at http://www.eclipse.org/legal/epl-v10.html
   9 ...
  10 ...
  11 ...               This library encapsulates a bunch of somewhat complex and commonly used
  12 ...               Nexus operations into reusable keywords to make writing test suites easier.
  13 ...
  14 ...               Currently, Java version detection is incorporated so that Java tools can be run reliably.
  15 ...               Also, suport for installing and running Maven is added, as that needs the Java detection.
  16 ...               TODO: Move Java detection and Maven to a separate Resource, or rename this Resource.
  17 Library           Collections
  18 Library           OperatingSystem
  19 Library           SSHLibrary
  20 Library           String
  21 Resource          ${CURDIR}/SSHKeywords.robot
  22 Resource          ${CURDIR}/Utils.robot
  23
  24 *** Variables ***
  25 &{COMPONENT_MAPPING}    netconf=netconf-impl    bgpcep=pcep-impl    carpeople=clustering-it-model    yangtools=yang-data-impl    bindingv1=mdsal-binding-generator-impl
  26 ${JDKVERSION}     None
  27 ${JAVA_7_HOME_CENTOS}    /usr/lib/jvm/java-1.7.0
  28 ${JAVA_7_HOME_UBUNTU}    /usr/lib/jvm/java-7-openjdk-amd64
  29 ${JAVA_8_HOME_CENTOS}    /usr/lib/jvm/java-1.8.0
  30 ${JAVA_8_HOME_UBUNTU}    /usr/lib/jvm/java-8-openjdk-amd64
  31 ${JAVA_OPTIONS}    -Xmx2560m    # Note that '-Xmx=3g' is wrong syntax. Also 3GB heap may not fit in 4GB RAM.
  32 ${JAVA_7_OPTIONS}    -Xmx2048m -XX:MaxPermSize=512m
  33 ${MAVEN_DEFAULT_OUTPUT_FILENAME}    default_maven.log
  34 ${MAVEN_OPTIONS}    -Pq -Djenkins
  35 ${MAVEN_REPOSITORY_PATH}    /tmp/r
  36 ${MAVEN_SETTINGS_URL}    https://raw.githubusercontent.com/opendaylight/odlparent/master/settings.xml
  37 ${MAVEN_VERSION}    3.3.9
  38 ${NEXUS_FALLBACK_URL}    ${NEXUSURL_PREFIX}/content/repositories/opendaylight.snapshot
  39
  40 *** Keywords ***
  41 Initialize_Artifact_Deployment_And_Usage
  42     [Arguments]    ${tools_system_connect}=True
  43     [Documentation]    Places search utility to ODL system, which will be needed for version detection.
  44     ...    By default also initialize a SSH connection to Tools system,
  45     ...    as following Keywords assume a working connection towards target system.
  46     # Connect to the ODL machine.
  47     ${odl} =    SSHKeywords.Open_Connection_To_ODL_System
  48     # Deploy the search tool.
  49     SSHLibrary.Put_File    ${CURDIR}/../../tools/deployment/search.sh
  50     SSHLibrary.Close_Connection
  51     # Optionally connect to the Tools System machine.
  52     BuiltIn.Return_From_Keyword_If    not (${tools_system_connect})    # the argument may be a convoluted Python expression
  53     SSHKeywords.Open_Connection_To_Tools_System
  54
  55 NexusKeywords__Get_Items_To_Look_At
  56     [Arguments]    ${component}
  57     [Documentation]    Get a list of items that might contain the version number that we are looking for.
  58     ...
  59     ...    &{COMPONENT_MAPPING} is the centralized place to maintain the mapping
  60     ...    from a stream independent component nickname to the list of artifact names to search for.
  61     Collections.Dictionary_Should_Contain_Key    ${COMPONENT_MAPPING}    ${component}    Component not supported by NexusKeywords version detection: ${component}
  62     BuiltIn.Run_Keyword_And_Return    Collections.Get_From_Dictionary    ${COMPONENT_MAPPING}    ${component}
  63
  64 NexusKeywords__Detect_Version_To_Pull
  65     [Arguments]    ${component}
  66     [Documentation]    Determine the exact Nexus directory to be used as a source for a particular test tool
  67     ...    Figure out what version of the tool needs to be pulled out of the
  68     ...    Nexus by looking at the version directory of the subsystem from
  69     ...    which the tool is being pulled. This code is REALLY UGLY but there
  70     ...    is no way around it until the bug
  71     ...    https://bugs.opendaylight.org/show_bug.cgi?id=5206 gets fixed.
  72     ...    I also don't want to depend on maven-metadata-local.xml and other
  73     ...    bits and pieces of ODL distribution which are not required for ODL
  74     ...    to function properly.
  75     ${itemlist} =    NexusKeywords__Get_Items_To_Look_At    ${component}
  76     ${current_ssh_connection} =    SSHLibrary.Get Connection
  77     SSHKeywords.Open_Connection_To_ODL_System
  78     ${version}    ${result} =    SSHLibrary.Execute_Command    sh search.sh ${WORKSPACE}/${BUNDLEFOLDER}/system ${itemlist}    return_rc=True
  79     SSHLibrary.Close_Connection
  80     SSHKeywords.Restore Current SSH Connection From Index    ${current_ssh_connection.index}
  81     BuiltIn.Log    ${version}
  82     BuiltIn.Run_Keyword_If    ${result}!=0    BuiltIn.Fail    Component "${component}": searching for "${itemlist}" found no version, cannot locate test tool.
  83     ${version}    ${location} =    String.Split_String    ${version}    max_split=1
  84     [Return]    ${version}    ${location}
  85
  86 Deploy_From_Url
  87     [Arguments]    ${url}
  88     [Documentation]    On active SSH conenction execute download ${url} command, log output, check RC and return file name.
  89     ${filename} =    String.Fetch_From_Right    ${url}    /
  90     ${response}    ${result} =    SSHLibrary.Execute_Command    wget -q -N '${url}' 2>&1    return_rc=True
  91     BuiltIn.Log    ${response}
  92     BuiltIn.Run_Keyword_If    ${result} != 0    BuiltIn.Fail    File ${filename} could not be downloaded from ${url}
  93     [Return]    ${filename}
  94
  95 Deploy_Artifact
  96     [Arguments]    ${component}    ${artifact}    ${name_prefix}=${artifact}-    ${name_suffix}=-executable.jar    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}
  97     [Documentation]    Deploy the specified artifact from Nexus to the cwd of the machine to which the active SSHLibrary connection points.
  98     ...    ${component} is a name part of an artifact present in system/ of ODl installation with the same version as ${artifact} should have.
  99     ...    Must have ${BUNDLE_URL} variable set to the URL from which the
 100     ...    tested ODL distribution was downloaded and this place must be
 101     ...    inside a repository created by a standard distribution
 102     ...    construction job. If this is detected to ne be the case, fallback URL is used.
 103     ...    If ${explicit_url} is non-empty, Deploy_From_Utrl is called instead.
 104     ...    TODO: Allow deploying to a specific directory, we have SSHKeywords.Execute_Command_At_Cwd_Should_Pass now.
 105     BuiltIn.Run_Keyword_And_Return_If    """${explicit_url}""" != ""    Deploy_From_Url    ${explicit_url}
 106     ${urlbase} =    String.Fetch_From_Left    ${BUNDLE_URL}    /org/opendaylight
 107     # If the BUNDLE_URL points somewhere else (perhaps *patch-test* job in Jenkins),
 108     # ${urlbase} is the whole ${BUNDLE_URL}, in which case we use the ${fallback_url}
 109     ${urlbase} =    BuiltIn.Set_Variable_If    '${urlbase}' != '${BUNDLE_URL}'    ${urlbase}    ${fallback_url}
 110     ${version}    ${location} =    NexusKeywords__Detect_Version_To_Pull    ${component}
 111     # TODO: Use RequestsLibrary and String instead of curl and bash utilities?
 112     ${url} =    BuiltIn.Set_Variable    ${urlbase}/${location}/${artifact}/${version}
 113     # TODO: Review SSHKeywords for current best keywords to call.
 114     ${metadata} =    SSHKeywords.Execute_Command_Should_Pass    curl -L ${url}/maven-metadata.xml
 115     ${status}    ${namepart} =    BuiltIn.Run_Keyword_And_Ignore_Error    SSHKeywords.Execute_Command_Should_Pass    echo "${metadata}" | grep value | head -n 1 | cut -d '>' -f 2 | cut -d '<' -f 1    stderr_must_be_empty=${True}
 116     ${length} =    BuiltIn.Get_Length    ${namepart}
 117     ${namepart} =    BuiltIn.Set_Variable_If    "${status}" != "PASS" or ${length} == 0    ${version}    ${namepart}
 118     ${filename} =    BuiltIn.Set_Variable    ${name_prefix}${namepart}${name_suffix}
 119     BuiltIn.Log    ${filename}
 120     ${url} =    BuiltIn.Set_Variable    ${url}/${filename}
 121     ${response}    ${result} =    SSHLibrary.Execute_Command    wget -q -N '${url}' 2>&1    return_rc=True
 122     BuiltIn.Log    ${response}
 123     BuiltIn.Run_Keyword_If    ${result} != 0    BuiltIn.Fail    Artifact "${artifact}" in component "${component}" could not be downloaded from ${url}
 124     [Return]    ${filename}
 125
 126 Deploy_Test_Tool
 127     [Arguments]    ${component}    ${artifact}    ${suffix}=executable    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}
 128     [Documentation]    Deploy a test tool.
 129     ...    The test tools have naming convention of the form
 130     ...    "<repository_url>/some/dir/somewhere/<tool-name>/<tool-name>-<version-tag>-${suffix}.jar"
 131     ...    where "<tool-name>" is the name of the tool and "<version-tag>" is
 132     ...    the version tag that is digged out of the maven metadata. This
 133     ...    keyword calculates ${name_prefix} and ${name_suffix} for
 134     ...    "Deploy_Artifact" and then calls "Deploy_Artifact" to do the real
 135     ...    work of deploying the artifact.
 136     ${name_prefix} =    BuiltIn.Set_Variable    ${artifact}-
 137     ${name_suffix} =    BuiltIn.Set_Variable_If    "${suffix}" != ""    -${suffix}.jar    .jar
 138     ${filename} =    Deploy_Artifact    ${component}    ${artifact}    ${name_prefix}    ${name_suffix}    ${fallback_url}
 139     ...    ${explicit_url}
 140     [Return]    ${filename}
 141
 142 Install_And_Start_Java_Artifact
 143     [Arguments]    ${component}    ${artifact}    ${suffix}=executable    ${tool_options}=${EMPTY}    ${java_options}=${EMPTY}    ${openjdk}=${JDKVERSION}
 144     ...    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}
 145     [Documentation]    Deploy the artifact, assign name for log file, figure out java command, write the command to active SSH connection and return the log name.
 146     ...    This keyword does not examine whether the artifact was started successfully or whether is still running upon return.
 147     # TODO: Unify this keyword with what NexusKeywords.Install_And_Start_Testtool does.
 148     ${default_java_options} =    Default_Java_Options    ${openjdk}
 149     ${actual_java_options} =    BuiltIn.Set_Variable_If    """${java_options}""" != ""    ${java_options}    ${default_java_options}
 150     ${filename} =    Deploy_Test_Tool    ${component}    ${artifact}    ${suffix}    ${fallback_url}    ${explicit_url}
 151     ${command} =    Compose_Full_Java_Command    ${actual_java_options} -jar ${filename} ${tool_options}
 152     ${logfile} =    Utils.Get_Log_File_Name    ${artifact}
 153     SSHLibrary.Write    ${command} >${logfile} 2>&1
 154     [Return]    ${logfile}
 155
 156 Compose_Dilemma_Filepath
 157     [Arguments]    ${default_path}    ${specific_path}
 158     [Documentation]    Query active SSH connection, return specific path if it exists else default path.
 159     ${out}    ${rc} =    SSHLibrary.Execute_Command    ls -lA ${specific_path} 2>&1    return_rc=True
 160     BuiltIn.Return_From_Keyword_If    ${rc} == 0    ${specific_path}
 161     BuiltIn.Return_From_Keyword    ${default_path}
 162
 163 Compose_Base_Java_Command
 164     [Arguments]    ${openjdk}=${JDKVERSION}
 165     [Documentation]    Return string suitable for launching Java programs over SSHLibrary, depending on JRE version needed.
 166     ...    This requires that the SSH connection on which the command is going to be used is active as it is needed for querying files.
 167     ...    Commands composed for one SSH connection shall not be reused on other SSH connections as the two connections may have different Java setups.
 168     ...    Not directly related to Nexus, but versioned Java tools may need this.
 169     # Check whether the user set the override and return it if yes.
 170     BuiltIn.Run_Keyword_And_Return_If    """${openjdk}""" == "openjdk8"    Compose_Dilemma_Filepath    ${JAVA_8_HOME_CENTOS}/bin/java    ${JAVA_8_HOME_UBUNTU}/bin/java
 171     BuiltIn.Run_Keyword_And_Return_If    """${openjdk}""" == "openjdk7"    Compose_Dilemma_Filepath    ${JAVA_7_HOME_CENTOS}/bin/java    ${JAVA_7_HOME_UBUNTU}/bin/java
 172     # Attempt to call plain "java" command directly. If it works, return it.
 173     ${out}    ${rc} =    SSHLibrary.Execute_Command    java -version 2>&1    return_rc=True
 174     BuiltIn.Return_From_Keyword_If    ${rc} == 0    java
 175     # Query the virtual machine for the JAVA_HOME environment variable and
 176     # use it to assemble a (hopefully) working command. If that worked out,
 177     # return the result.
 178     ${java} =    SSHLibrary.Execute_Command    echo \$JAVA_HOME/bin/java 2>&1
 179     ${out}    ${rc} =    SSHLibrary.Execute_Command    ${java} -version 2>&1    return_rc=True
 180     BuiltIn.Return_From_Keyword_If    ${rc} == 0    ${java}
 181     # There are bizzare test environment setups where the (correct) JAVA_HOME
 182     # is set in the VM where Robot is running but not in the VM where the
 183     # tools are supposed to run (usually because these two are really one
 184     # and the same system and idiosyncracies of BASH prevent easy injection
 185     # of the JAVA_HOME environment variable into a place where connections
 186     # made by SSHLibrary would pick it up). So try to use that value to
 187     # create a java command and check that it works.
 188     ${JAVA_HOME} =    OperatingSystem.Get_Environment_Variable    JAVA_HOME    ${EMPTY}
 189     ${java} =    BuiltIn.Set_Variable_If    """${JAVA_HOME}"""!=""    ${JAVA_HOME}/bin/java    false
 190     ${out}    ${rc} =    SSHLibrary.Execute_Command    ${java} -version 2>&1    return_rc=True
 191     BuiltIn.Return_From_Keyword_If    ${rc} == 0    ${java}
 192     # Nothing works, most likely java is not installed at all on the target
 193     # machine or it is hopelesly lost. Bail out with a helpful message
 194     # telling the user how to make it accessible for the script.
 195     BuiltIn.Fail    Unable to find Java; specify \${JDKVERSION}, put it to your PATH or set JAVA_HOME environment variable.
 196
 197 Compose_Full_Java_Command
 198     [Arguments]    ${options}    ${openjdk}=${JDKVERSION}
 199     [Documentation]    Return full Bash command to run Java with given options.
 200     ...    This requires that the SSH connection on which the command is going to be used is active as it is needed for querying files.
 201     ...    The options may include JVM options, application command line arguments, Bash redirects and other constructs.
 202     ${base_command} =    Compose_Base_Java_Command    openjdk=${openjdk}
 203     ${full_command} =    BuiltIn.Set_Variable    ${base_command} ${options}
 204     BuiltIn.Log    ${full_command}
 205     [Return]    ${full_command}
 206
 207 Compose_Java_Home
 208     [Arguments]    ${openjdk}=${JDKVERSION}
 209     [Documentation]    Compose base java command and strip trailing "/bin/java".
 210     ${java_command} =    Compose_Base_Java_Command
 211     ${java_home}    ${bin}    ${java} =    String.Split_String_From_Right    ${java_command}    separator=/    max_split=2
 212     [Return]    ${java_home}
 213
 214 Default_Java_Options
 215     [Arguments]    ${openjdk}=${JDKVERSION}
 216     [Documentation]    Return Java options suitable for current JDK version.
 217     ${java_actual_options} =    BuiltIn.Set_Variable_If    """${openjdk}""" == "openjdk7"    ${JAVA_7_OPTIONS}    ${JAVA_OPTIONS}
 218     [Return]    ${java_actual_options}
 219
 220 Install_Maven_Bare
 221     [Arguments]    ${maven_version}=3.3.9    ${openjdk}=${JDKVERSION}
 222     [Documentation]    Download and unpack Maven, prepare launch command with proper Java version and download settings file.
 223     ...    This Keyword requires an active SSH connection to target machine.
 224     ...    This Keyword sets global variables, so that suites can reuse existing installation.
 225     ...    This Keyword can only place Maven (and settings) to remote current working directory.
 226     ...    This Keyword does not perform any initial or final cleanup.
 227     # Avoid multiple initialization by several downstream libraries.
 228     ${installed_version} =    BuiltIn.Get_Variable_Value    \${Maven__installed_version}    None
 229     BuiltIn.Return_From_Keyword_If    """${installed_version}""" == """${maven_version}"""
 230     BuiltIn.Set_Global_Variable    \${Maven__installed_version}    ${maven_version}
 231     BuiltIn.Set_Global_Variable    \${maven_directory}    apache-maven-${maven_version}
 232     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    rm -rf '${maven_directory}'
 233     ${maven_archive_filename} =    BuiltIn.Set_Variable    ${maven_directory}-bin.tar.gz
 234     ${maven_download_url} =    BuiltIn.Set_Variable    http://www-us.apache.org/dist/maven/maven-3/${maven_version}/binaries/${maven_archive_filename}
 235     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    wget -N '${maven_download_url}'    stderr_must_be_empty=False
 236     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    tar xvf '${maven_archive_filename}'
 237     ${java_home} =    NexusKeywords.Compose_Java_Home    openjdk=${openjdk}
 238     ${java_actual_options} =    Default_Java_Options    ${openjdk}
 239     BuiltIn.Set_Global_Variable    \${maven_bash_command}    export JAVA_HOME='${java_home}' && export MAVEN_OPTS='${java_actual_options}' && ./${maven_directory}/bin/mvn
 240     # TODO: Get settings files from Jenkins settings provider, somehow.
 241     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    wget '${MAVEN_SETTINGS_URL}' -O settings.xml    stderr_must_be_empty=False
 242
 243 Install_Maven
 244     [Arguments]    ${maven_version}=3.3.9    ${openjdk}=${JDKVERSION}    ${branch}=${EMPTY}    ${patches}=${EMPTY}
 245     [Documentation]    Install Maven.
 246     ...    Depending on arguments, perform a multipatch build to populate local Maven repository with patched artifacts.
 247     Install_Maven_Bare    maven_version=${maven_version}    openjdk=${openjdk}
 248     BuiltIn.Return_From_Keyword_If    """${patches}""" == ""    No post-install build requested.
 249     BuiltIn.Run_Keyword_If    """${branch}""" == ""    BuiltIn.Fail    BRANCH needs to be specified for multipatch builds.
 250     ${script_name} =    BuiltIn.Set_Variable    include-raw-integration-multipatch-distribution-test.sh
 251     ${script_url} =    BuiltIn.Set_Variable    https://raw.githubusercontent.com/opendaylight/releng-builder/master/jjb/integration/${script_name}
 252     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    wget -N '${script_url}'    stderr_must_be_empty=False
 253     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    export WORKSPACE='${WORKSPACE}' && export BRANCH='${branch}' && export PATCHES_TO_BUILD='${patches}' && bash '${script_name}'    stderr_must_be_empty=False
 254     Run_Maven    pom_file=${WORKSPACE}/patch_tester/pom.xml
 255
 256 Run_Maven
 257     [Arguments]    ${pom_file}=pom.xml    ${log_file}=${MAVEN_DEFAULT_OUTPUT_FILENAME}
 258     [Documentation]    Determine arguments to use and call mvn command against given pom file.
 259     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    mkdir -p '${MAVEN_REPOSITORY_PATH}'
 260     ${maven_repository_options} =    BuiltIn.Set_Variable    -Dmaven.repo.local=${MAVEN_REPOSITORY_PATH} -Dorg.ops4j.pax.url.mvn.localRepository=${MAVEN_REPOSITORY_PATH}
 261     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    ${maven_bash_command} clean install dependency:tree -V -B -DoutputFile=dependency_tree.log -s './settings.xml' -f '${pom_file}' ${MAVEN_OPTIONS} ${maven_repository_options} > '${log_file}'