csit/libraries/NexusKeywords.robot

   1 *** Settings ***
   2 Documentation       Nexus repository access keywords, and supporting Java and Maven handling.
   3 ...
   4 ...                 Copyright (c) 2015,2016 Cisco Systems, Inc. and others. All rights reserved.
   5 ...
   6 ...                 This program and the accompanying materials are made available under the
   7 ...                 terms of the Eclipse Public License v1.0 which accompanies this distribution,
   8 ...                 and is available at http://www.eclipse.org/legal/epl-v10.html
   9 ...
  10 ...
  11 ...                 This library encapsulates a bunch of somewhat complex and commonly used
  12 ...                 Nexus operations into reusable keywords to make writing test suites easier.
  13 ...
  14 ...                 Currently, Java version detection is incorporated so that Java tools can be run reliably.
  15 ...                 Also, suport for installing and running Maven is added, as that needs the Java detection.
  16 ...                 TODO: Move Java detection and Maven to a separate Resource, or rename this Resource.
  17
  18 Library             Collections
  19 Library             OperatingSystem
  20 Library             SSHLibrary
  21 Library             String
  22 Library             XML
  23 Library             Collections
  24 Library             RequestsLibrary
  25 Resource            ${CURDIR}/CompareStream.robot
  26 Resource            ${CURDIR}/SSHKeywords.robot
  27 Resource            ${CURDIR}/Utils.robot
  28
  29
  30 *** Variables ***
  31 &{COMPONENT_MAPPING}
  32 ...                                 netconf=netconf-api
  33 ...                                 bgpcep=pcep-impl
  34 ...                                 carpeople=clustering-it-model
  35 ...                                 yangtools=yang-data-impl
  36 ...                                 bindingv1=mdsal-binding-generator-impl
  37 ...                                 odl-micro=odlmicro-impl
  38 @{RELEASE_INTEGRATED_COMPONENTS}    mdsal    odlparent    yangtools    carpeople    netconf    bgpcep
  39 ${JDKVERSION}                       None
  40 ${JAVA_8_HOME_CENTOS}               /usr/lib/jvm/java-1.8.0
  41 ${JAVA_8_HOME_UBUNTU}               /usr/lib/jvm/java-8-openjdk-amd64
  42 ${JAVA_11_HOME_CENTOS}              /usr/lib/jvm/java-11-openjdk
  43 ${JAVA_11_HOME_UBUNTU}              /usr/lib/jvm/java-11-openjdk-amd64
  44 ${JAVA_17_HOME_CENTOS}              /usr/lib/jvm/java-17-openjdk
  45 ${JAVA_17_HOME_UBUNTU}              /usr/lib/jvm/java-17-openjdk-amd64
  46 # Note that '-Xmx=3g' is wrong syntax. Also 3GB heap may not fit in 4GB RAM.
  47 ${JAVA_OPTIONS}
  48 ...                                 -Xmx2560m
  49 ${MAVEN_DEFAULT_OUTPUT_FILENAME}    default_maven.log
  50 ${MAVEN_OPTIONS}                    -Pq -Djenkins
  51 ${MAVEN_REPOSITORY_PATH}            /tmp/r
  52 ${MAVEN_SETTINGS_URL}               https://raw.githubusercontent.com/opendaylight/odlparent/master/settings.xml
  53 ${MAVEN_VERSION}                    3.3.9
  54 ${NEXUS_FALLBACK_URL}               ${NEXUSURL_PREFIX}/content/repositories/opendaylight.snapshot
  55 ${NEXUS_RELEASE_BASE_URL}           https://nexus.opendaylight.org/content/repositories/opendaylight.release
  56 ${NEXUS_RELEASES_URL}               ${NEXUS_RELEASE_BASE_URL}/org/opendaylight/integration/karaf
  57
  58
  59 *** Keywords ***
  60 Initialize_Artifact_Deployment_And_Usage
  61     [Documentation]    Places search utility to ODL system, which will be needed for version detection.
  62     ...    By default also initialize a SSH connection to Tools system,
  63     ...    as following Keywords assume a working connection towards target system.
  64     [Arguments]    ${tools_system_connect}=True
  65     # Connect to the ODL machine.
  66     ${odl} =    SSHKeywords.Open_Connection_To_ODL_System
  67     # Deploy the search tool.
  68     SSHLibrary.Put_File    ${CURDIR}/../../tools/deployment/search.sh
  69     SSHLibrary.Close_Connection
  70     # Optionally connect to the Tools System machine.
  71     IF    not (${tools_system_connect})    RETURN
  72     SSHKeywords.Open_Connection_To_Tools_System
  73
  74 NexusKeywords__Get_Items_To_Look_At
  75     [Documentation]    Get a list of items that might contain the version number that we are looking for.
  76     ...
  77     ...    &{COMPONENT_MAPPING} is the centralized place to maintain the mapping
  78     ...    from a stream independent component nickname to the list of artifact names to search for.
  79     [Arguments]    ${component}
  80     Collections.Dictionary_Should_Contain_Key
  81     ...    ${COMPONENT_MAPPING}
  82     ...    ${component}
  83     ...    Component not supported by NexusKeywords version detection: ${component}
  84     BuiltIn.Run_Keyword_And_Return    Collections.Get_From_Dictionary    ${COMPONENT_MAPPING}    ${component}
  85
  86 NexusKeywords__Detect_Version_To_Pull
  87     [Documentation]    Determine the exact Nexus directory to be used as a source for a particular test tool
  88     ...    Figure out what version of the tool needs to be pulled out of the
  89     ...    Nexus by looking at the version directory of the subsystem from
  90     ...    which the tool is being pulled. This code is REALLY UGLY but there
  91     ...    is no way around it until the bug
  92     ...    https://bugs.opendaylight.org/show_bug.cgi?id=5206 gets fixed.
  93     ...    I also don't want to depend on maven-metadata-local.xml and other
  94     ...    bits and pieces of ODL distribution which are not required for ODL
  95     ...    to function properly.
  96     [Arguments]    ${component}
  97     ${itemlist} =    NexusKeywords__Get_Items_To_Look_At    ${component}
  98     ${current_ssh_connection} =    SSHLibrary.Get Connection
  99     SSHKeywords.Open_Connection_To_ODL_System
 100     ${version}    ${result} =    SSHLibrary.Execute_Command
 101     ...    sh search.sh ${WORKSPACE}/${BUNDLEFOLDER}/system ${itemlist}
 102     ...    return_rc=True
 103     SSHLibrary.Close_Connection
 104     SSHKeywords.Restore Current SSH Connection From Index    ${current_ssh_connection.index}
 105     BuiltIn.Log    ${version}
 106     IF    ${result}!=0
 107         BuiltIn.Fail
 108         ...    Component "${component}": searching for "${itemlist}" found no version, cannot locate test tool.
 109     END
 110     ${version}    ${location} =    String.Split_String    ${version}    max_split=1
 111     RETURN    ${version}    ${location}
 112
 113 Deploy_From_Url
 114     [Documentation]    On active SSH conenction execute download ${url} command, log output, check RC and return file name.
 115     [Arguments]    ${url}
 116     ${filename} =    String.Fetch_From_Right    ${url}    /
 117     ${response}    ${result} =    SSHLibrary.Execute_Command    wget -q -N '${url}' 2>&1    return_rc=True
 118     BuiltIn.Log    ${response}
 119     IF    ${result} != 0
 120         BuiltIn.Fail    File ${filename} could not be downloaded from ${url}
 121     END
 122     RETURN    ${filename}
 123
 124 Deploy_Artifact
 125     [Documentation]    Deploy the specified artifact from Nexus to the cwd of the machine to which the active SSHLibrary connection points.
 126     ...    ${component} is a name part of an artifact present in system/ of ODl installation with the same version as ${artifact} should have.
 127     ...    Must have ${BUNDLE_URL} variable set to the URL from which the
 128     ...    tested ODL distribution was downloaded and this place must be
 129     ...    inside a repository created by a standard distribution
 130     ...    construction job. If this is detected to ne be the case, fallback URL is used.
 131     ...    If ${explicit_url} is non-empty, Deploy_From_Utrl is called instead.
 132     ...    TODO: Allow deploying to a specific directory, we have SSHKeywords.Execute_Command_At_Cwd_Should_Pass now.
 133     [Arguments]    ${component}    ${artifact}    ${name_prefix}=${artifact}-    ${name_suffix}=-executable.jar    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}    ${build_version}=${EMPTY}    ${build_location}=${EMPTY}
 134     BuiltIn.Run_Keyword_And_Return_If    """${explicit_url}""" != ""    Deploy_From_Url    ${explicit_url}
 135     ${urlbase} =    String.Fetch_From_Left    ${BUNDLE_URL}    /org/opendaylight
 136     # If the BUNDLE_URL points somewhere else (perhaps *patch-test* job in Jenkins),
 137     # ${urlbase} is the whole ${BUNDLE_URL}, in which case we use the ${fallback_url}
 138     # If we are working with a "release integrated" project, we always will want to look for
 139     # a released version, not in the snapshots
 140     ${urlbase} =    BuiltIn.Set_Variable_If    '${urlbase}' != '${BUNDLE_URL}'    ${urlbase}    ${fallback_url}
 141     CompareStream.Run_Keyword_If_At_Most_Magnesium
 142     ...    Collections.Remove_Values_From_List
 143     ...    ${RELEASE_INTEGRATED_COMPONENTS}
 144     ...    carpeople
 145     CompareStream.Run_Keyword_If_At_Most_Aluminium
 146     ...    Collections.Remove_Values_From_List
 147     ...    ${RELEASE_INTEGRATED_COMPONENTS}
 148     ...    netconf
 149     CompareStream.Run_Keyword_If_At_Most_Silicon
 150     ...    Collections.Remove_Values_From_List
 151     ...    ${RELEASE_INTEGRATED_COMPONENTS}
 152     ...    bgpcep
 153     IF    '${build_version}'=='${EMPTY}'
 154         ${version}    ${location} =    NexusKeywords__Detect_Version_To_Pull    ${component}
 155     ELSE
 156         ${version}    ${location} =    BuiltIn.Set_Variable    ${build_version}    ${build_location}
 157     END
 158     IF    'SNAPSHOT' in '${version}'
 159         Collections.Remove_Values_From_List    ${RELEASE_INTEGRATED_COMPONENTS}    netconf    bgpcep
 160     END
 161     # check if the bundle url is pointing to a staging artifact
 162     # when we are pointing at a staged artifact we need to use the staging repo instead of release/snapshot artifacts
 163     ${is_staged} =    BuiltIn.Set_Variable_If
 164     ...    "opendaylight.release" not in '${urlbase}' and "opendaylight.snapshot" not in '${urlbase}'
 165     ...    "TRUE"
 166     ...    "FALSE"
 167     # if we have a staged artifact we need to use the urlbase given to us in the job params
 168     ${is_mri_component} =    BuiltIn.Set_Variable_If
 169     ...    '${component}' in ${RELEASE_INTEGRATED_COMPONENTS}
 170     ...    "TRUE"
 171     ...    "FALSE"
 172     ${urlbase} =    BuiltIn.Set_Variable_If
 173     ...    ${is_mri_component} == "TRUE" and ${is_staged} == "FALSE"
 174     ...    ${NEXUS_RELEASE_BASE_URL}
 175     ...    ${urlbase}
 176     # TODO: Use RequestsLibrary and String instead of curl and bash utilities?
 177     ${url} =    BuiltIn.Set_Variable    ${urlbase}/${location}/${artifact}/${version}
 178     # TODO: Review SSHKeywords for current best keywords to call.
 179     ${metadata} =    SSHKeywords.Execute_Command_Should_Pass    curl -L ${url}/maven-metadata.xml
 180     ${status}    ${namepart} =    BuiltIn.Run_Keyword_And_Ignore_Error
 181     ...    SSHKeywords.Execute_Command_Should_Pass
 182     ...    echo "${metadata}" | grep value | head -n 1 | cut -d '>' -f 2 | cut -d '<' -f 1
 183     ...    stderr_must_be_empty=${True}
 184     ${length} =    BuiltIn.Get_Length    ${namepart}
 185     ${namepart} =    BuiltIn.Set_Variable_If    "${status}" != "PASS" or ${length} == 0    ${version}    ${namepart}
 186     ${filename} =    BuiltIn.Set_Variable    ${name_prefix}${namepart}${name_suffix}
 187     BuiltIn.Log    ${filename}
 188     ${url} =    BuiltIn.Set_Variable    ${url}/${filename}
 189     ${response}    ${result} =    SSHLibrary.Execute_Command    wget -q -N '${url}' 2>&1    return_rc=True
 190     BuiltIn.Log    ${response}
 191     IF    ${result} == 0    RETURN    ${filename}
 192     # staged autorelease for non-mri project might not contain the artifact we need so we need to fallback to grabbing it from the release repo
 193     ${release_url} =    String.Replace_String_Using_Regexp    ${url}    autorelease-[0-9]{4}    opendaylight.release
 194     ${response}    ${result} =    SSHLibrary.Execute_Command    wget -q -N '${release_url}' 2>&1    return_rc=True
 195     IF    ${result} != 0
 196         BuiltIn.Fail
 197         ...    Artifact "${artifact}" in component "${component}" could not be downloaded from ${release_url} nor ${url}
 198     END
 199     RETURN    ${filename}
 200
 201 Deploy_Test_Tool
 202     [Documentation]    Deploy a test tool.
 203     ...    The test tools have naming convention of the form
 204     ...    "<repository_url>/some/dir/somewhere/<tool-name>/<tool-name>-<version-tag>-${suffix}.jar"
 205     ...    where "<tool-name>" is the name of the tool and "<version-tag>" is
 206     ...    the version tag that is digged out of the maven metadata. This
 207     ...    keyword calculates ${name_prefix} and ${name_suffix} for
 208     ...    "Deploy_Artifact" and then calls "Deploy_Artifact" to do the real
 209     ...    work of deploying the artifact.
 210     [Arguments]    ${component}    ${artifact}    ${suffix}=executable    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}    ${build_version}=${EMPTY}    ${build_location}=${EMPTY}
 211     ${name_prefix} =    BuiltIn.Set_Variable    ${artifact}-
 212     ${extension} =    BuiltIn.Set_Variable_If    '${component}'=='odl-micro'    tar    jar
 213     ${name_suffix} =    BuiltIn.Set_Variable_If    "${suffix}" != ""    -${suffix}.${extension}    .${extension}
 214     ${filename} =    Deploy_Artifact
 215     ...    ${component}
 216     ...    ${artifact}
 217     ...    ${name_prefix}
 218     ...    ${name_suffix}
 219     ...    ${fallback_url}
 220     ...    ${explicit_url}
 221     ...    ${build_version}
 222     ...    ${build_location}
 223     RETURN    ${filename}
 224
 225 Install_And_Start_Java_Artifact
 226     [Documentation]    Deploy the artifact, assign name for log file, figure out java command, write the command to active SSH connection and return the log name.
 227     ...    This keyword does not examine whether the artifact was started successfully or whether is still running upon return.
 228     [Arguments]    ${component}    ${artifact}    ${suffix}=executable    ${tool_options}=${EMPTY}    ${java_options}=${EMPTY}    ${openjdk}=${JDKVERSION}
 229     ...    ${fallback_url}=${NEXUS_FALLBACK_URL}    ${explicit_url}=${EMPTY}
 230     # TODO: Unify this keyword with what NexusKeywords.Install_And_Start_Testtool does.
 231     ${actual_java_options} =    BuiltIn.Set_Variable_If
 232     ...    """${java_options}""" != ""
 233     ...    ${java_options}
 234     ...    ${JAVA_OPTIONS}
 235     ${filename} =    Deploy_Test_Tool    ${component}    ${artifact}    ${suffix}    ${fallback_url}    ${explicit_url}
 236     ${command} =    Compose_Full_Java_Command    ${actual_java_options} -jar ${filename} ${tool_options}
 237     ${logfile} =    Utils.Get_Log_File_Name    ${artifact}
 238     SSHLibrary.Write    ${command} >${logfile} 2>&1
 239     RETURN    ${logfile}
 240
 241 Compose_Dilemma_Filepath
 242     [Documentation]    Query active SSH connection, return specific path if it exists else default path.
 243     [Arguments]    ${default_path}    ${specific_path}
 244     ${out}    ${rc} =    SSHLibrary.Execute_Command    ls -lA ${specific_path} 2>&1    return_rc=True
 245     IF    ${rc} == 0    RETURN    ${specific_path}
 246     RETURN    ${default_path}
 247
 248 Compose_Base_Java_Command
 249     [Documentation]    Return string suitable for launching Java programs over SSHLibrary, depending on JRE version needed.
 250     ...    This requires that the SSH connection on which the command is going to be used is active as it is needed for querying files.
 251     ...    Commands composed for one SSH connection shall not be reused on other SSH connections as the two connections may have different Java setups.
 252     ...    Not directly related to Nexus, but versioned Java tools may need this.
 253     [Arguments]    ${openjdk}=${JDKVERSION}
 254     # Check whether the user set the override and return it if yes.
 255     BuiltIn.Run_Keyword_And_Return_If
 256     ...    """${openjdk}""" == "openjdk8"
 257     ...    Compose_Dilemma_Filepath
 258     ...    ${JAVA_8_HOME_CENTOS}/bin/java
 259     ...    ${JAVA_8_HOME_UBUNTU}/bin/java
 260     BuiltIn.Run_Keyword_And_Return_If
 261     ...    """${openjdk}""" == "openjdk11"
 262     ...    Compose_Dilemma_Filepath
 263     ...    ${JAVA_11_HOME_CENTOS}/bin/java
 264     ...    ${JAVA_11_HOME_UBUNTU}/bin/java
 265     BuiltIn.Run_Keyword_And_Return_If
 266     ...    """${openjdk}""" == "openjdk17"
 267     ...    Compose_Dilemma_Filepath
 268     ...    ${JAVA_17_HOME_CENTOS}/bin/java
 269     ...    ${JAVA_17_HOME_UBUNTU}/bin/java
 270     # Attempt to call plain "java" command directly. If it works, return it.
 271     ${out}    ${rc} =    SSHLibrary.Execute_Command    java -version 2>&1    return_rc=True
 272     IF    ${rc} == 0    RETURN    java
 273     # Query the virtual machine for the JAVA_HOME environment variable and
 274     # use it to assemble a (hopefully) working command. If that worked out,
 275     # return the result.
 276     ${java} =    SSHLibrary.Execute_Command    echo $JAVA_HOME/bin/java 2>&1
 277     ${out}    ${rc} =    SSHLibrary.Execute_Command    ${java} -version 2>&1    return_rc=True
 278     IF    ${rc} == 0    RETURN    ${java}
 279     # There are bizzare test environment setups where the (correct) JAVA_HOME
 280     # is set in the VM where Robot is running but not in the VM where the
 281     # tools are supposed to run (usually because these two are really one
 282     # and the same system and idiosyncracies of BASH prevent easy injection
 283     # of the JAVA_HOME environment variable into a place where connections
 284     # made by SSHLibrary would pick it up). So try to use that value to
 285     # create a java command and check that it works.
 286     ${JAVA_HOME} =    OperatingSystem.Get_Environment_Variable    JAVA_HOME    ${EMPTY}
 287     ${java} =    BuiltIn.Set_Variable_If    """${JAVA_HOME}"""!=""    ${JAVA_HOME}/bin/java    false
 288     ${out}    ${rc} =    SSHLibrary.Execute_Command    ${java} -version 2>&1    return_rc=True
 289     IF    ${rc} == 0    RETURN    ${java}
 290     # Nothing works, most likely java is not installed at all on the target
 291     # machine or it is hopelesly lost. Bail out with a helpful message
 292     # telling the user how to make it accessible for the script.
 293     BuiltIn.Fail
 294     ...    Unable to find Java; specify \${JDKVERSION}, put it to your PATH or set JAVA_HOME environment variable.
 295
 296 Compose_Full_Java_Command
 297     [Documentation]    Return full Bash command to run Java with given options.
 298     ...    This requires that the SSH connection on which the command is going to be used is active as it is needed for querying files.
 299     ...    The options may include JVM options, application command line arguments, Bash redirects and other constructs.
 300     [Arguments]    ${options}    ${openjdk}=${JDKVERSION}
 301     ${base_command} =    Compose_Base_Java_Command    openjdk=${openjdk}
 302     ${full_command} =    BuiltIn.Set_Variable    ${base_command} ${options}
 303     BuiltIn.Log    ${full_command}
 304     RETURN    ${full_command}
 305
 306 Compose_Java_Home
 307     [Documentation]    Compose base java command and strip trailing "/bin/java".
 308     [Arguments]    ${openjdk}=${JDKVERSION}
 309     ${java_command} =    Compose_Base_Java_Command
 310     ${java_home}    ${bin}    ${java} =    String.Split_String_From_Right
 311     ...    ${java_command}
 312     ...    separator=/
 313     ...    max_split=2
 314     RETURN    ${java_home}
 315
 316 Install_Maven_Bare
 317     [Documentation]    Download and unpack Maven, prepare launch command with proper Java version and download settings file.
 318     ...    This Keyword requires an active SSH connection to target machine.
 319     ...    This Keyword sets global variables, so that suites can reuse existing installation.
 320     ...    This Keyword can only place Maven (and settings) to remote current working directory.
 321     ...    This Keyword does not perform any initial or final cleanup.
 322     [Arguments]    ${maven_version}=3.3.9    ${openjdk}=${JDKVERSION}
 323     # Avoid multiple initialization by several downstream libraries.
 324     ${installed_version} =    BuiltIn.Get_Variable_Value    \${Maven__installed_version}    None
 325     IF    """${installed_version}""" == """${maven_version}"""    RETURN
 326     BuiltIn.Set_Global_Variable    \${Maven__installed_version}    ${maven_version}
 327     BuiltIn.Set_Global_Variable    \${maven_directory}    apache-maven-${maven_version}
 328     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    rm -rf '${maven_directory}'
 329     ${maven_archive_filename} =    BuiltIn.Set_Variable    ${maven_directory}-bin.tar.gz
 330     ${maven_download_url} =    BuiltIn.Set_Variable
 331     ...    http://www-us.apache.org/dist/maven/maven-3/${maven_version}/binaries/${maven_archive_filename}
 332     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    wget -N '${maven_download_url}'    stderr_must_be_empty=False
 333     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    tar xvf '${maven_archive_filename}'
 334     ${java_home} =    NexusKeywords.Compose_Java_Home    openjdk=${openjdk}
 335     BuiltIn.Set_Global_Variable
 336     ...    \${maven_bash_command}
 337     ...    export JAVA_HOME='${java_home}' && export MAVEN_OPTS='${JAVA_OPTIONS}' && ./${maven_directory}/bin/mvn
 338     # TODO: Get settings files from Jenkins settings provider, somehow.
 339     SSHKeywords.Execute_Command_At_Cwd_Should_Pass
 340     ...    wget '${MAVEN_SETTINGS_URL}' -O settings.xml
 341     ...    stderr_must_be_empty=False
 342
 343 Install_Maven
 344     [Documentation]    Install Maven.
 345     ...    Depending on arguments, perform a multipatch build to populate local Maven repository with patched artifacts.
 346     [Arguments]    ${maven_version}=3.3.9    ${openjdk}=${JDKVERSION}    ${branch}=${EMPTY}    ${patches}=${EMPTY}
 347     Install_Maven_Bare    maven_version=${maven_version}    openjdk=${openjdk}
 348     IF    """${patches}""" == ""    RETURN    No post-install build requested.
 349     IF    """${branch}""" == ""
 350         BuiltIn.Fail    BRANCH needs to be specified for multipatch builds.
 351     END
 352     ${script_name} =    BuiltIn.Set_Variable    include-raw-integration-multipatch-distribution-test.sh
 353     ${script_url} =    BuiltIn.Set_Variable
 354     ...    https://raw.githubusercontent.com/opendaylight/releng-builder/master/jjb/integration/${script_name}
 355     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    wget -N '${script_url}'    stderr_must_be_empty=False
 356     SSHKeywords.Execute_Command_At_Cwd_Should_Pass
 357     ...    export WORKSPACE='${WORKSPACE}' && export BRANCH='${branch}' && export PATCHES_TO_BUILD='${patches}' && bash '${script_name}'
 358     ...    stderr_must_be_empty=False
 359     Run_Maven    pom_file=${WORKSPACE}/patch_tester/pom.xml
 360
 361 Run_Maven
 362     [Documentation]    Determine arguments to use and call mvn command against given pom file.
 363     [Arguments]    ${pom_file}=pom.xml    ${log_file}=${MAVEN_DEFAULT_OUTPUT_FILENAME}
 364     SSHKeywords.Execute_Command_At_Cwd_Should_Pass    mkdir -p '${MAVEN_REPOSITORY_PATH}'
 365     ${maven_repository_options} =    BuiltIn.Set_Variable
 366     ...    -Dmaven.repo.local=${MAVEN_REPOSITORY_PATH} -Dorg.ops4j.pax.url.mvn.localRepository=${MAVEN_REPOSITORY_PATH}
 367     SSHKeywords.Execute_Command_At_Cwd_Should_Pass
 368     ...    ${maven_bash_command} clean install dependency:tree -V -B -DoutputFile=dependency_tree.log -s './settings.xml' -f '${pom_file}' ${MAVEN_OPTIONS} ${maven_repository_options} > '${log_file}'
 369
 370 Get_ODL_Versions_From_Nexus
 371     [Documentation]    Returns name of last release found on nexus and list of all versions.
 372     RequestsLibrary.Create_Session    nexus    ${NEXUS_RELEASES_URL}    verify=${TRUE}
 373     ${uri} =    BuiltIn.Set_Variable    maven-metadata.xml
 374     ${response} =    RequestsLibrary.GET On Session    nexus    url=${uri}
 375     BuiltIn.Log    ${response.text}
 376     ${root} =    XML.Parse_XML    ${response.text}
 377     ${element} =    XML.Get_Element    ${root}    versioning/latest
 378     ${latest} =    BuiltIn.Set_Variable    ${element.text}
 379     BuiltIn.Log    ${latest}
 380     @{elements} =    XML.Get_Elements    ${root}    .//version
 381     ${versions} =    BuiltIn.Create_List
 382     FOR    ${element}    IN    @{elements}
 383         Collections.Append_To_List    ${versions}    ${element.text}
 384     END
 385     Collections.Sort_List    ${versions}
 386     BuiltIn.Log_Many    @{versions}
 387     RETURN    ${latest}    @{versions}
 388
 389 Get_Latest_ODL_Release_From_Nexus
 390     [Documentation]    Returns name of last release found on nexus
 391     ${latest}    @{versions} =    Get_ODL_Versions_From_Nexus
 392     RETURN    ${latest}
 393
 394 Get_Latest_ODL_Stream_Release
 395     [Documentation]    Returns name for last release for specified stream.
 396     [Arguments]    ${stream}=latest
 397     ${latest}    @{versions} =    Get_ODL_Versions_From_Nexus
 398     IF    '${stream}'=='latest'    RETURN    ${latest}
 399     ${latest_version} =    BuiltIn.Set_Variable    xxx
 400     FOR    ${version}    IN    @{versions}
 401         ${latest_version} =    BuiltIn.Set_Variable_If
 402         ...    '${stream}'.title() in '${version}'
 403         ...    ${version}
 404         ...    ${latest_version}
 405     END
 406     IF    '${latest_version}'=='xxx'
 407         BuiltIn.Fail    Could not find latest release for stream ${stream}
 408     END
 409     BuiltIn.Log    ${latest_version}
 410     RETURN    ${latest_version}
 411
 412 Get_Latest_ODL_Stream_Release_URL
 413     [Documentation]    Returns URL for last release for specified stream. Default format is .zip.
 414     [Arguments]    ${stream}=latest    ${format}=.zip
 415     ${latest_version} =    Get_Latest_ODL_Stream_Release    ${stream}
 416     ${url} =    BuiltIn.Set_Variable    ${NEXUS_RELEASES_URL}/${latest_version}/karaf-${latest_version}${format}
 417     BuiltIn.Log    ${url}
 418     RETURN    ${url}
 419
 420 Get_Latest_ODL_Previous_Stream_Release
 421     [Documentation]    Returns name for last release for previous stream of specified stream.
 422     ...    Note: If specified stream is not found on nexus, then it is taken as new one (not released yet).
 423     ...    So in this case, latest release version is return.
 424     ...
 425     ...    NOTE: the below logic is stripping the initial 0. values from the 0.x.x version string that is
 426     ...    the current (and future) version numbering scheme. There is always a leading 0. to the version
 427     ...    strings and stripping it makes is easier to do int comparison to find the largest version in the
 428     ...    list. Comparing as strings does not work. There are some python libs like distutils.version
 429     ...    or packaging that can do a better job comparing versions, but since ODL version numbering is simple
 430     ...    at this point, this convention will suffice. The leading 0. will be added back after the the latest
 431     ...    version is found from the list. The CompareStream.robot library keeps a mapping of major version
 432     ...    numbers to the global variable ${ODL_STREAM} so that is used to ensure we get a major version that is
 433     ...    older than the current running major version.
 434     [Arguments]    ${stream}=${ODL_STREAM}
 435     ${latest}    @{versions} =    Get_ODL_Versions_From_Nexus
 436     ${current_version} =    BuiltIn.Set_Variable    ${Stream_dict}[${ODL_STREAM}].0
 437     ${latest_version} =    BuiltIn.Set_Variable    0.0
 438     FOR    ${version}    IN    @{versions}
 439         ${version} =    String.Replace String Using Regexp    ${version}    ^0\.    ${EMPTY}
 440         ${latest_version} =    Set Variable If
 441         ...    ${version} > ${latest_version} and ${version} < ${current_version}
 442         ...    ${version}
 443         ...    ${latest_version}
 444     END
 445     ${latest_version} =    Set Variable    0.${latest_version}
 446     IF    '${latest_version}'=='0.0.0'
 447         BuiltIn.Fail    Could not find latest previous release for stream ${stream}
 448     END
 449     BuiltIn.Log    ${latest_version}
 450     RETURN    ${latest_version}
 451
 452 Get_Latest_ODL_Previous_Stream_Release_URL
 453     [Documentation]    Returns URL for last release for previous stream of specified stream. Default format is .zip.
 454     [Arguments]    ${stream}=${ODL_STREAM}    ${format}=.zip
 455     ${latest_version} =    Get_Latest_ODL_Previous_Stream_Release    ${stream}
 456     ${url} =    BuiltIn.Set_Variable    ${NEXUS_RELEASES_URL}/${latest_version}/karaf-${latest_version}${format}
 457     BuiltIn.Log    ${url}
 458     RETURN    ${url}