Always add exceptions.txt
[integration/test.git] / csit / libraries / KarafKeywords.robot
index 49e8c3e3c65ba16ad64eda0a34feaf0ea821b9f4..1c39b72adb0caf047d37b99fd60e969967706fad 100644 (file)
@@ -7,6 +7,7 @@ Documentation     Karaf library. General utility keywords for interacting with t
 ...               If this gets initialized, ClusterManagement gets initialized as well.
 Library           SSHLibrary
 Library           OperatingSystem
+Library           ${CURDIR}/netvirt/excepts.py
 Resource          ${CURDIR}/ClusterManagement.robot
 Resource          ${CURDIR}/SSHKeywords.robot
 Variables         ${CURDIR}/../variables/Variables.py
@@ -20,6 +21,7 @@ Setup_Karaf_Keywords
     [Arguments]    ${http_timeout}=${DEFAULT_TIMEOUT_HTTP}
     [Documentation]    Initialize ClusterManagement. Open ssh karaf connections to each ODL.
     ClusterManagement.ClusterManagement_Setup    http_timeout=${http_timeout}
+    ClusterManagement.Run_Bash_Command_On_List_Or_All    iptables -I INPUT -p tcp --dport ${KARAF_SHELL_PORT} -j ACCEPT; iptables-save
     BuiltIn.Comment    First connections to Karaf console may fail, so WUKS is used. TODO: Track as a Bug.
     : FOR    ${index}    IN    @{ClusterManagement__member_index_list}
     \    BuiltIn.Run_Keyword_And_Ignore_Error    BuiltIn.Wait_Until_Keyword_Succeeds    3s    1s    Open_Controller_Karaf_Console_On_Background    member_index=${index}
@@ -39,6 +41,7 @@ Issue_Command_On_Karaf_Console
     SSHLibrary.Login    ${KARAF_USER}    ${KARAF_PASSWORD}    loglevel=${loglevel}
     SSHLibrary.Write    ${cmd}
     ${output}    SSHLibrary.Read_Until_Regexp    ${KARAF_PROMPT}
+    SSHLibrary.Write    logout
     SSHLibrary.Close_Connection
     BuiltIn.Log    ${output}
     [Return]    ${output}
@@ -137,6 +140,7 @@ Open_Controller_Karaf_Console_On_Background
     BuiltIn.Log    ${member_index}
     ${status}    ${old_connection_index} =    BuiltIn.Run_Keyword_And_Ignore_Error    Get From Dictionary    ${connection_index_dict}    ${member_index}
     BuiltIn.Run_Keyword_If    '${status}'=='PASS'    BuiltIn.Run_Keywords    SSHLibrary.Switch_Connection    ${old_connection_index}
+    ...    AND    SSHLibrary.Write    logout
     ...    AND    SSHLibrary.Close_Connection
     ${odl_ip} =    ClusterManagement.Resolve_IP_Address_For_Member    ${member_index}
     SSHLibrary.Open_Connection    ${odl_ip}    port=${KARAF_SHELL_PORT}    prompt=${KARAF_PROMPT_LOGIN}    timeout=${timeout}
@@ -215,6 +219,37 @@ Set_Bgpcep_Log_Levels
     \    Execute_Controller_Karaf_Command_On_Background    log:set ${bgpcep_level} org.opendaylight.bgpcep    member_index=${index}
     \    Execute_Controller_Karaf_Command_On_Background    log:set ${protocol_level} org.opendaylight.protocol    member_index=${index}
 
+Get Karaf Log Lines From Test Start
+    [Arguments]    ${ip}    ${test_name}    ${cmd}    ${user}=${ODL_SYSTEM_USER}    ${password}=${ODL_SYSTEM_PASSWORD}    ${prompt}=${ODL_SYSTEM_PROMPT}
+    ...    ${log_file}=${KARAF_LOG}
+    [Documentation]    Scrapes all log messages that match regexp ${type} which fall after a point given by a log message that
+    ...    contains ${test_name}. This is useful if your test cases are marking karaf.log with a message indicating when
+    ...    that test case has started; such that you can easily pull out any extra log messsages to parse/log/etc in the
+    ...    test logic itself. For example, you can grab all ERRORS that occur during your test case.
+    ${output} =    Run Command On Controller    ${ip}    ${cmd}    ${user}    ${password}    ${prompt}
+    @{log_lines} =    Split String    ${output}    ${\n}
+    [Return]    ${log_lines}
+
+Fail If Exceptions Found During Test
+    [Arguments]    ${test_name}    ${log_file}=${KARAF_LOG}    ${fail}=False
+    [Documentation]    Create a failure if an Exception is found in the karaf.log that has not been whitelisted.
+    ...    Will work for single controller jobs as well as 3node cluster jobs
+    : FOR    ${i}    IN RANGE    1    ${NUM_ODL_SYSTEM} + 1
+    \    ${cmd} =    Set Variable    sed '1,/ROBOT MESSAGE: Starting test ${test_name}/d' ${log_file}
+    \    ${output} =    Get Karaf Log Lines From Test Start    ${ODL_SYSTEM_${i}_IP}    ${test_name}    ${cmd}
+    \    ${exlist}    ${matchlist} =    Verify Exceptions    ${output}
+    \    Write Exceptions Map To File    ${SUITE_NAME}.${TEST_NAME}    /tmp/odl${i}_exceptions.txt
+    \    ${listlength} =    BuiltIn.Get Length    ${exlist}
+    \    BuiltIn.Run Keyword If    "${fail}"=="True" and ${listlength} != 0    Log And Fail Exceptions    ${exlist}    ${listlength}
+    \    ...    ELSE    Collections.Log List    ${matchlist}
+
+Log And Fail Exceptions
+    [Arguments]    ${exlist}    ${listlength}
+    [Documentation]    Print the list of failed exceptions and fail the test
+    Collections.Log List    ${exlist}
+    ${exstr} =    BuiltIn.Catenate    ${exlist}
+    BuiltIn.Fail    New exceptions found: ${listlength}\n${exstr}
+
 Get Karaf Log Type From Test Start
     [Arguments]    ${ip}    ${test_name}    ${type}    ${user}=${ODL_SYSTEM_USER}    ${password}=${ODL_SYSTEM_PASSWORD}    ${prompt}=${ODL_SYSTEM_PROMPT}
     ...    ${log_file}=${KARAF_LOG}
@@ -243,7 +278,7 @@ Get Karaf Log Events From Test Start
     : FOR    ${i}    IN RANGE    1    ${NUM_ODL_SYSTEM} + 1
     \    Get Karaf Log Types From Test Start    ${ODL_SYSTEM_${i}_IP}    ${test_name}    ${log_types}
 
-Fail If Exceptions Found During Test
+Fail If Exceptions Found During Test Deprecated
     [Arguments]    ${test_name}    ${exceptions_white_list}=${EMPTY}
     [Documentation]    Create a failure if an Exception is found in the karaf.log. Will work for single controller jobs
     ...    as well as 3node cluster jobs
@@ -257,8 +292,6 @@ Verify Exception Logging In Controller
     ${exceptions}=    Get Karaf Log Type From Test Start    ${controller_ip}    ${test_name}    Exception
     @{log_lines}=    Split String    ${exceptions}    ${\n}
     ${num_log_entries}    Get Length    ${log_lines}
-    # https://jira.opendaylight.org/browse/ODLPARENT-152
-    Run Keyword And Return If    ${num_log_entries} == ${2}    Ignore ODLPARENT-152    @{log_lines}
     Return From Keyword If    ${num_log_entries} == ${0}    No Exceptions found.
     : FOR    ${log_message}    IN    @{log_lines}
     \    Check Against White List    ${log_message}    ${exceptions_white_list}
@@ -275,13 +308,6 @@ Check Against White List
     \    Return From Keyword If    "${exception}" in "${exception_line}"    Exceptions found, but whitelisted: ${\n}${exception_line}${\n}
     Fail    Exceptions Found: ${\n}${exception_line}${\n}
 
-Ignore ODLPARENT-152
-    [Arguments]    @{log_lines}
-    [Documentation]    This will ignore exceptions in @{log_lines} if they match the Exception pattern found in the list
-    ...    variable @{ODLPARENT_152}. Everything else will result in this keyword Failing.
-    Return From Keyword If    "@{ODLPARENT_152}[0]" in "@{log_lines}[0]" and "@{ODLPARENT_152}[1]" in "@{log_lines}[1]"
-    Fail    Exceptions found and not in the whitelist to ignore
-
 Wait_For_Karaf_Log
     [Arguments]    ${message}    ${timeout}=60    ${member_index}=${1}
     [Documentation]    Read karaf logs until message appear
@@ -295,6 +321,7 @@ Wait_For_Karaf_Log
     SSHLibrary.Login    ${KARAF_USER}    ${KARAF_PASSWORD}    loglevel=${loglevel}
     SSHLibrary.Write    log:tail
     SSHLibrary.Read_Until    ${message}
+    SSHLibrary.Write    logout
     SSHLibrary.Close_Connection
 
 Restart_Bundle