exception checker with context
[integration/test.git] / csit / libraries / KarafKeywords.robot
index 31a60c7df6172291701f8bb5fce7328e597651ac..cece9c4490cc4594dbf90cc6d6f55239e0549004 100644 (file)
@@ -7,6 +7,7 @@ Documentation     Karaf library. General utility keywords for interacting with t
 ...               If this gets initialized, ClusterManagement gets initialized as well.
 Library           SSHLibrary
 Library           OperatingSystem
+Library           ${CURDIR}/netvirt/excepts.py
 Resource          ${CURDIR}/ClusterManagement.robot
 Resource          ${CURDIR}/SSHKeywords.robot
 Variables         ${CURDIR}/../variables/Variables.py
@@ -20,6 +21,7 @@ Setup_Karaf_Keywords
     [Arguments]    ${http_timeout}=${DEFAULT_TIMEOUT_HTTP}
     [Documentation]    Initialize ClusterManagement. Open ssh karaf connections to each ODL.
     ClusterManagement.ClusterManagement_Setup    http_timeout=${http_timeout}
+    ClusterManagement.Run_Bash_Command_On_List_Or_All    iptables -I INPUT -p tcp --dport ${KARAF_SHELL_PORT} -j ACCEPT; iptables-save
     BuiltIn.Comment    First connections to Karaf console may fail, so WUKS is used. TODO: Track as a Bug.
     : FOR    ${index}    IN    @{ClusterManagement__member_index_list}
     \    BuiltIn.Run_Keyword_And_Ignore_Error    BuiltIn.Wait_Until_Keyword_Succeeds    3s    1s    Open_Controller_Karaf_Console_On_Background    member_index=${index}
@@ -80,14 +82,28 @@ Check_Karaf_Log_Has_Messages
     [Return]    ${output}
 
 Check_Karaf_Log_Message_Count
+    [Arguments]    ${message}    ${count}    ${use_console}=False
+    [Documentation]    Verifies that the ${message} exists specified number of times in
+    ...    karaf console log or Karaf Log Folder based on the arg ${use_console}.
+    Run Keyword If    ${use_console} == False    Check_Karaf_Log_File    ${message}    ${count}
+    ...    ELSE    Check_Karaf_Log_From_Console    ${message}    ${count}
+
+Check_Karaf_Log_From_Console
     [Arguments]    ${message}    ${count}
-    [Documentation]    Verifies that the ${message} exists in the karaf.log, and checks
-    ...    that it appears ${count} number of times.
+    [Documentation]    Verifies that the ${message} exists in the Karaf Console log:display and checks
+    ...    that it appears ${count} number of times
     ${output} =    Issue_Command_On_Karaf_Console    log:display | grep ${message} | wc -l
-    ${line} =    String.Get Line    ${output}    0
-    ${stripped} =    String.Strip String    ${line}
+    ${line} =    Get Line    ${output}    0
+    ${stripped} =    Strip String    ${line}
     Should Be Equal As Strings    ${stripped}    ${count}
 
+Check_Karaf_Log_File
+    [Arguments]    ${message}    ${count}
+    [Documentation]    Verifies that the ${message} exists in the Karaf Log Folder and checks
+    ...    that it appears ${count} number of times
+    ${output}    Run Command On Controller    ${ODL_SYSTEM_IP}    grep -o ${message} ${WORKSPACE}/${BUNDLEFOLDER}/data/log/* | wc -l
+    Should Be Equal As Strings    ${output}    ${count}
+
 Install_A_Feature
     [Arguments]    ${feature_name}    ${controller}=${ODL_SYSTEM_IP}    ${karaf_port}=${KARAF_SHELL_PORT}    ${timeout}=180
     [Documentation]    Will Install the given ${feature_name}
@@ -201,6 +217,39 @@ Set_Bgpcep_Log_Levels
     \    Execute_Controller_Karaf_Command_On_Background    log:set ${bgpcep_level} org.opendaylight.bgpcep    member_index=${index}
     \    Execute_Controller_Karaf_Command_On_Background    log:set ${protocol_level} org.opendaylight.protocol    member_index=${index}
 
+Get and Verify Exceptions
+    [Arguments]    ${lines}
+    [Documentation]    Get a list of exceptions from the given lines from a karaf log and then verify them against a
+    ...    an exception whitelist. Verify Exceptions is a python function that will return the list of unmatched
+    ...    exceptions in exlist and return the matched exceptions in matchlist. Both lists will be logged to aid
+    ...    with troubleshooting the exceptions.
+    ${exlist}    ${matchlist} =    Verify Exceptions    ${lines}
+    Collections.Log List    ${exlist}
+    Collections.Log List    ${matchlist}
+    [Return]    ${exlist}
+
+Get Karaf Log Lines From Test Start
+    [Arguments]    ${ip}    ${test_name}    ${cmd}    ${user}=${ODL_SYSTEM_USER}    ${password}=${ODL_SYSTEM_PASSWORD}    ${prompt}=${ODL_SYSTEM_PROMPT}
+    ...    ${log_file}=${KARAF_LOG}
+    [Documentation]    Scrapes all log messages that match regexp ${type} which fall after a point given by a log message that
+    ...    contains ${test_name}. This is useful if your test cases are marking karaf.log with a message indicating when
+    ...    that test case has started; such that you can easily pull out any extra log messsages to parse/log/etc in the
+    ...    test logic itself. For example, you can grab all ERRORS that occur during your test case.
+    ${output} =    Run Command On Controller    ${ip}    ${cmd}    ${user}    ${password}    ${prompt}
+    @{log_lines} =    Split String    ${output}    ${\n}
+    [Return]    ${log_lines}
+
+Fail If Exceptions Found During Test
+    [Arguments]    ${test_name}    ${log_file}=${KARAF_LOG}
+    [Documentation]    Create a failure if an Exception is found in the karaf.log that has not been whitelisted.
+    ...    Will work for single controller jobs as well as 3node cluster jobs
+    : FOR    ${i}    IN RANGE    1    ${NUM_ODL_SYSTEM} + 1
+    \    ${cmd} =    Set Variable    sed '1,/ROBOT MESSAGE: Starting test ${test_name}/d' ${log_file}
+    \    ${output} =    Get Karaf Log Lines From Test Start    ${ODL_SYSTEM_${i}_IP}    ${test_name}    ${cmd}
+    \    ${exlist} =    Get and Verify Exceptions    ${output}
+    \    ${listlength} =    BuiltIn.Get Length    ${exlist}
+    \    BuiltIn.Run Keyword If    ${listlength} != 0    BuiltIn.Fail    New exceptions found: ${listlength}
+
 Get Karaf Log Type From Test Start
     [Arguments]    ${ip}    ${test_name}    ${type}    ${user}=${ODL_SYSTEM_USER}    ${password}=${ODL_SYSTEM_PASSWORD}    ${prompt}=${ODL_SYSTEM_PROMPT}
     ...    ${log_file}=${KARAF_LOG}
@@ -229,7 +278,7 @@ Get Karaf Log Events From Test Start
     : FOR    ${i}    IN RANGE    1    ${NUM_ODL_SYSTEM} + 1
     \    Get Karaf Log Types From Test Start    ${ODL_SYSTEM_${i}_IP}    ${test_name}    ${log_types}
 
-Fail If Exceptions Found During Test
+Fail If Exceptions Found During Test Deprecated
     [Arguments]    ${test_name}    ${exceptions_white_list}=${EMPTY}
     [Documentation]    Create a failure if an Exception is found in the karaf.log. Will work for single controller jobs
     ...    as well as 3node cluster jobs