Release transportpce

Bump netconf dependency to 2.0.11

Avoid having sshd hexadecimal traces in our logs.

JIRA: TRNSPRTPCE-565
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I50eb8d485eef4d17a41aaee1b77e2c9ee732d793

Bump netconf dependency to 2.0.10

JIRA: TRNSPRTPCE-565
Signed-off-by: Christophe Betoule <christophe.betoule@orange.com>
Change-Id: Ie552d9c91f01bb10cd2e57a7f463a24f6935aa33

Migrate portmapping functional tests to RFC8040

JIRA: TRNSPRTPCE-567
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ie6150a68a4a588c06979b27a1753ee5cb9bc283c

Remove u prefix obsoleted by python 3

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ib0913157fa97f418dd846124d4fdc3d97250ca0a

Enforce autopep8 via pre-commit

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ia0021347c46488ecc2a922f4e370ca5ad4edafd9

Run pre-commit autoupdate

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I9dda524f19b15dbb6195e586ed93f2e04202a416

Ignore python local imports in PEP8 linters

To work correctly, test_utils imports must be after
sys.path.append('transportpce_tests/common/')

The "  # nopep8" comment prevents autopep8 to move them before.

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ifb91716a94acf20732ffc2e0f625b32b79c874d6

New functional test suite of otn-swith 2.2.1

Create a new functional test suite testing the end-to-end 100GE service
management over two (or more) otn-switch. Two uses cases are verified:
- when two otn-switch are used as "AZ" node, at the termination of the
service
- when a thrid otn-switch is used as "intermediate" node, serving as an
otn-regenerator. In such a case, the 100GE/ODU4 service is supported by
two OTU4 server links.

Also update simulator configuration files to perform such a network
configuration with 3 ROADMs and 3 otn-switches. Adapt some functional
tests consequently.
Finally, rename tapi functional test to keep sequence logical.

JIRA: TRNSPRTPCE-530
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I117a1426d6ecabeeb2a170779846f08201f32d02

Bump netconf dependency to 2.0.9

JIRA: TRNSPRTPCE-565
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: If419f55de49d788cba7b9f8897fc3bf7106c7531

Enable 100GE service over multiple OTU4 links

Creating/deleting a 100GE service over more than 2 otn-switches imposes
to be able to update bandwidth parameters of multiple supported OTU4
links in otn-topology. To that end, it is necessary to apply some
changes in the notification transmits from the renderer towards service
handler.
- introduce leaf-list link-id used in the case where we have more than 1
bidirection supported link
- adapt the updateOtnLinks method signature to take the list into acount
- add a new method in renderer/ModelMapingUtils to extract OTU links
directly from a service-path-description
- update import revision of transportpce-renderer model

JIRA: TRNSPRTPCE-531
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I401c76551e51666fa20c63ef8c2a141a6e064654

Fix renderer for 100GE on intermediate OTN Switch

This issue appeared when a 100GE service is routed through an
intermediate otn-switch. The otn-service-path rpc was not filled
correctly.
Fix also the monitored mode of the ODU4-CTP termination point when
supporting the 100GE client signal.

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I22bcb38388c9adf9e046f01946afbe7ce53d348f

Adapt PCE to compute a 100GE path on OTN Switch

Fixes some issues in PCE when an OTN switch is used as an intermediate
switch.

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Ica1468195c0e193d80dc38bd8f5dadebae0d8769

Adapt renderer to manage 100GE service on Switch

- Add new method in OpenRoadmInterface221 to create ODU4 interface as
an HighOrder interface (to support 100GE flow)
- manage the creation/deletion of Ethernet, ODU4-Client, ODU4-Network
and odu-connection to support the 100GE service over an OTN switch
- manage the new 100GE_S service-type in OtnDeviceRendererService
- propagate the service-type inside the renderer in order to have to
determine it only once at the highest renderer level
(RendererServiceOperations)

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I23f4df43a66f3d4de8f75687219d3ffa0c148ba5

Adapt network module to update OTU links only

Add a new updateOtnLink method in NetworkModelService and implement it
to update bandwidth parameters of OTU4 links only when creating/deleting
100GE service that is not supported over a structured ODU4. This is the
case when the service is terminated on an OTN Switch.

JIRA: TRNSPRTPCE-512
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I9db5ecaba843093b3a9543ef9e24b03ff3a227fb

Fix javadoc in CrossConnect interface

JIRA: TRNSPRTPCE-511
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Ibce010eb83a1280264285070e584bb71f8fd12a9

Introduce the 100GE_S service type in PCE

This service-type allows path computation for a 100GE service terminated
on a 100G OTN switch.

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I5085dfdcf2ed34b7df5ceec5a50651196f0bd866

Introduce new ServiceType to use otn-switch

Will allow 100GE services supported by 100G OTN switch.
Add also UT for ServiceType class.

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Id111b1897c82ef26fd28d9df5033ee97cf97fffa

Set xponder-type in portmapping

Set xponder-type for all ports of xponder to be able to distinguish
service-type 100GEs from 100GEm (and not only on network ports).

JIRA: TRNSPRTPCE-499
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I71391133ca3659fa8b3b316cafb34a8bac6a0040

Make lcp hash computation method public

To make it available by other modules, especially at the renderer level
if we want to compute the hash for sapi/dapi at the service
configuration step.

JIRA: TRNSPRTPCE-537
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Ia1b32ce5725bbe21e76af08fd3a8247d7f9abb8a

Fix rule format for ServiceUInterfacePoint

- Align multi-layer topology SIP format to the one of the full
multi-layer topology.
- SIP format becomes an UUI derived from the combination of nodeId and
tp instead of an UUID derived from the nep UUID.
- Add UT consequently

JIRA: TRNSPRTPCE-562
Signed-off-by: Christophe Betoule <christophe.betoule@orange.com>
Change-Id: I08d2ac0c5e49a32235948bea824f301cab6679c2

Update diagram and developer guide for Si and P

Change-Id: I269bf204d41d7dc711de955cdd03f5b700af604c

TAPI functional tests

test the connectivity service creation and deletion for a 10GE service
between 10G MXPDR (PHOTONIC_MEDIA, ODU, DSR)

JIRA: TRNSPRTPCE-468
Signed-off-by: Christophe Betoule <christophe.betoule@orange.com>
Change-Id: I24e193810c7a2d01fa0559995a41309e64a6204c

Enable UUID and name in TAPI RPCs

Improvement to enable the use of either UUID or name
when performing TAPI rpcs.

JIRA: TRNSPRTPCE-564
Signed-off-by: errea <errea@eurecom.fr>
Change-Id: I8d9a2c4c25514bad0be0115a53fd6fd243187780

Fix null Supported CEP Qual. on TAPI node creation

Added case for ODU0 supported interface in creation method
of Supported CEP Qual.

JIRA: TRNSPRTPCE-559
Signed-off-by: errea <errea@eurecom.fr>
Change-Id: I715c710af6518865ce8c798ace40d1a0579d90ec

Fix getTapiNode to avoid missing ONEPs

JIRA: TRNSPRTPCE-558
Change-Id: I36b7a3a93d51104681f60fdf5d536889cdb62683
Signed-off-by: errea <errea@eurecom.fr>

Fix wrong Supported CEP protocol qualifier

TAPI nodes supported CEP qual. set based on interface
capability of the corresponding Termination Point

JIRA: TRNSPRTPCE-557
Signed-off-by: errea <errea@eurecom.fr>
Change-Id: I567cbcf537b876f47af8fe8dfcfed7911e79e3f0

Junit tests for new TAPI module

- TAPI convert OR to TAPI test
- TAPI topology tests + utils
- TAPI Connectivity tests + utils
- TAPI provider test
- Fix TapiConnectivityImpl and TapiContext to enable tests
- Fix ConvertFullTopo OMS link creation

JIRA: TRNSPRTPCE-563
Signed-off-by: errea <errea@eurecom.fr>
Change-Id: Ie0796a438c26fed89997dbd2a73b979ede160517

Code refactoring for OR-TAPI mapping

- Nodes, NEPs, SIPs and Links have states according to OR objects
- Changed Name attribute of TAPI roadm NEPs -> testing purposes

JIRA: TRNSPRTPCE-467
Signed-off-by: errea <errea@eurecom.fr>
Change-Id: I4469e7244ed3a49b81b4dd2dac33814260eaa9a2

Bump upstream dependencies to P-SR1

odlparent => 9.0.8
mdsal => 8.0.7
netconf => 2.0.7

JIRA: TRNSPRTPCE-565
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I426325d16e3e1f55b634728b686e348266a349f5

Fix functional tests 2.2.1 sequence

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ia644743ef8fb939220f335b6c1100fef2aa11602

Run autopep8 tox profile

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I27d64e316a00de3ec21936f3427f1c63405e62da

Extend tapi feature documentation

- Add description of the tapi extension into the developer
guide and update tapi-topology figure
- Add comments on the Topology Management - Service Handler
interface

JIRA: TRNSPRTPCE-469
Change-Id: I229e34d64bb3548eda51f89c2f1caef3550b3251
Signed-off-by: errea <errea@eurecom.fr>

Remove unused imports detected by pylint

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I9d7bba90954b0018980104943bf346e7eb1cda2d

Fix bug in OLM during spanloss computation

Prevent from getting NPE when OTS interface terminating the
roadm-to-roadm link under spanloss determination does not exist in the
device.
- remove invocation of getOtsInterfaceName method on an OtsPmHolder null
  object, at the origin of the NPE thrown.
  This check is superfluous since OtsPmHolder.getOtsInterfaceName() can
  not be null if OtsPmHolder is not null.
- fix typo on OtsPmHolder variable names
- adapt LOG messages consequently

JIRA: TRNSPRTPCE-172
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Idec6fac25a33c7748ad4996e01211e04667b4fd5
(cherry picked from commit 220a7ba4f55d6c0ab5b1605b4b9d26cbcb4dcd9b)

Remove upstream dependencies version overriding

Remove some dependency versions that were overriding versions managed in
odlparent.

JIRA: TRNSPRTPCE-555
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I7e9e43edb2ca25be2594026316ef65b41fe15ffc

Refactor Karaf builds for tests and tox.ini

- use dedicated env files for Karaf listening ports settings
- create tox profiles to (re)build Karaf folders dedicated to tests
- adapt tests launcher and build scripts accordingly

This should avoid weird race conditions that can happen when performing
several tests locally.

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Icfa0e09e65ed054155002b9e4b07370ca1ad0aaf

Fix remaining PortMapping sonar issues

This refactoring intends to fix remaining sonar issues about
cyclomatic complexity and commented code in PortMapping classes.
To this purpose, it introduces a few intermediate functions.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I7e24dc8ae4841658370a07d73017a9ca49766536

Improve container support in tox.ini

- modify tox.ini to use dedicated scripts that can detect a local podman
  installation and use it instead of docker.
- replace nbiotifications docker-compose YAML file by a standalone
  container directly runnable with docker or podman.

Podman.io is a rootless and serverless alternative to Docker.io.
It avoids using sudo in many cases, what is a good thing.
It is now prefered to Docker.io by many linux distributions.

https://podman.io/
https://access.redhat.com/solutions/3696691
https://thesynack.com/posts/docker-compose-podman/
https://martinheinz.dev/blog/35

JIRA: TRNSPRTPCE-527
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I593568b2e17bebe784eff7b3413d0d5b829f2ade

Fix: Disconnection of netconf node

- Add protection to check that a node exists in TransportPCE datastores
before removing it. Appeared when the node connection remained in a
transient state, and that the node had not been created in PortMapping
and the different topologies.
- Add a new isNodeExist method in PortMapping to test presence or not of
a node in the datastore.

JIRA: TRNSPRTPCE-547
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I93744ea941c909c6a18e7ccc879801f83103efba

Fix some small issues pointed by Sonar

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I05cce46dfa32ed000cc5c3ce1b4a3d9d1b910029

PortMapping Refactoring step 5

This refactoring intends to optimize some parts of the code
and to fix sonar issues about cyclomatic complexity.
To this purpose, it introduces a few intermediate functions.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ia329ea5ff3f5662ab701aadaf9cf31d9f744693a

PortMapping Refactoring step 4

This refactoring intends to optimize some parts of the code
and to fix sonar issues about cyclomatic complexity.
To this purpose, it introduces a few intermediate functions.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I933c58d12444f928fc0aca692f37423b205d3cd9

Add a feature to start swagger

JIRA: TRNSPRTPCE-534
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: Ic48b0970386074e83d99515630f9e15bae37bf78

Remove OpenROADM ospf YANG model rev 2020-05-29

This model is not used by the current codebase
and prevents swagger from working correctly.

JIRA: TRNSPRTPCE-545 TRNSPRTPCE-534
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Id372a645a9913be27660853f91ffd264d071291f

Use constants for PortMapping log messages Step 4

Few PortMapping log messages were redundant and needed to be realigned.
They were fixed previously but this created new string for the words
"create" and "update" and "found".
Sonar complains they are used multiples times.
Since these words are shared among all PortMappingVersion*** classes,
migrating them to constants in the PortMappingUtils class is preferable.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I71a5e8eb654256004f11d10e9f3d3273d79bcede

PortMapping Refactoring step 3

This refactoring intends to optimize some parts of the code
and to fix sonar issues about cyclomatic complexity.
To this purpose, it introduces a few intermediate functions.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I5c1ce21ad982581920c3b57f52987ef433b91dc3

Bump project version to P-SR1

JIRA: TRNSPRTPCE-565
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I2f64cfcfaf7d84dc496452a4e77d06d6e1cae52d

Update PTL info

Gilles Thouenon has been approved as the new PTL of TransportPCE.

https: //wiki.opendaylight.org/display/ODL/2021+PTL+election

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I91e4d33ebd23b8c9c03a248719bfeee71621206f
(cherry picked from commit 23e184818681ff152351b97b9e3e066dbf3d94e1)

Update version configurations

JIRA: TRNSPRTPCE-535
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I764d6fd09bf825f1a34611027a32eac4e65cf550

PortMapping Refactoring step 2

This refactoring intends to optimize some parts of the code
and to fix sonar issues about cyclomatic complexity.
It introduces intermediate functions, sometimes by reevaluating log
levels and messages content.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I625598fd935c296f59c9ad42966d5353c21a59d8

PortMapping Refactoring step 1

This refactoring intends to optimize some parts of the code
and to fix sonar issues about cyclomatic complexity.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ia82c6129d10becf97e161bf4eccb905c1fb850d7

B100G end-to-end functional tests

- test the service creation and deletion for a 400GE service between
two 400G TPDR
- test the service creation and deletion for 100GE MXPDR (OTUC4, ODUC4
and 100G)

JIRA: TRNSPRTPCE-506 TRNSPRTPCE-508
Signed-off-by: Christophe Betoule <christophe.betoule@orange.com>
Change-Id: I163dd7fe977e5c2579a4ec8035a41db405210ab0

Code consolidation for end-to-end B100G services

Code consolidation to operate the end-to-end creation and deletion of
a 400GE service over a 400G TPDR and a 100GE service on a 400Gbps MPDR

JIRA: TRNSPRTPCE-505 TRNSPRTPCE-507
Signed-off-by: Christophe Betoule <christophe.betoule@orange.com>
Change-Id: I121dcc5a99f5c1f46b1a070cfa927a7af949ab69

Use constants for PortMapping log messages Step 3

Few PortMapping log messages were redundant and needed to be realigned.
Some others were triggering Sonar issues.
Since these messages are shared among all PortMappingVersion*** classes,
migrating them to constants in the PortMappingUtils class is preferable.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I865145bc7207500d727e5778916d9f1f4879c1c0

Use constants for PortMapping log messages Step 2

Few PortMapping log messages were redundant and needed to be realigned.
Some others were triggering Sonar issues.
Since these messages are shared among all PortMappingVersion*** classes,
migrating them to constants in the PortMappingUtils class is preferable.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I2a0cb1788d1c078acdb448f995416f7e3ad79c3e

Use constants for PortMapping log messages Step 1

Few PortMapping log messages were redundant and needed to be realigned.
Some others were triggering Sonar issues.
Since these messages are shared among all PortMappingVersion*** classes,
migrating them to constants in the PortMappingUtils class is preferable.

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I944596cc57ae4a352309aeb590b440eadc48bf8c

Fix most PortMapping Sonar issues

- use static HashMap instead of switch/case in MappingUtils
- return directly boolean expressions instead of using if-else blocks
- log every catched exceptions
- perform minor refactoring and realignments

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I2f262d94c04d256fb473b94a3815486d5636a14e

Add a PortMappingUtils class

- rename FnvUtils class to PortMappingUtils
- move createXpdrLogicalConnectionPort to it
- rename fnv1_64 function name to fnv1size64 to fulfill sonar regex rule
- add a new function to generate Degree TTP names
  and to fix a few sonar warnings

JIRA: TRNSPRTPCE-355 TRNSPRTPCE-356
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I8cac7d7fabdc5549e0fe92ddcd2da6d8bd907c87

Bump upstream dependencies

Adopt:
- odlparent 9.0.6
- mdsal 8.0.5
- netconf 2.0.5

JIRA: TRNSPRTPCE-435
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: I0a909fc07d1d86f8c38f74b4fe93decedad15c9a

Notification Stream selection update

- Update NetConfTopologyListener to read notification streams supported
  by device.
- Update the code to look for device support for OPENROADM Stream.
- If OPENROADM stream is not supported by device, code will subscribe
  to NETCONF stream
- Sample CONFIGs are updated to have NETCONF stream in device model

JIRA: TRNSPRTPCE-493
Signed-off-by: Vachhani, Shweta (sv111y) <sv111y@att.com>
Change-Id: Icb9b77c12597625b13b6b689d270813d601c3153

Fix hybrid functional tests race condition

JIRA: TRNSPRTPCE-493 TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I68ec9cd733860c620a7d7684960ff62cc2310867

Get rid of YangParserFactory

org.opendaylight.yangtools.yang.model.parser.api.YangParserFactory is
deprecated and marked for removals according to compilation warnings.

PCE Junit tests do not require anymore mocking this Object.

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I8f83089a3c6b10011ad9bb25a0e034d2f236f368

Fix unused dependencies warnings after bump to P

JIRA: TRNSPRTPCE-435
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I904740e44c78f530126e4dd713443d5628ba09e4

Fix/Ignore raw type warnings after Phosphorus bump

JIRA: TRNSPRTPCE-435
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I45ca9d8f3abceee8e53d5e90fd97f07299b6687d

Fix static methods warnings after Phosphorus bump

Static methods should be qualified by type name,
instead of by an expression.

JIRA: TRNSPRTPCE-435
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I2d298f7fd36af590e7745530a740efe32e23fd06

Merge changes from topic "97346"

* changes:
  Ignore fallthrough warning after Phosphorus bump
  Ignore serializable warnings after Phosphorus bump
  Phosphorus migration
  Fix GNPy functional tests
  Change absolute path of leafref in GNPy model
  Refactor OLM timers management

Ignore fallthrough warning after Phosphorus bump

JIRA: TRNSPRTPCE-435
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I07ea123534c8cb369014dcabac335f774ba1f6a0

Ignore serializable warnings after Phosphorus bump

JIRA: TRNSPRTPCE-435
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I24bd33d9a5aee4b5cdabb7386d056b45a5d68000

Phosphorus migration

Bump upstreams dependencies to:
- odlparent: 9.0.5
- mdsal: 8.0.4
- netconf: 2.0.3

Perform some code adaptations in all modules to allow project building.
- remove number of useless calls to .toString()
- fix issue regarding Tp Name in PCE now that Tp resource is correctly
  recognized as a TpId instead of an Object (thanks to an improvement of
  leafref management in mdsal)

Remove few useless dependencies.

Disable lighty.io runtime for functional tests
(no lighty version compatible with phosphorus dependencies yet)

Adapt GNPy UT resource file.

JIRA: TRNSPRTPCE-435
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Icedf25d2158f35902ff13dce4d137c6eb0a9cd8c

Fix GNPy functional tests

"A-to-Z" and "Z-to-A" items have been swapped in arrays returned by
the PCE computation API during the updates to handle high rates.

GNPy functional test must support any order.

JIRA: TRNSPRTPCE-403
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: If4db8598366bd1387d05dd65220beda589dbb4c1

Change absolute path of leafref in GNPy model

JIRA: TRNSPRTPCE-497
Signed-off-by: Gilles Thouenon <gilles.thouenon@orange.com>
Change-Id: Ief01620be3f2842664dcba6aa7c4851c92e327d5

Merge changes Ic53c9f04,Iae5644f6,Ib3975607

* changes:
  Refactor buildcontroller tox profile
  Refactor OLM PowerMgmtImpl class
  Add documentation to use tox and functional tests

Refactor OLM timers management

OLM timer values are defined by OpenROADM whitepaper specifications.
For this reason, they are hardcoded with constants in the current code.
Though, there are at least 2 reasons to make them configurable:

1- At least one vendor product needs more than the OpenROADM whitepaper
   recommandation because it is not supporting GainLoss with
   target-output-power.

2- The OlmUtils constants are patched in functional tests to speed-up
   tests because the simulators needs less time to set the OLM up than
   real devices.

As a consequence,
- remove OlmUtils timers constants
- remove related command to patch them in tests scripts
- create a new constructor PowerMgmtImpl to allow any timers values
- modify OLM OSGi blueprint to set default values for these timers
  (Default values are the ones recommended in the OpenROADM whitepaper)
- modify lighty build to retrieve these timers from new CLI options
- adapt tests scripts and assembly ressources accordingly

JIRA: TRNSPRTPCE-496
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I71f9bdfd38c11ea3427ca2e661cd3590bc2863bf

Refactor buildcontroller tox profile

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ic53c9f04ab7f35756792e615af299a98687bb288

Refactor Notification support for 7.1 devices

JIRA: TRNSPRTPCE-446
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I38320571aca256f0bbd40d09c9f90af5e9b8687c

Notification support for 7.1 devices

1) New notification listeners classes for 7.1 model
2) Listener registration code for 7.1 listeners

JIRA: TRNSPRTPCE-446
Signed-off-by: Shweta Vachhani <sv111y@att.com>
Change-Id: I14a545bf7e48cadb8d16d038173f7b098c60fbc3

Update NBINotifications docs

Updates the illustration "Example:service-create workflow" and the
description

Signed-off-by: Thierry Jiao <thierry.jiao@orange.com>
Change-Id: Icfb5da8d9ac489e790a4530694c73550bf837a29

Refactor NBINotifications and serviceHandlerImpl

This refactoring renames the models in YANG nbi-notifications file.
It also corrects a few typos, notifications and simplifies conditions.

Signed-off-by: Thierry Jiao <thierry.jiao@orange.com>
Change-Id: Ia23d44b2a158b4828b68c4a9ab2df0dcb121f034

Refactor OLM PowerMgmtImpl class

The former implementation of OLM Power management ignored some spotbugs
warnings and triggered many alarms in SonarCloud, mainly about
commented-out lines of code and the SetPower method.
This method had 280 lines and its cyclomatic complexity was 43.
Current Sonar rules warns methods with more than 75 lines of code
and a cyclomatic complexity of 10.

As a consequence
- remove commented-out lines of code
- fix SpotBugs warnings and remove annotations to ignore them
- split the SetPower method into several pieces
- rework and optimize the code
- add TODO and FIXME comments for some parts of the code
  that may need to be reconsidered in the future

JIRA: TRNSPRTPCE-211 TRNSPRTPCE-494
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Iae5644f66cd6de6e17f81de3cd61dcb546ac2dd1

Add documentation to use tox and functional tests

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ib3975607aed1571961f54c151d908148326a0d14

Reenforce Lighty use in the gate

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I92e51984822ae392ae80d9f6e0814bcb049b9cef

Enforce sims download in the gate

There is no point to perform functional tests suites if the related sims
download previously failed because of connectivity issues.

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I85496f08e33351042ece16db66ff9f310d353f13

Improve Karaf exec customization for tests

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I60f3010c13e9f101761a46b733982cc27df2c765

Improve tox tests parallelization with Karaf

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I71038c8c51719158694167e95c26833978d0ff86

Refactor Karaf post-install scripts for tests

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: I7e6d949887d41528545d78e15bc8ddee89019b75

Allow tox tests with Karaf to run in parallel

- rework tox depends parameter to allow 2 instances of Karaf to be run
  in parallel
- modify buildcontroller process to add specific Karaf build folders
  for each test suite. Karaf instances are tighly coupled to their build
  folder. Using a separate log file is not enough to allow concurrent
  accesses to work properly.
- create an environment variable and adapt tests script accordingly

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I7fb608546beaaa19f0b046809c451303bd64c097

Allow Karaf to use an alternative websocket port

In tests post install script
- generate configuration file template for restconf nc-bierman02
- patch Karaf exec to generate configuration file from environment
  variable and template

Allowing the controller configuration to listen to alternative ports
is a commodity to run functional tests in parallel.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: Ib507f486103a9edcaa9a948644c3739ef7381460

Allow Karaf to listen to alternative RMI ports

In Karaf post-install script for tests
- generate configuration files templates for Karaf Management
- patch Karaf exec to generate configuration files from environment
  variables and templates

In tox.ini
- declare the related variables in SETENV parameters

Allowing the controller configuration to listen to alternative ports
is a commodity to run functional tests in parallel.

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ic2f0db92b9da14fcd65fc9840aa4365b8f9469f8

Allow Karaf to listen to an alternative SSH port

In Karaf post-install script for tests
- generate a configuration file template for Karaf Shell
- patch Karaf exec to generate configuration file from environment
  variable and template

In tox.ini
- declare the related variable in SETENV parameters

Allowing the controller configuration to listen to alternative ports
is a commodity to run functional tests in parallel.

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Id1b367aaaaccae4bcf74d1b6ac0aa4997f3083a6

Allow Karaf to use altern. RESTCONF and akka ports

In tests post install script
- generate configuration files templates for akka and RESTCONF
- patch Karaf exec to generate configuration files from environment
  variables and templates

Allowing the controller configuration to listen to alternative ports
is a commodity to run functional tests in parallel.

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Id068b557c7cb4676c7d7b742eb939a34a43e70ff

Create a Karaf post-install script for tests

- add a post-install shell script for Karaf and tests purpose
  This post-install script will be copied at build-time from
  src/main/assembly/ressources to target/assembly/ressources
- move the tox.ini sed command used to patch Karaf exec into this script
- update this command since there is no more quoting hell issues
- update tox.ini accordingly

JIRA: TRNSPRTPCE-482
Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Iac1bfa3b4bf7a8d0e55130abf2f4cbf349f14ba4

Fallback gate to Karaf and sequence mode

Signed-off-by: guillaume.lambert <guillaume.lambert@orange.com>
Change-Id: Ice1b48168b8219ff00a3b4e50d01bc5653fdc863

Allow tox func tests suite to run in parallel

- append PID to lighty controller log file
  This avoids parsing the file of another controller instance.
- increase various timeout limits
- rework tox "depends" parameters used to artificially create a sequel
  in parallel mode.
  tox -p auto strategy is only based on CPU core numbers and not memory
  nor any other parameter. This is not optimal since it can cause other
  resources starvation issues in the gate (but not locally).
  The new configuration proposed here chains in parallel:
    * PCE tests first then 1.2.1 device tests
    * 7.1 device tests first then 2.2.1 device tests
  This way, only 2 controller instances can be run simultaneously, what
  prevents resources from starvation in the gate.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I3a0a66a45a8e170b4554c9de769e1e65b96d224f

Set different controller ports in tox tests suites

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I62243181953654c053166c8eb4f1fad82567f618

Allow Lighty build to listen to alternative ports

- Add lighty configuration files templates for akka and RESTCONF
- Update lighty clean start script to generate from environment
  variables its configuration files (based on the new templates)

Allowing the controller configuration to listen to alternative ports
is a commodity to run functional tests in parallel.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: Ib49dcad14e464bdf60c70dbebf6a22c5eba06699

Refactor tests launching procedure

The possibility to run test separately was lost during preliminary work
to prepare jobs parallelization.
This refactoring restores that feature but with a different approach.
For example, the equivalents of the old commands
    $ tox -e topoPortmapping
and
    $ tox -e portmapping,pce
are now
    $ tox -e tests121 topo_portmapping
and
    $ tox -e tests121 "portmapping pce"
(preceded by $ tox -e buildcontroller)

The possibility to choose the script launcher command from a global
variable have been added.
For example,
    $ export LAUNCHER='python3'
allows to replace 'nosetests --with-xunit' by a straight call to python3
to have more debug output during tests.

Tests order can also be changed by directly modifying script filenames
without touching tox.ini. Filenames have been modified here to add a
numbering and keep the tests current order.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I725d1dfac42bd309d18fbf87ff1c85bc1bce5be9

Outsource PCE tests scripts into a separate folder

PCE tests are loosely coupled to a specific version of OpenROADM devices
and does not launch any simulator contrary to other functional tests.
Moving them to a separate folder will ease tests management in the gate.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: Ide600a3c371b35114b594f119f3a10cb3aed310e

Outsource tests scripts not in envlist

Gnpy and nbinotifications tests requires docker and cannot be run
easily in the gate.
For this reason, they are not listed in tox.ini envlist.
Moving them to a separate folder will ease tests management in the gate.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I57b69bc3c4482c4ef2ed9d0aaeffd874b9925deb

Refactor tox.ini to prepare parallelized jobs

- split py3 profiles into several profiles
  and regroup tests by OpenROADM devices version
- separate the controller build from tests themselves in a dedicated
  profile
- use "depends" to state profiles dependencies.
  This is necessary so that tox can order tests sequences
  and decides which jobs can be run in parallel.
  This parameter requires tox versions >= 3.7.0

NB: at this stage, tests can no more be run standalone from a dedicated
tox profile.

JIRA: TRNSPRTPCE-482
Signed-off-by: Guillaume Lambert <guillaume.lambert@orange.com>
Change-Id: I8d583f01003c4d9ee690d866ff602757392c3304