Merge "Make TCP netconf endpoint configurable"

Merge changes Ibe016728,Ic719c519,I87a81a54

* changes:
  Fix mac address generator in stress client
  Modify multiple physical address atributes in stress-client payload.
  Multiple clients for stresstool

Merge "BUG 3066 : Optimistic lock failed, on NetconfStateUpdate"

Merge "Bug222:Comments incorporated for response based Restconf statistics"

Bug 3010: Improve restconf error clarity.

Change-Id: Ib54e96f1a70a187d940f843ed624f4a0f3c4ead0
Signed-off-by: Evan Zeller <evanrzeller@gmail.com>

Make TCP netconf endpoint configurable

Allow users to configure netconf endpoint for md-sal to use pure TCP instead/or along with SSH.

Change-Id: I03d067322b0c02ba335d554da51c56db77c22bfb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Bug 2932: NPE on bundle activation"

Fix mac address generator in stress client

Change-Id: Ibe016728fb2be3693c1b9f7899d0933932c37138
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Modify multiple physical address atributes in stress-client payload.

Change-Id: Ic719c519eb0735d00014e51851dd958db5098ff0
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Multiple clients for stresstool

Added new parameter(--thread-amount) for stresstool that splits edits
between multiple threads.

Change-Id: I87a81a5442e32833c0c49dfd98b6475f8e699a2b
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug222:Comments incorporated for response based Restconf statistics

Added response based restconf statistics which counts
the reponse of get, put, post and delete on the success and
failure response for config and operational datastore.

Change-Id: If423da08e2c5793e68398beb69575b7cf214f57e
Signed-off-by: bhavesh.kumar1 <bhavesh.kumar1@tcs.com>

BUG 3066 : Optimistic lock failed, on NetconfStateUpdate

Fixed race condition between commit of NetconfState and
opening of a new transaction in NetconfMonitoring state update.

Change-Id: I2f56a0e432e630e56a35409c56e4198a3e278594
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add {PHYS_ADDR} attribute to netconf stress client tool

{PHYS_ADDR} is a wildcard and will be replaced by a physical address based on
current edit indes. Suitable for testing edit-config performance with models
containing physical address.

Change-Id: I48a0a6eb2ccf903dadc02c87d9eb9dfcfe7bac07
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix checkstyle violations caused by checkstyle 6.1.1

Change-Id: I84f356707f97184ae8708e429c6b440db8bd632f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Bug 2983: Added support for creation of multiple list entries"

Bug 2932: NPE on bundle activation

Error might occured when value containing YangStoreContext
is overwritten to null by refresh method, executed within another thread.
After fix, in case context is null, context is calculated again.

Change-Id: Icefe2a5970ec2ce0b67d5b3b386a35f781fc4156
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Merge "Bumped controller version by minor for next release cycle."

Bug 2983: Added support for creation of multiple list entries

JSON payload for POST allows user to specify multiple list
entries to be created. This resulted in confusing behaviour
where only one entry was allowed.

Updated RESTCONF to allow multiple entry creation via POST
for lists only.

Change-Id: I7dc11098676d4e761e1b31a0504f3e5af75157f3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bumped controller version by minor for next release cycle.

Change-Id: I80ea0aecf42e5ee96dcebc68af1e872b1f10e7b5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Use ImmutableNodes.fromInstanceId in netconf"

Merge "Improve performance of XmlElement.getName"

Merge "Stop SubtreeFitler from rereading reply even if no filter element is present."

Merge "Use ImmutableNodes.fromInstanceId in restconf"

Use ImmutableNodes.fromInstanceId in netconf

Build normalized node strcuture from Yang Instance Id using new utilities from
yang-data-impl.

Change-Id: I1862d17e2356b965d4875ce5e715891cf94b17fb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 3024 - Restconf PUT exception when top level node is from augmentation"

Bug 3024 - Restconf PUT exception when top level node is from
augmentation

* added check for PUT into JsonNormalizedNodeBodyReader. If method is
PUT then data are unwraped from augmentations/choice nodes
* added wrapping of augmentation nodes when using XmlNormalizedNodeBodyReader
* commented out check for namespace in createConfigurationData (it should be
moved to parse stage)
* both XmlNormalizedNodeBodyReader and JsonNormalizedNodeBodyReader
should now produce the same normalized node data and paths for
equivalent XML and JSON input.

Change-Id: I21f4594d20170f33177cbae00791b81f6ae640b2
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Use ImmutableNodes.fromInstanceId in restconf

Build normalized node strcuture from Yang Instance Id using new utilities from
yang-data-impl.

Change-Id: Iee74bc0a7529b0fe7b901c04d2e26f9e2e60fac1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix compile errors in NetconfDeviceSimulator

Jenkins builds are failing due to compile errors in
NetconfDeviceSimulator apparently due to recent yangtools changes.

Change-Id: If48d23f8907f848def5f448bb95f10fd5486f89e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Stop SubtreeFitler from rereading reply even if no filter element is present.

Change-Id: Ib8c28e4289aa0d8b6c228c5daecec713c1c874f3
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Improve xml lookup in edit-config rpc for md-sal"

Merge "Bug 2998 - RESTCONF not recogizing top-level input."

Merge "Netconf testtool stress client"

Netconf testtool stress client

Change-Id: I4bd351fe17e596e9153a48bf233432b8c8b19ea9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Parse Xml Netconf msgs without defer-node-expansion option"

Merge "Fix compilation with JDK8"

Bug 2998 - RESTCONF not recogizing top-level input.

* added choice resolution when top level element is from case node.
Resolved choice is then fed into parser.

Change-Id: Iadea8cc3d190afb13fa2447edd05abd8708e591a
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Improve xml lookup in edit-config rpc for md-sal

Lookup the attributes of rpc in xml payload directly to improve lookup
performance instead of using utility XmlElement class

Change-Id: I47e8f47f279ccbd271e5ed903a352ebbc307d0f9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Improve performance of XmlElement.getName

getLocalName on a DOM element was called 3x instead of 1.

Change-Id: Ibc758bd440f601adc76d8f62972950d30906610b
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Parse Xml Netconf msgs without defer-node-expansion option

The defer-node-expansion expands inner nodes on traversal, but its suitable for
bigger xmls (100k bytes) and messages that are not fully traversed. This is not
the case with incomming netconf rpc.

Source:
https://xerces.apache.org/xerces2-j/faq-performance.html

Tested:
Netconf server pipeline performance was improved by 5-6%

Change-Id: I3bd4b917841f0ebe212ff753d6e0f655d618968c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix compilation with JDK8

Direct cast was not working, so restructure it a bit.

Change-Id: I58bb6ab2d636cdfe15d1a7ed9c47c393ff6a6920
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 2358: Fixed warnings in Restconf"

Merge "Stop swallowing exceptions in XmlElement optional methods."

Merge "Remove isCloseMsg check for each rpc"

Merge "BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation."

Merge "BUG-1848 : OrderedNormalizedNodeWriter implementation"

Bug 2358: Fixed warnings in Restconf

Removed dead-code and fixed generics and casts
related warnings in restconf codebase.

Change-Id: I5cfad51fbf8856685259bcedd77ebe6d7527c899
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Stop swallowing exceptions in XmlElement optional methods.

Performance increase.

Change-Id: I41629b5ea356be697629eb7f9238344f87a62a5e
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation.

Makes the rpc processing in netconf northbound and sal-netconf-connector use
the new ordered writer.

Change-Id: I1367ba07069fa5b6525358f265fe664d00d71500
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-1848 : OrderedNormalizedNodeWriter implementation

Writes nodes in the order defined in yang files.

Change-Id: I72b2a867ad47b2c9de0444a8a0a2f279a8360021
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Fixed NPE when RuntimeRpc could not find module in schemaContext."

Merge "BUG 2889 : migration of netconf-cli to NormalizedNode api's"

Remove isCloseMsg check for each rpc

Performance improvement

The check re-read the message and checked if its close-session rpc.
DelayedClose method was added to netconf server session that replaces the
isCloseSession method with a simple bollean check.

Change-Id: Ic4f6d473b948bd4f63771748dac793ba43693828
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 2942: odl-mdsal-apidocs feature is not protected through AAA"

Fixed NPE when RuntimeRpc could not find module in schemaContext.

Change-Id: I40c72d413f23753e95fd5f0bb42cc78046a6494f
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2942: odl-mdsal-apidocs feature is not protected through AAA

This change enforces AAA on the URL endpoints supported by odl-mdsal-apidocs.
The security model prohibits any access to the controller without
authentication.  This change mandates AAA for odl-mdsal-apidocs URLs.

Change-Id: I74226e702568077d769353d5fe49fe21cd187266
Signed-off-by: Ryan Goulding <ryandgoulding@gmail.com>

Merge "BUG 2743 - Added support for runtime RPC's to netconf mdsal northbound."

Merge "Increase default negotiation timeout for netconf server to 30s"

Merge "BUG-1567 Expose sources for submodules in netconf"

Merge "BUG-2877: Allow hello message with no namespace"

BUG 2889 : migration of netconf-cli to NormalizedNode api's

Change-Id: I5311a5c37ed5b5be214ab9aa4e7328df3470fde1
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "BUG-2424 Bump mina sshd-core version to 0.14"

BUG-1567 Expose sources for submodules in netconf

Yang submodules were not exposed by netconf monitoring in netconf server (for
both config and mdsal servers).

Change-Id: I7adfa5ccf20199a8b8310286ef5194af8545b2e8
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2877: Allow hello message with no namespace

Several network equipments (such as Cisco routers) do not set the namespace
attribute (xmlns) in their NETCONF messages. Whether this is valid or not is
unclear according to RFC 6241 (NETCONF). This patch improves interoperability
by relaxing the constraint for a namespace in NETCONF hello messages.

Change-Id: Ie3de4fe454adf0d7dfd3d11eaacacf5d03736502
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2424 Bump mina sshd-core version to 0.14

The 0.14 version includes fix for following issue:
https://issues.apache.org/jira/browse/SSHD-393

It caused the transfer over ssh to freeze completely when sending big messages
e.g. 8Mb

Tested using connection between ODL and netconf-testtool transfering yang schema
with size of 40Mb.

Change-Id: I8a2dc38f0feed30a0f6b6c4197e9a546df16491b
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Increase default negotiation timeout for netconf server to 30s

5s is a bit too short. especially when testing.

Change-Id: I47a1ccedab596c78e9d1ba314679d0b542722889
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 2743 - Added support for runtime RPC's to netconf mdsal northbound.

Change-Id: I7f978502926c47535efc074a0522f6cfc0a3c3a5
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "BUG-2878: Add the XML declaration to every outgoing NETCONF message."

Merge "BUG-2801: Added filtering for get and getConfig in netconf mdsal northbound."

Merge "BUG-2837 Check netconf base 1.1 capability correctly"

BUG-2801: Added filtering for get and getConfig in netconf mdsal northbound.

Change-Id: I37db2b21712c7b3d16c6b9dafa193a3fb9df4430
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-2837 Check netconf base 1.1 capability correctly

Check the entire URI for netconf base 1.1 presence in hello message

Change-Id: Ida5f9bf3445b24c2945c2ac583f53806f4c1e01f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2878: Add the XML declaration to every outgoing NETCONF message.

Cisco routers expect that NETCONF messages are prefixed by the XML declaration
<?xml version="1.0" encoding="UTF-8"?>. Else, they close the NETCONF/SSH
connection and log an error such as "NETCONF-ERROR: parse error before hello seen".

This patch adds the XML declaration to every outgoing NETCONF message so that
Cisco routers accept NETCONF messages coming from the OpenDaylight controller.

This is a workaround for the sake of interoperability: according to RFC 6241,
the XML declaration is optional so Cisco routers should accept NETCONF messages
without XML declaration. See RFC 6241 section 3 "XML Considerations":

   A NETCONF message MAY begin with an XML declaration (see Section 2.8
   of [W3C.REC-xml-20001006]).

Change-Id: I04a8b61a8fcef6738e8a4552f0560aa319add014
Signed-off-by: Gwenael Lambrouin <gwenael.lambrouin@b-com.com>

Merge "Fix modules Restconf call for mounted devices"

Merge "Increase IDLE timeout for ssh netconf server"

BUG 2412 - Remove CompositeNode from sal-dom-*

* removed CompositeNodes from sal-dom-broker
* removed deprecated services from sal-dom-broker
* removed deprecated services from sal-dom-api
* removed deprecated api calls from sal-binding-broker tests and
sal-dom-spi

Change-Id: Iae44e5c0acd0ad602bf98b9961fcd808657ac07b
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG 2412 - remove CompositeNode from sal-binding-dom-it

* removed all CompositeNodes from tests which used it. Tests have to be
rewriten with NormalizedNodes ASAP.

Change-Id: Ib666f9fb9de9fc35e1be554cb630ea5f01f6617e
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG 2412 remove CompositeNode from RestconfImpl codeBase

* remove all references for CompositeNode from Restconf codeBase
* remove all depricated classes from Restconf
* remove all tests which have worked with CompositeNode
 * we would like to fix tests and move to correct place (in yangtools
and controller integration test for JerseyTest suite)

Note: The removed tests are still in git history. A fixes for Test
suite will be realized ASAP (expectation: in next couple of weeks).

Change-Id: I66b423c92e5ff5b34882b92aece54c5f641c070c
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Bug 868: Removed use of CompositeNode Binding Codecs.

Change-Id: Iaaf22bd8bc788f26814e06873b483bf0424ceaf2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix modules Restconf call for mounted devices

Restconf was relying on the remote devices to contain restconf yang model. Now
Restconf relies on the controller's schema context when it serializes the
modules response.

Change-Id: Ib406d0082a5aafb7e894440ee5f75e5032ea35ba
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Increase IDLE timeout for ssh netconf server

We might consider doing unlimitted idle, mina ssh library needs to be checked.

Change-Id: Ia36f61fd89d1d9690e5f6a438247fde0be209404
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Remove RuntimeGeneratedMappingService from config-manager"

Merge "fixed restconf notification subscription parsing."

Merge "Reenable netconf-notifications-impl xml tests"

Remove RuntimeGeneratedMappingService from config-manager

Replace with BindingRuntimeContext

Change-Id: I8e3ef881898f6ea7b9c3922a3bfaf3094667c644
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 2841: Fixed missing output element in Restconf RPCs"

Bug 2841: Fixed missing output element in Restconf RPCs

JAXRS Body Writers reused root data container writeout
for RPC outputs, which differed and writed "data"
container instead of rpc "output", refactored writeTo
method, to do this special handling.

Change-Id: Ia6acf671b760c9aa578a02ce803c99a389030260
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-2713 Extract capability implementations into util

Identical implementations all over the place are now in 2 classes in
netconf-util

Change-Id: Ibc2aa78edb581654da1ac890d109d2f32cf94738
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Reenable netconf-notifications-impl xml tests

The tests were disabled due to improper configuration for XMLUtil.
The configuration is fine now.

Change-Id: I59fe1081ac927596fc55079e62088cceb5b52811
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2839: remove dependencies on commons-io

Replaces uses of IOUtils methods with guava/JDK equivalents.

Change-Id: I16ece0feec2f4dc84c3be91ec675a0294cffcffb
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 2845: Temporarily ignore RestPutOperationTest

RestPutOperationTest is frequently failing the verify builds so
setting to Ignore until the issue is fixed.

Change-Id: I134a6d73930cd104225a27880e87867026f35f03
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 2834: Fix Restconf POST to wait for completion

This changeset introduces a blocking mechanism for Restconf POST to ensure that
the transaction completes before a response is returned, as is consistent with
Restconf PUT behavior.  checkedGet() is utilized to ensure write transaction
completion.

Change-Id: I74f68b883f6037ec62644a468d3cbb9370d8d25f
Signed-off-by: Ryan Goulding <ryandgoulding@gmail.com>

Merge "BUG-2596 Workaround for scheduled-threadpool module"

BUG-2596 Workaround for scheduled-threadpool module

Register the scheduled-threadpool as all available service types in initial
config.

Change-Id: If7929fbb9996f0ea8902d50e2c71875d343f229f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix bug 2821 - restconf RPC parsing returns http status 500

Note: RpcDefinition is a direct child of SchemaNode and we are not able to
use it as DataSchemaNode or SchemaContext. In next RpcDefinition hasn't any
child except Input & Output ContainerNodes. So we are using RpcDefinition
for SchemaNode as a marker in InstanceIdentfierContext.

* json input read @Provider has to change RpcDefinition SchemaNode
to Input ContainerSchemaNode for a correct parsing RPC input data from stream

* no-payload Rpc - Rpc Call could be without payload, but jersey always does
to parse empty stream to NormalizedNode so we add check for stream.available
before start parsing input NormalizedNode from stream and return NNContext
with null data. All checks for data exist have to be implemented for every
method with NormalizedNodeContext.

* fix RpcOutput NormalzidNodeContext in RestconfImpl - we expect to have
RpcDefinition as reultNodeSchema and data are payloaded inside as Output obj.

* fix NormalizedNodeJsonBodyWriter and NormalizedNodeXmlBodyWriter for RpcDefinition
- RpcDefinition has no child elements so RpcDefinition.output has to be a root
DataSchemaNode for json parser

* add JsonBodyReader/Writer test suite
* add Xml rpc Writer parser test suite

Change-Id: I31273bee937f57fa1551a33fcc4d6c81b984afb6
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Add missing union type builder

This type was missing and should not be generated over and over again.

Change-Id: Ife3e97c2c639e29ca2115429b53e6dec62440db7
Signed-off-by: Robert Varga <rovarga@cisco.com>

fixed restconf notification subscription parsing.

Change-Id: I7cf7f6fcbe4c45e5a462be6da61907712c4c7784
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Fixed testool performance bottleneck due to testtool using NetconfMonitoring from ODL. Added a dummy NetconfMonitoring implementation for testtool."

Merge "Remove duplicate dependency declarations"

Merge "Fixed failing tests due to different attribute handling in mdsal netconf northbound."

Merge "Make logger final"