Bug 2983 - POST operation to list only accepts data for keys

* added catch for ResultAlreadySetException in JsonNormalizedNodeBodyReader

Change-Id: I07d8b8b63e5c2de84b0ee7ec66013d38c58c7b49
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit ae1583bfe01bdc3f43fdb6d590ab7c6a32e0be5a)

Custom BufferedWriter implementation without newLine()

This BufferedWriter does not provide newLine() method and does not read the
line.separator property via AccessController when its initialized. Whithout this
expensive call, its allocation is much faster. Used in netconf message encoder
to make the netconf serialization faster.

Change-Id: I88a65c7a82ff7c44b9ad3a3adfe7d7482a5fdc70
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix racecondition in AsyncSshHandlerWriter

Fixed racecondition between releasing of netty ByteBuff and removing the msg from pendingWrites.

Change-Id: I40eff55d9c7858534d105a242d3ec6feb9d950d0
Signed-off-by: Tomas Cere <tcere@cisco.com>

Use callbacks while parsing to NormalizedNodes.

Implemented custom parsing strategies that handle netconf operations
and manipulation of the data tree in NetconfMDSal.

Change-Id: I99d7f049710393743714d90ac3123041e87040cd
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add NetconfXmlUnitRecursiveQualifier to netconf-util.

XmlUnit's RecursiveElementNameAndTextQualifier has trouble with non-trivial xml's and
element order in bigger depths.
This adds our own qualifier based on XmlUnit's implementation.

Change-Id: Ie89e84813e11cb2af7c9d3c0c6d80377816f79a7
Signed-off-by: Tomas Cere <tcere@cisco.com>

CDS: add backend support for local transactions

Add the message for submitting a DataTreeModification from the frontend
and the logic to apply it to the Shard's DataTree instance. This is
similar to BatchedModifications, except is is always considered ready.

The ReadyLocalTransaction is not directly serializable, but we create a
new serializer, which turns it into BatchedModifications when
serializing to byte stream.

Change-Id: I23a39c7b5997b48a355af73287d19bbf3ab0ae20
Signed-off-by: Robert Varga <rovarga@cisco.com>

Change http port for NorthBoundIT tests

The NorthBoundIT tests are failing on jenkins due to port http 8080
already in use. I don't know what else would be running on port 8080
on the build machines - maybe a remnant of another test that didn't
cleanup or didn't finish cleaning up in the background. In any event,
I changed the port to 8180 to hopefully avoid the issue so verify
builds can succeed.

Change-Id: Ia11ef1d69c8cd5948063ec6dbfc08fab2492319c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 3148 - Fixed binding.api.NotificationListener support

Change-Id: I5017e502a23f9cdb7d35dc393e84db7c2989f491
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-3095 Add EventTime attribute to DOMNotification from netconf" into stable/lithium

Merge "Bug 3135 - Fixed support for InterestListener" into stable/lithium

Merge "BUG 2954 : Thread local DocumentBuilder's for XmlUtil" into stable/lithium

BUG-3095 Add EventTime attribute to DOMNotification from netconf

Introduced new interface DOMEvent and DOMNotifications from
sal-netconf-connector implement this interaface. The eventTime is parsed from
the the notification xml.

Change-Id: I833d86d91f752be55fef3e641a6c8654d2f65a28
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 3135 - Fixed support for InterestListener

InterestListener was one of undocumented beta MD-SAL APIs
which was not intented for public support, but accidentally
was public since Hydrogen and as it turned out other Opendaylight
projects started to using it.

Added support to affected components in order to still support
this API even when using new Notification Broker.

Change-Id: I060474f68a6c37ed05b262a9b46923f668ca3c8b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Fix test to return PrimaryShardInfo when retrieving primary shard" into stable/lithium

Merge "Bug 1773: Use new Binding Notification Broker by default." into stable/lithium

Merge "Add netconf-tcp feature into odl-netconf-mdsal." into stable/lithium

Merge "Bug 3068 - checkRpcResponse - CancellationException" into stable/lithium

Merge "BUG 3057 - notify added event source by topics created before" into stable/lithium

Merge "Bug222:Comments incorporated for response based Restconf statistics" into stable/lithium

Merge "Fixed export package section of sal-binding-broker." into stable/lithium

Fix test to return PrimaryShardInfo when retrieving primary shard

Without these changes the tests log a lot of ClassCastExceptions when
run.

I also removed one method in the test that was unused

Change-Id: I9501dc7cd6be461297052182de79dae831409a8c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fixed export package section of sal-binding-broker.

Change-Id: I09a0c50f8c6a96992ccca2648bec6759c85ff02a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug222:Comments incorporated for response based Restconf statistics

Added response based restconf statistics which counts
the reponse of get, put, post and delete on the success and
failure response for config and operational datastore.

Change-Id: If423da08e2c5793e68398beb69575b7cf214f57e
Signed-off-by: bhavesh.kumar1 <bhavesh.kumar1@tcs.com>
(cherry picked from commit f26ff841fe0cb5c56e8e9278a328dcb548e8e129)

BUG 3057 - notify added event source by topics created before

Change-Id: I97d49e830af6c360bb2d2b24880aa07e2e47c0a6
Signed-off-by: Marian Adamjak <madamjak@cisco.com>
(cherry picked from commit 08d14bd2821233d6f2eb6f03e143745393f530bc)

Use MoreExecutors.directExecutor()

Remove open-coded equivalent of the direct executor. We do not need an
ExecutorService, so it is sufficient and does precisely what our class
did.

Change-Id: Ib9424a1b4d3ba56f32ef5aec525de4026be0970a
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: split TransactionType from TransactionProxy

The type is used outside, too, so split it out into its own file.

Change-Id: I00589bc46b724ae5b0de3852056111a3f1bcb897
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: Introduce ChainedTransactionIdentifier

Conceptually the identifier of a a transaction is an extension point,
which allows passing of arbitratry, extensible identifier. It can thus
be reused to track the chain identifier as well as the normal source
coordinates.

Introduce ChainedTransactionIdentifier to carry the transaction chain ID
attached to the transaction on the frontend. This is not used in this
commit directly, but rather in the follow-up patch.

Change-Id: Iad24a1b59c6231e003579bb25149b73b11d6db25
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: do not propagate SchemaContext

TransactionContext implementations do not need, so remove the
constructor argument and adjust callers.

Change-Id: I7f6644e3e673057586a1ec6cfbe93b6e258ca9ad
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 3068 - checkRpcResponse - CancellationException

* added catch for CancellationException in RestconfImpl

Change-Id: I3ebb2c4fd2a521ed0977075975a1302301b801fa
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit 4414dc397b49c928635187fa99361b28f5ad6ee3)

Merge "Fix mac address generator in stress client" into stable/lithium

Merge "Modify multiple physical address atributes in stress-client payload." into stable/lithium

Merge "Multiple clients for stresstool" into stable/lithium

Bug 3010: Improve restconf error clarity.

Change-Id: Ib54e96f1a70a187d940f843ed624f4a0f3c4ead0
Signed-off-by: Evan Zeller <evanrzeller@gmail.com>
(cherry picked from commit b504aaac922e244a24f708f82342e4ce14b29532)

Merge "Remove "Unavailable" properties from ShardStats" into stable/lithium

BUG 3049 : Upgrade from akka 2.3.9 to 2.3.10

akka 2.3.10 has fixes related to the kind of issues reported in BUG
3049.

Change-Id: I51c094ff939ca0f4b31d685bae3e195d22ddb518
Signed-off-by: Moiz Raja <moraja@cisco.com>

Remove "Unavailable" properties from ShardStats

There's several property getters in ShardStats that don't apply anymore
and return null. They display as "Unavailable" in JConsole but cause an
NPE when queried via jolokia. We should remove them.

Change-Id: I6da8f331e007246c655a982b9cd335de553195aa
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add netconf-tcp feature into odl-netconf-mdsal.

Improve logging in tcp module for netconf mdsal.

Change-Id: I3b2f00ad02ce59effd10b3f4b3357db8800c29bf
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2853 : Adding Remote RPC MX bean

This bean gives three attributes - bucket versions,local registered routed rpc names and global rpc
bucket versions will give information of latest version of remote rpc buckets on all nodes of cluster.
Name of locally registered RPCs can be found in other two attributes.

Two Search operations - findByRpcName and findByRpcRoute helps to search RPCs registered in cluster
via name or route keyword. Search happens in both local and remote bucket.

Change-Id: Ief08eb2e42deafdf2627c61e58c2e2a50f7dcd09
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Bug 2932: NPE on bundle activation" into stable/lithium

Merge "Bug 2351 Speed-up Binding-to-Binding routed RPC Invocation." into stable/lithium

Bug 2932: NPE on bundle activation

Error might occured when value containing YangStoreContext
is overwritten to null by refresh method, executed within another thread.
After fix, in case context is null, context is calculated again.

Change-Id: Icefe2a5970ec2ce0b67d5b3b386a35f781fc4156
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Fix mac address generator in stress client

Change-Id: Ibe016728fb2be3693c1b9f7899d0933932c37138
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Modify multiple physical address atributes in stress-client payload.

Change-Id: Ic719c519eb0735d00014e51851dd958db5098ff0
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Make TCP netconf endpoint configurable" into stable/lithium

Multiple clients for stresstool

Added new parameter(--thread-amount) for stresstool that splits edits
between multiple threads.

Change-Id: I87a81a5442e32833c0c49dfd98b6475f8e699a2b
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Add {PHYS_ADDR} attribute to netconf stress client tool" into stable/lithium

Bug 1773: Use new Binding Notification Broker by default.

New Binding Notification Broker is required in order
to forward Notifications from Binding producers
to DOM Broker, so these notifications could be exposed
via netconf / restconf or in future releases via
clustering.

Change-Id: I520eb0b31512ec5f2114f0a5ee9492f5d9210679
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2351 Speed-up Binding-to-Binding routed RPC Invocation.

Current RPC Broker uses LazySerializedContainerNodes
when going thru DOM RPC broker, so in case
RPC is returned it can by-pass deserialization and
use Binding DTO directly.

In case of routed RPCs full serialization to normalized
node was triggered when DOM RPC broker tried to
read RPC route.

This patchset introduces support for LazySerializedContainerNode
to precompute this value and do not use full serialization
when DOM Rpc Broker reads only routing context.

Change-Id: I6d949b5257d40a96ae9edce3bf15c4c3ff932c27
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Make TCP netconf endpoint configurable

Allow users to configure netconf endpoint for md-sal to use pure TCP instead/or along with SSH.

Change-Id: I03d067322b0c02ba335d554da51c56db77c22bfb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG 3066 : Optimistic lock failed, on NetconfStateUpdate" into stable/lithium

Merge "Bug 2983: Added support for creation of multiple list entries" into stable/lithium

BUG 2954 : Thread local DocumentBuilder's for XmlUtil

Increases performance by reusing cached DocumentBuilder instances.

Change-Id: I5aab6b4caa960878b647e6868377d62dd6262cd9
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG 3066 : Optimistic lock failed, on NetconfStateUpdate

Fixed race condition between commit of NetconfState and
opening of a new transaction in NetconfMonitoring state update.

Change-Id: I2f56a0e432e630e56a35409c56e4198a3e278594
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add {PHYS_ADDR} attribute to netconf stress client tool

{PHYS_ADDR} is a wildcard and will be replaced by a physical address based on
current edit indes. Suitable for testing edit-config performance with models
containing physical address.

Change-Id: I48a0a6eb2ccf903dadc02c87d9eb9dfcfe7bac07
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2983: Added support for creation of multiple list entries

JSON payload for POST allows user to specify multiple list
entries to be created. This resulted in confusing behaviour
where only one entry was allowed.

Updated RESTCONF to allow multiple entry creation via POST
for lists only.

Change-Id: I7dc11098676d4e761e1b31a0504f3e5af75157f3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 12df4c8c678ce58aa0f82c34d0ce8e6cccc15dca)

BUG 3029 - netconf event source modification
   - add TopicId into published notifications

Change-Id: I9ff95935fd37c2978a7e41d77646546adc30d4d2
Signed-off-by: Marian Adamjak <madamjak@cisco.com>
(cherry picked from commit 75a7b88f4b97e59fc53de293a0d6f0f5ab1396b9)

Bug 3063 - Notification brokers does not properly scans notification listeners for implemented interfaces

Change-Id: Ie3b136bd40c443191d22bfbfd0ea532b65f717c2
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Add documentation in akka.conf on how to specify location of persistent data" into stable/lithium

Return local shard tree from FindPrimaryShard

Added a new ShardLeaderStateChanged message that includes the Shard's
DataTree as an Optional. If the shard is the leader, it returns it's
local DataTree, oherwise returns absent.

The ShardManager now returns a LocalPrimaryShardFound response to
FindPrimary if the shard's DataTree is present. Otherwise it returns
RemotePrimaryShardFound (renamed from PrimaryFound).

Change-Id: I4413aacfff3d3d2ee89df7c4a3a1d7f7c3d2c486
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG 3054 : Check readiness status of datastore when receiving MemberUp.

A Follower knows who the Leader is when it receives an AppendEntries message,
however it does record the address of the leader, that is supplied by the
ShardManager when the ShardManager receives a MemberUp. The Follower cannot
be considered ready till it knows both who the leader is and what is it's
address. This patch ensures that the ShardManager counts down the readiness
latch only when the follower knows both.

This also ensures that FindPrimaryShard will only return a primary if the Leader
is truly known.

Change-Id: I1cd6b62124d50c9eca37368d0379b0c75168bb76
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 3054 : Move ShardManager ready check into a single method.

Small refactoring to move code which checks for readiness into a
private method instead of duplicating it inline

Change-Id: I60cd603cb015c8602591769f1f931ae8580cfbd8
Signed-off-by: Moiz Raja <moraja@cisco.com>

Add documentation in akka.conf on how to specify location of persistent data

Change-Id: I085656d2b060aca2eae78dc85a9c0f660dcb9e3c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix ReplicationAndSnapshotsIntegrationTest failure"

Merge "Remove local override of odlparent version for org.eclipse.persistence.version"

Remove local override of odlparent version for org.eclipse.persistence.version

Change-Id: I297cc9ddae7958ba2d1c72c76e1b5b6d19ebc290
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Merge "NPE in RaftActor#onGetOnDemandRaftStats"

Merge "Fix NoSuchElementException thrown when transaction is empty"

Merge "Use ImmutableNodes.fromInstanceId in netconf"

Merge "Improve performance of XmlElement.getName"

Merge "Fix test failure in TopologyManagerImplTest#testNotifyNodeConnector"

Fix NoSuchElementException thrown when transaction is empty

Change-Id: I5d2c26a1ff3d8f5b8ace893b7206da2d23bf637c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix CloseTransactionChain NotSerializableException"

Merge topic 'li/cleanup/javassist'

* changes:
  Removed unused implementation code from Binding MD-SAL.
  Migrated Hydrogen Notification Broker to not use Javassist.

Merge "Stop SubtreeFitler from rereading reply even if no filter element is present."

Merge "Tests for CDS DataTreeChangedListener"

Merge "Use ImmutableNodes.fromInstanceId in restconf"

Removed unused implementation code from Binding MD-SAL.

Change-Id: I9da77e3bb10b70dba1d97429f06cde31831d62d5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Use ImmutableNodes.fromInstanceId in netconf

Build normalized node strcuture from Yang Instance Id using new utilities from
yang-data-impl.

Change-Id: I1862d17e2356b965d4875ce5e715891cf94b17fb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG 3045 : Use non-strict parsing in hello message."

Merge "Create transaction on the backend datastore only when neccessary"

Merge "Reduce non-existent Tx chain logging on close in ShardDataTree"

Merge "Return local shard's DataTree from ActorContext#findPrimaryShardAsync"

Migrated Hydrogen Notification Broker to not use Javassist.

Change-Id: Id85deca318041be5bbe97d18d484004daf5e290d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Tests for DOMDataTreeListener"

Merge "Moved legacy Notification implementation to compat package."

Merge "Replaced  Helium Notification Broker with new Notifcation Broker."

Fix sal-akka-raft-example package directory

The sal-akka-raft-example component was created with package directory names
starting with "opendaylight.controller...". It should be
"org.opendaylight.controller...".

Change-Id: Ie6fa043fe83c8cff28bbd125eaeb79de811ca8b9
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Make TransactionProxy.isRootPath() static"

Merge "Bug 3024 - Restconf PUT exception when top level node is from augmentation"

Merge "IMDS: trim down commit overhead"

Merge "Publish SnapshotBacked transactions"

Bug 3024 - Restconf PUT exception when top level node is from
augmentation

* added check for PUT into JsonNormalizedNodeBodyReader. If method is
PUT then data are unwraped from augmentations/choice nodes
* added wrapping of augmentation nodes when using XmlNormalizedNodeBodyReader
* commented out check for namespace in createConfigurationData (it should be
moved to parse stage)
* both XmlNormalizedNodeBodyReader and JsonNormalizedNodeBodyReader
should now produce the same normalized node data and paths for
equivalent XML and JSON input.

Change-Id: I21f4594d20170f33177cbae00791b81f6ae640b2
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Fix ShardTest#testCreateSnapshot unit test failures"

Merge "CDS: switch persistence to persisting the candidates"

Create transaction on the backend datastore only when neccessary

I've borrowed a bunch of code from the data broker because I needed to modify
the code for lazy transaction creation which needed me to pass around the
factories for creating the transaction on the appropriate store.

Basic tests are in place for now which ensure
that we do not create transactions on all the stores when not needed and that on
submit we only have cohorts for the transactions that we created.

The data broker still goes through the three phase commit but since now this has
been optimized with the direct commit enhancement on the datastore itself it should
not matter if we call one method or 4 as far as message passing goes. Calling the 4 methods
may result in extra object creation and such which could be avoided. I would put that in
a follow up commit.

Change-Id: Id77bb1642748e7df15e084a3f0b5e580783f2f8d
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix ReplicationAndSnapshotsIntegrationTest failure

Saw this fail sproradically a few times on jenkins with
InvalidActorNameException trying to kill and re-create the actor with
the same name. We wait for the actor to terminate but it seems it may
not be removed from akka at that point. So I added a retry loop for
creating the actor.

Change-Id: Ia2d7388b00df329d62a4683a18f49067cfdc17a0
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Make TransactionProxy.isRootPath() static

Its result depends only on the argument, so make it static.

Change-Id: I8a117974a57f4f1e96d06b6223152387d33519d4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix TestModel whitespace and warning

Migrates the new yang parser interfaces and cleans up whitespace to
follow coding style.

Change-Id: Iefe7893e51d24192b2f4ce4da14b351d348e76ea
Signed-off-by: Robert Varga <rovarga@cisco.com>

IMDS: trim down commit overhead

After refactoring things out it is quite obvious that we can skip adding
a listener to the commit cohort when committing a chained transaction.

Extract the inner class from InMemoryDOMDataStore so it can be reused
and subclass it in ChainedTransactionCommitImpl. That makes it also
obvious our commit cannot fail.

Change-Id: I71d9fa60cf63d826ba066c381d8db91af7f8f31e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Publish SnapshotBacked transactions

IMDS-internal transaction implementations can be used by the CDS
frontend. Fix them up for publishing and make them available in SPI as a
Beta API.

Change-Id: Iaa4cd6792db0f262ce41281280f2ccfde6146532
Signed-off-by: Robert Varga <rovarga@cisco.com>