BUG 3200 : Serialize a child node even when it is UNMODIFIED

Change-Id: If1220cd2a84d770ca02bca6a5f070032188b5e21
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 1c06873f9d31586aa73ba6ca72b1c286887dbd02)

BUG 3156 : Recreating CDS should not fail

When CDS is recreated it can fail because we try to
create actors on a datastore that is already terminated.

To address this issue I have enhanced DistributedDataStoreFactory
as follows,

- Simplified the actor system creation code by synchronizing
  all static methods. Since these methods are anyway not used in
  any fast paths - it is a fair enough solution.
- Added another static field in DistributedDataStoreFactory to
  track the createdInstances. This is so that we can properly
  cleanup the actor system as instances of the data store are destroyed.
- The actor system is now shutdown when there are no datastrore instances.
- Removed actor system shutdown from ActorContext to ensure that we
  use the symmetric method destroyInstance

Now that we do not shutdown actor system till both the data stores
are destroyed it may so happen that we may have a situation where we are
trying to create an actor on the old actor system with an already used name
like shardmnanager-config or shardmanager-operational. To avoid this
I have added a loop when creating shardmanager which catches the thrown
exception and retries 100 times after waiting for 100 milliseconds. This
is to give some time for the actor to properly die.

Change-Id: I3c8b2b3b21a1519610bf2ed5e1af8be93f3120ce
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 35f8cf2335afa8cf87ce565bbb974431ad5008a6)

Bug 3161: Create new UpdateElectionTerm class

Deprecated inner class RaftActor.UpdateElectionTerm and created a new
stand-alone UpdateElectionTerm class with serialVersionUID set.

Change-Id: Idf9a67656f0103e4f8e668e0812a80687423bfdd
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit dc3e8242e7f0a2c937bacad2f2a7d41162d2209e)

Bug 2351 Speed-up Binding-to-Binding routed RPC Invocation.

Current RPC Broker uses LazySerializedContainerNodes
when going thru DOM RPC broker, so in case
RPC is returned it can by-pass deserialization and
use Binding DTO directly.

In case of routed RPCs full serialization to normalized
node was triggered when DOM RPC broker tried to
read RPC route.

This patchset introduces support for LazySerializedContainerNode
to precompute this value and do not use full serialization
when DOM Rpc Broker reads only routing context.

Change-Id: I6d949b5257d40a96ae9edce3bf15c4c3ff932c27
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 313b9c3cdff6c7fbf94583db4b8933aa394bccc0)

Bug 3161: Remove serialVersionUID to maintain backwards compatibility

The serialVersionUID field was added earlier in Lithium for
RaftActor.DeleteEntries and RaftActor.UpdateElectionTerm however it
breaks backwards compatibility. We need to remove serialVersionUID.

DeleteEntries has already been deprecated for a new class that has
serialVersionUID set and is not an inner class. I will do that same for
UpdateElectionTerm in another patch.

Change-Id: I8180de5865d89d3fea190e48ebeb825743af959d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 0dd3756434941ff5635a3a3bc60a2f0b59338c1c)

Bug 1773: Use new Binding Notification Broker by default.

New Binding Notification Broker is required in order
to forward Notifications from Binding producers
to DOM Broker, so these notifications could be exposed
via netconf / restconf or in future releases via
clustering.

Change-Id: I520eb0b31512ec5f2114f0a5ee9492f5d9210679
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

CDS: add backend support for local transactions

Add the message for submitting a DataTreeModification from the frontend
and the logic to apply it to the Shard's DataTree instance. This is
similar to BatchedModifications, except is is always considered ready.

The ReadyLocalTransaction is not directly serializable, but we create a
new serializer, which turns it into BatchedModifications when
serializing to byte stream.

Change-Id: I23a39c7b5997b48a355af73287d19bbf3ab0ae20
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 3135 - Fixed support for InterestListener

InterestListener was one of undocumented beta MD-SAL APIs
which was not intented for public support, but accidentally
was public since Hydrogen and as it turned out other Opendaylight
projects started to using it.

Added support to affected components in order to still support
this API even when using new Notification Broker.

Change-Id: I060474f68a6c37ed05b262a9b46923f668ca3c8b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 96246098ccbe56af4f688d93dfffc9fdf62713ab)

Fix racecondition in AsyncSshHandlerWriter

Fixed racecondition between releasing of netty ByteBuff and removing the msg from pendingWrites.

Change-Id: I40eff55d9c7858534d105a242d3ec6feb9d950d0
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add NetconfXmlUnitRecursiveQualifier to netconf-util.

XmlUnit's RecursiveElementNameAndTextQualifier has trouble with non-trivial xml's and
element order in bigger depths.
This adds our own qualifier based on XmlUnit's implementation.

Change-Id: Ie89e84813e11cb2af7c9d3c0c6d80377816f79a7
Signed-off-by: Tomas Cere <tcere@cisco.com>

Change http port for NorthBoundIT tests

The NorthBoundIT tests are failing on jenkins due to port http 8080
already in use. I don't know what else would be running on port 8080
on the build machines - maybe a remnant of another test that didn't
cleanup or didn't finish cleaning up in the background. In any event,
I changed the port to 8180 to hopefully avoid the issue so verify
builds can succeed.

Change-Id: Ia11ef1d69c8cd5948063ec6dbfc08fab2492319c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 0ffa3f90a7546c29165d13b9ff448a82f0af1317)

Fix test to return PrimaryShardInfo when retrieving primary shard

Without these changes the tests log a lot of ClassCastExceptions when
run.

I also removed one method in the test that was unused

Change-Id: I9501dc7cd6be461297052182de79dae831409a8c
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 17787472279e0c04061a1ef1ad2b110b1f77b9b3)

Use MoreExecutors.directExecutor()

Remove open-coded equivalent of the direct executor. We do not need an
ExecutorService, so it is sufficient and does precisely what our class
did.

Change-Id: Ib9424a1b4d3ba56f32ef5aec525de4026be0970a
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 335ea558bd22d4b09e4490aed96ddcbe44da6d76)

CDS: Introduce ChainedTransactionIdentifier

Conceptually the identifier of a a transaction is an extension point,
which allows passing of arbitratry, extensible identifier. It can thus
be reused to track the chain identifier as well as the normal source
coordinates.

Introduce ChainedTransactionIdentifier to carry the transaction chain ID
attached to the transaction on the frontend. This is not used in this
commit directly, but rather in the follow-up patch.

Change-Id: Iad24a1b59c6231e003579bb25149b73b11d6db25
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: split TransactionType from TransactionProxy

The type is used outside, too, so split it out into its own file.

Change-Id: I00589bc46b724ae5b0de3852056111a3f1bcb897
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: do not propagate SchemaContext

TransactionContext implementations do not need, so remove the
constructor argument and adjust callers.

Change-Id: I7f6644e3e673057586a1ec6cfbe93b6e258ca9ad
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-3095 Add EventTime attribute to DOMNotification from netconf"

Merge "Add missing copyright text"

Merge "BUG 2954 : Thread local DocumentBuilder's for XmlUtil"

Merge "Bug 2983 - POST operation to list only accepts data for keys"

BUG-3095 Add EventTime attribute to DOMNotification from netconf

Introduced new interface DOMEvent and DOMNotifications from
sal-netconf-connector implement this interaface. The eventTime is parsed from
the the notification xml.

Change-Id: I833d86d91f752be55fef3e641a6c8654d2f65a28
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Custom BufferedWriter implementation without newLine()

This BufferedWriter does not provide newLine() method and does not read the
line.separator property via AccessController when its initialized. Whithout this
expensive call, its allocation is much faster. Used in netconf message encoder
to make the netconf serialization faster.

Change-Id: I88a65c7a82ff7c44b9ad3a3adfe7d7482a5fdc70
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2983 - POST operation to list only accepts data for keys

* added catch for ResultAlreadySetException in JsonNormalizedNodeBodyReader

Change-Id: I07d8b8b63e5c2de84b0ee7ec66013d38c58c7b49
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Fixed export package section of sal-binding-broker.

Change-Id: I09a0c50f8c6a96992ccca2648bec6759c85ff02a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit ca7e8c9bbb5c58783153153dc0288cac67b0a17a)

Merge "BUG 2820 - LLDP refactor"

Merge "Bug 2820 - LLDP TLV support and testing"

Merge "Bug 2820 - problem to add second TLV with type 127."

Merge "Remove "Unavailable" properties from ShardStats"

Merge "BUG 3057 - notify added event source by topics created before"

Merge "Bug 3068 - checkRpcResponse - CancellationException"

Merge "Make TCP netconf endpoint configurable"

Merge changes Ibe016728,Ic719c519,I87a81a54

* changes:
  Fix mac address generator in stress client
  Modify multiple physical address atributes in stress-client payload.
  Multiple clients for stresstool

Merge "BUG 3066 : Optimistic lock failed, on NetconfStateUpdate"

Merge "Bug222:Comments incorporated for response based Restconf statistics"

Bug 3068 - checkRpcResponse - CancellationException

* added catch for CancellationException in RestconfImpl

Change-Id: I3ebb2c4fd2a521ed0977075975a1302301b801fa
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Bug 3010: Improve restconf error clarity.

Change-Id: Ib54e96f1a70a187d940f843ed624f4a0f3c4ead0
Signed-off-by: Evan Zeller <evanrzeller@gmail.com>

Merge "BUG 3049 : Upgrade from akka 2.3.9 to 2.3.10"

Remove "Unavailable" properties from ShardStats

There's several property getters in ShardStats that don't apply anymore
and return null. They display as "Unavailable" in JConsole but cause an
NPE when queried via jolokia. We should remove them.

Change-Id: I6da8f331e007246c655a982b9cd335de553195aa
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 63c43e481fe503a3b90c7e6c55ac21514be0f6db)

BUG 3049 : Upgrade from akka 2.3.9 to 2.3.10

akka 2.3.10 has fixes related to the kind of issues reported in BUG
3049.

Cherry picked from stable/lithium

Change-Id: I51c094ff939ca0f4b31d685bae3e195d22ddb518
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug 2853 : Adding Remote RPC MX bean"

BUG 2914 TCP Options incorrect

Obvious - basic use of TCP in a double-buffering environment for command/responce protocols.

Change-Id: I4d5117039bdcdc089adb177972ab9460165d6297
Signed-off-by: Anton Ivanov <aivanov@brocade.com>

Bug 2853 : Adding Remote RPC MX bean

This bean gives three attributes - bucket versions,local registered routed rpc names and global rpc
bucket versions will give information of latest version of remote rpc buckets on all nodes of cluster.
Name of locally registered RPCs can be found in other two attributes.

Two Search operations - findByRpcName and findByRpcRoute helps to search RPCs registered in cluster
via name or route keyword. Search happens in both local and remote bucket.

Change-Id: Ief08eb2e42deafdf2627c61e58c2e2a50f7dcd09
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "BUG-2288: deprecate old binding Notification API elements"

Make TCP netconf endpoint configurable

Allow users to configure netconf endpoint for md-sal to use pure TCP instead/or along with SSH.

Change-Id: I03d067322b0c02ba335d554da51c56db77c22bfb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Return local shard tree from FindPrimaryShard"

Merge "Add documentation in akka.conf on how to specify location of persistent data"

Return local shard tree from FindPrimaryShard

Added a new ShardLeaderStateChanged message that includes the Shard's
DataTree as an Optional. If the shard is the leader, it returns it's
local DataTree, oherwise returns absent.

The ShardManager now returns a LocalPrimaryShardFound response to
FindPrimary if the shard's DataTree is present. Otherwise it returns
RemotePrimaryShardFound (renamed from PrimaryFound).

Change-Id: I4413aacfff3d3d2ee89df7c4a3a1d7f7c3d2c486
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit fdddb482b07c3ee2f3ca853d09ee9a6ecdd7eb2a)

Fix mac address generator in stress client

Change-Id: Ibe016728fb2be3693c1b9f7899d0933932c37138
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Modify multiple physical address atributes in stress-client payload.

Change-Id: Ic719c519eb0735d00014e51851dd958db5098ff0
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Multiple clients for stresstool

Added new parameter(--thread-amount) for stresstool that splits edits
between multiple threads.

Change-Id: I87a81a5442e32833c0c49dfd98b6475f8e699a2b
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug222:Comments incorporated for response based Restconf statistics

Added response based restconf statistics which counts
the reponse of get, put, post and delete on the success and
failure response for config and operational datastore.

Change-Id: If423da08e2c5793e68398beb69575b7cf214f57e
Signed-off-by: bhavesh.kumar1 <bhavesh.kumar1@tcs.com>

BUG 3066 : Optimistic lock failed, on NetconfStateUpdate

Fixed race condition between commit of NetconfState and
opening of a new transaction in NetconfMonitoring state update.

Change-Id: I2f56a0e432e630e56a35409c56e4198a3e278594
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add {PHYS_ADDR} attribute to netconf stress client tool

{PHYS_ADDR} is a wildcard and will be replaced by a physical address based on
current edit indes. Suitable for testing edit-config performance with models
containing physical address.

Change-Id: I48a0a6eb2ccf903dadc02c87d9eb9dfcfe7bac07
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix checkstyle violations caused by checkstyle 6.1.1

Change-Id: I84f356707f97184ae8708e429c6b440db8bd632f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Bug 2983: Added support for creation of multiple list entries"

Merge "Event Source: switch from wildcards to regexs"

Merge "BUG 3029 - netconf event source modification    - add TopicId into published notifications"

Bug 3063 - Notification brokers does not properly scans notification listeners for implemented interfaces

Change-Id: Ie3b136bd40c443191d22bfbfd0ea532b65f717c2
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Fix sal-akka-raft-example package directory

The sal-akka-raft-example component was created with package directory names
starting with "opendaylight.controller...". It should be
"org.opendaylight.controller...".

Change-Id: Ie6fa043fe83c8cff28bbd125eaeb79de811ca8b9
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 36955e19a84ad3e636c3343fec85c0cb9c3e49f6)

Add documentation in akka.conf on how to specify location of persistent data

Change-Id: I085656d2b060aca2eae78dc85a9c0f660dcb9e3c
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 7c209b8b08b56022b11c842c141d90d5b3d736e2)

BUG 3054 : Check readiness status of datastore when receiving MemberUp.

A Follower knows who the Leader is when it receives an AppendEntries message,
however it does record the address of the leader, that is supplied by the
ShardManager when the ShardManager receives a MemberUp. The Follower cannot
be considered ready till it knows both who the leader is and what is it's
address. This patch ensures that the ShardManager counts down the readiness
latch only when the follower knows both.

This also ensures that FindPrimaryShard will only return a primary if the Leader
is truly known.

Change-Id: I1cd6b62124d50c9eca37368d0379b0c75168bb76
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit bc5e040c7362243607e04045ac9d9309817bb9c1)

BUG 3054 : Move ShardManager ready check into a single method.

Small refactoring to move code which checks for readiness into a
private method instead of duplicating it inline

Change-Id: I60cd603cb015c8602591769f1f931ae8580cfbd8
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 7159b15b0efedb548f7fae5bb1eb9e970bc2e43f)

Merge "Bug 2932: NPE on bundle activation"

Bug 2932: NPE on bundle activation

Error might occured when value containing YangStoreContext
is overwritten to null by refresh method, executed within another thread.
After fix, in case context is null, context is calculated again.

Change-Id: Icefe2a5970ec2ce0b67d5b3b386a35f781fc4156
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Merge "Bumped controller version by minor for next release cycle."

Merge "Fix ReplicationAndSnapshotsIntegrationTest failure"

Bug 2983: Added support for creation of multiple list entries

JSON payload for POST allows user to specify multiple list
entries to be created. This resulted in confusing behaviour
where only one entry was allowed.

Updated RESTCONF to allow multiple entry creation via POST
for lists only.

Change-Id: I7dc11098676d4e761e1b31a0504f3e5af75157f3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Remove local override of odlparent version for org.eclipse.persistence.version"

Remove local override of odlparent version for org.eclipse.persistence.version

Change-Id: I297cc9ddae7958ba2d1c72c76e1b5b6d19ebc290
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Bumped controller version by minor for next release cycle.

Change-Id: I80ea0aecf42e5ee96dcebc68af1e872b1f10e7b5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "NPE in RaftActor#onGetOnDemandRaftStats"

Merge "Fix NoSuchElementException thrown when transaction is empty"

Merge "Use ImmutableNodes.fromInstanceId in netconf"

BUG 2954 : Thread local DocumentBuilder's for XmlUtil

Increases performance by reusing cached DocumentBuilder instances.

Change-Id: I5aab6b4caa960878b647e6868377d62dd6262cd9
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Improve performance of XmlElement.getName"

Merge "Fix test failure in TopologyManagerImplTest#testNotifyNodeConnector"

Fix NoSuchElementException thrown when transaction is empty

Change-Id: I5d2c26a1ff3d8f5b8ace893b7206da2d23bf637c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix CloseTransactionChain NotSerializableException"

Merge topic 'li/cleanup/javassist'

* changes:
  Removed unused implementation code from Binding MD-SAL.
  Migrated Hydrogen Notification Broker to not use Javassist.

Merge "Stop SubtreeFitler from rereading reply even if no filter element is present."

Merge "Tests for CDS DataTreeChangedListener"

Merge "Use ImmutableNodes.fromInstanceId in restconf"

BUG 3057 - notify added event source by topics created before

Change-Id: I97d49e830af6c360bb2d2b24880aa07e2e47c0a6
Signed-off-by: Marian Adamjak <madamjak@cisco.com>

Removed unused implementation code from Binding MD-SAL.

Change-Id: I9da77e3bb10b70dba1d97429f06cde31831d62d5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Use ImmutableNodes.fromInstanceId in netconf

Build normalized node strcuture from Yang Instance Id using new utilities from
yang-data-impl.

Change-Id: I1862d17e2356b965d4875ce5e715891cf94b17fb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG 3045 : Use non-strict parsing in hello message."

Merge "Create transaction on the backend datastore only when neccessary"

Merge "Reduce non-existent Tx chain logging on close in ShardDataTree"

Merge "Return local shard's DataTree from ActorContext#findPrimaryShardAsync"

BUG 3029 - netconf event source modification
   - add TopicId into published notifications

Change-Id: I9ff95935fd37c2978a7e41d77646546adc30d4d2
Signed-off-by: Marian Adamjak <madamjak@cisco.com>

Migrated Hydrogen Notification Broker to not use Javassist.

Change-Id: Id85deca318041be5bbe97d18d484004daf5e290d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Tests for DOMDataTreeListener"

Merge "Moved legacy Notification implementation to compat package."

Merge "Replaced  Helium Notification Broker with new Notifcation Broker."

Merge "Make TransactionProxy.isRootPath() static"

Merge "Bug 3024 - Restconf PUT exception when top level node is from augmentation"

Merge "IMDS: trim down commit overhead"

Merge "Publish SnapshotBacked transactions"

Bug 3024 - Restconf PUT exception when top level node is from
augmentation

* added check for PUT into JsonNormalizedNodeBodyReader. If method is
PUT then data are unwraped from augmentations/choice nodes
* added wrapping of augmentation nodes when using XmlNormalizedNodeBodyReader
* commented out check for namespace in createConfigurationData (it should be
moved to parse stage)
* both XmlNormalizedNodeBodyReader and JsonNormalizedNodeBodyReader
should now produce the same normalized node data and paths for
equivalent XML and JSON input.

Change-Id: I21f4594d20170f33177cbae00791b81f6ae640b2
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Fix ShardTest#testCreateSnapshot unit test failures"