BUG 2437 - Enable snapshotting based on size of data in the in-memory journal

- Changed RaftActor to snapshot based on the transaction count or the size of the
  data in the in-memory journal whichever comes earlier
- The size of data that is used is the rough (not-accurate) size of the Payload
  in the Replicated log entry
- In ShardStats exposed another property which is the data size of the in-memory
  journal
- The snapshot data threshold percentage is configurable using the config sub-system and is
  set to a default of 12%. The reason for setting it at 12% by default is because we have
  a total of 8 default shards out of the box. I could have set this to 16% as toaster is not
  a "real" data shard.
- The snapshot data threshold is calculated as a percentage of the Runtime.totalMemory()
  which is the total memory the jvm considers available for object allocation. From testing
  it appears that the total memory is what would appear in jconsole as the committed memory.

I have not added any unit testing for this - but tested this using the scenario described in
bug 2437 and it seems to work pretty well. The deployment used only 2G of memory and worked
fine for a 7 switch topology and I observed that it had not run out of memory after more than
2 hours.

Change-Id: I09ec0827c0411c42a9224bb6d159d5590c22e20b
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2371 : Leader should reset it's snapshot tracking when follower is restarted

This patch adds a new protocol to InstallSnapshot. It the InstallSnapshotReply returns
a failure and the chunkIndex is -1 then the Leader will reset the FollowerSnapshot so
that when the next heartbeat occurs the Leader would start sending chunks from the beginning.

Change-Id: I0d5f0a4230209856ecf9bcef46220ae348f52b5d
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug 2435 - Controller/MD-SAL throwing ModifiedNodeDoesNotExistException exception when statistics manager augment queue statistics to the node connector. Exception was thrown because parent (queue) container was not present when statistics manager tried to augment statistics. Fixed the issue by creating empty queue container and 'merge'ing it to the node connector before augmenting the statistics." into stable/helium

Merge "BUG-2340 Fix improper cleanup of resources in netconf ssh handler" into stable/helium

Bug 2372: Removing duplicate call in loadBalancerPoolNorthbound
to loadBalancerPoolInterface.addNeutronLoadBalancerPool(singleton);

Change-Id: I7fe59ca72505838dd377c4689615cfc161eff179
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

BUG-2340 Fix improper cleanup of resources in netconf ssh handler

This commit also fixes proper reconnect scheduling for netconf-connector.

Change-Id: I1d848af57fddc35e73596fc47f8c7318b8747130
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2435 - Controller/MD-SAL throwing ModifiedNodeDoesNotExistException exception when statistics manager
augment queue statistics to the node connector. Exception was thrown because parent (queue) container was
not present when statistics manager tried to augment statistics. Fixed the issue by creating empty queue
container and 'merge'ing it to the node connector before augmenting the statistics.

Signed-off-by: Anil Vishnoi <vishnoianil@gmail.com>
Change-Id: I7d68f3e177ccf62c7adf154e655226450a74296c

Fix bug 2413 NPE for group and meters

* group/meter features
* Device RPC features Calls for group/meter depend on FlowCapableNode data change event (create event only)
* Remove Meter's and Group's feature calls from perm. stat. collect
* Add API methods for additional registration new StatCapabTypes for a specific Node statistic collecting process
* Fix NPE for features
* refactoring group/meter stats update processing (Target: Don't block the RPC Notification threads as soon as is possible)
* Fix NPE List processing
* queue - add delete processing (becasue queues has to be edit outside and we are not cleaning it)
* add validations input values
* remove unnecessary validation input values (StatRpcMsgManagerImpl)

Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Change-Id: If10a0ea0bb098ca70cd19ce32a7ca5790159aae5

Merge "bug 2266 : added more types of schema nodes to increase code coverage" into stable/helium

Merge "Bug-2277: fix the Leader test failing in jenkins" into stable/helium

Merge "Bug-2277 : Isolated Leader Implementation" into stable/helium

BUG-1953: fix SAL compatility layer

Sal compatibility produces pure addresses instead of prefixes as
dictated by the model. Fix moth tests and implementation to emit
prefixes.

Change-Id: I1aca04c0fc22aa973d9578fea33550194c6f9264
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit da19620fa7bf6af3ab28c90ebd4df8eec920ec2c)

Merge "Bug 2328: Change ensureParent algorithm." into stable/helium

Bug-2277: fix the Leader test failing in jenkins

Change-Id: I149d643b517df5010595962cbdf616c2b2fb9945
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Bug-2277 : Isolated Leader Implementation

A new RaftState has been added and on a scheduler, we check if the leader is isolated, looking at the majority peer statuses.
If Yes, then it switches the behavior to IsolatedLeader.

On the receipt of each AppendEntriesReply, the IsolatedLeader checks for isolation.
And if no, then switches back to either Leader or Follower.

These changes have been tested with TestDriver  and 3 node cluster and the switching of Leader to IsolatedLeader and back,
on the stopping and reinstating of followers, was successful.

The Isolated Leader check interval can be configured via the config subsystem

Change-Id: I42b9165cc477d812c7e0e02339537c0f1fe74934
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

bug 2266 : added more types of schema nodes to increase code coverage

Change-Id: I7372157ffc2b2e69ff9ae34b44eaeecadbf6b75d
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "BUG-2304 Fix subtree filter in netconf-impl for identityrefs." into stable/helium

Merge "BUG 2155 - depth parameter in URI" into stable/helium

BUG-2304 Fix subtree filter in netconf-impl for identityrefs.

There was a bug in prefixed content comparison.

Change-Id: I5815b9bef404c0d3785b52a9450cb667ac798b9f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 2233 - RPC register exception when rpc has no input" into stable/helium

Merge "BUG-2370 Reset schema context on disconnect in nc" into stable/helium

Revert "Revert "Merge "Revert "Bug 1764 - added service for pushing default node configuration"" into stable/helium""

This reverts commit 64544f998de558cb6219e166a8fdb3f5e3c80589.

Change-Id: Ib4f3e1db5ed9f6b8ee145060d8e9845122f33e15
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Revert "BUG-2254 Enable schema-less rpcs invocation in netconf-connector""

This reverts commit 294bfea81a17c03f8ef11f67c7ea9f9277d46d6c.

Change-Id: I6f10689dd79de527c1e78c3a42390cebe3983ad5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Revert "BUG-2254 Make runtime rpcs in config subsystem/netconf handle context-instance attribute with namespaces""

This reverts commit 63146c45f2c982be3703bf3aae137cbd9498ce76.

Change-Id: Ic5c69846d4418b96c5c1a4036c62e3866f26ac42
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Bug-2136 - fix for is-local-path" into stable/helium

Merge "BUG 2302 : odl-clustering-test-app should not be part of the odl-restconf-all feature set" into stable/helium

Merge "Bug 2347: Minor fixes to correct log output" into stable/helium

Merge "BUG 2353 : Handle binary, bits and instanceidentifier types in NodeIdentifiers" into stable/helium

Bug-2136 - fix for is-local-path

Change-Id: I38a58683c94c54e9f399df56aa586e3916f75e41
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
(cherry picked from commit a8477c3af9b6b2de6037404f11e1835ac6c710c2)

BUG 2302 : odl-clustering-test-app should not be part of the odl-restconf-all feature set

This patch does the following,

1. It removes odl-clustering-test-app from the restconf features
2. Move odl-clustering-test-app to the md-sal feature (just like odl-toaster)
3. Removes all unneccessary dependencies from odl-clustering-test-app
4. Removes all the clustering configuration files from the odl-clustering-test-app feature

This now allows the odl-clustering-test-app to be used with/without clustering. It also
eliminates the problem is inadvertently installing the odl-clustering-test-app when installing
odl-restconf-all.

Change-Id: I8021f88c967576aa8cf8da54dbfa8f4464233bc3
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit fba140bf09ffbf8694aa41f544caaa331c2ec29a)

Bug 2340: Fixed chained Tx not ready prior next create

On new*Transaction, utilized the new State classes to obtain
the previous Tx's ready Futures and pass then to the new
ChainedTransactionProxy. This makes it deterministic so that
a Tx will always get ready Futures from the previous Tx.

Change-Id: Icc017285bd5ceb118e98d3e38ec9a10a9144155e
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug-2301 - Clustering:Snapshots need not be stored in in-mem ReplicatedLog for Installing snapshots" into stable/helium

Merge "BUG 2303 : Remove the implementation of AddRaftPeer/RemoveRaftPeer" into stable/helium

Bug 2347: Minor fixes to correct log output

DOMConcurrentDataCommitCoordinator#handleException hard-codes the error
mapper to CAN_COMMIT_ERROR_MAPPER however this should be passed
in corresponding to the phase.

In TransactionCommitFailedExceptionMapper, the opNames for
PRE_COMMIT_MAPPER and CAN_COMMIT_ERROR_MAPPER are reversed, should be
"preCommit", "canCommit" respectively.

Change-Id: I6c0513f0f6265ec19de39476c95efefee53d2ee1
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit bda2f4ab9ecd693f85ff21e2bf94fe55ca90608b)

Merge "Bug 2347: DOMConcurrentDataCommitCoordinator uses wrong phase name" into stable/helium

Bug-2301 - Clustering:Snapshots need not be stored in in-mem ReplicatedLog for Installing snapshots

1. Snapshots, once persisted to disk, would not be stored as part of ReplicatedLog in memory
2. An Install snapshot would initiate a snapshot capture and be sent to the follower
3. FollowerLogInformation in Leader has a stopwatch which helps to find if a given follower is active/up.

Rebased

Change-Id: If7aac2518a0f624a0cc121112ce165456d002a18
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
(cherry picked from commit 2b0c99463883b10d5eacdec901d7543d5815a54f)

BUG 2303 : Remove the implementation of AddRaftPeer/RemoveRaftPeer

It is both unused and incorrect

Change-Id: Ie0a9844ccf4de7dae68586954031599b55646c47
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2339 : TransactionChain id created by the Clustered Data Store are not unique

The fix is to use a simple atomically incrementing integer to form the transaction chain
identifier instead of using the system time.

I also added a few log statements in there which were helpful in debugging the issue.

Change-Id: Ie1465f1640d6be0ff9da0f66477ebafc7ebff137
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 4dd0108a91d84a7133ef6b781911e87903981bc1)

Merge "Bug 2318: Follow-up changes for previous patch 12535" into stable/helium

Merge "BUG 2090 : Clustering : Bring akka-raft unit test coverage upto 80%" into stable/helium

Bug 2318: Follow-up changes for previous patch 12535

Addressed some comments and other minor changes as a follow-up to patch 12535.

Enhanced the comments in TransactionChainProxy.

Modified Shard to send a failure reply if an runtime exception occurs in
createTransaction. This allows the error to be propagated to the caller
instead of being thrown back to akka.

Modified TransactionChainProxy to throw an IllegalStateException if the
next chain Tx is created before the previous one is readied. Prior, the
Shard would throw an IllegalStateException but from the Future returned
from submit and not on new*Transaction as the API docs state. So this make
it consistent with API contract. This was implemented by introducing a
volatile State field with implemnetations, Idle, Allocated and Closed.

Also, modified TransactionChainProxy to throw TransactionChainClosedException
if the chain is already closed when on Tx create. Again. this makes it
consistent with the API docs.

Added unit tests in DistributedDataStoreIntegrationTest to verify failure
in both cases.

Change-Id: I1b1ed06ceb1d4599f3f6c5443ca24ac1441ac38f
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit 71a3de6870f23f45b8246a0a476202ebfa9e9ea8)

Merge "Bug 2337: Fix Tx already sealed failure on Tx commit" into stable/helium

Merge "Bug 2021 - Continuous WARN log nodeConnector creation failed at node: OF|00:00:xx:xx:xx:xx:xx:xx" into stable/helium

Bug 2337: Fix Tx already sealed failure on Tx commit

Details outlined in bug 2337.

Moved the publishing of the TransactonContext instance in
TransactionFutureCallback#onComplete after the cached operations are
executed.

Also fixed a timing issue in
DistributedDataStoreIntegrationTest#testChangeListenerRegistration that
caused intermittent failures. This was an issue with the test. The
listener registration is done async in the shard so the notification for
the first write commit could occur in the initial notification on
registration which screwed up the test. So I moved the first write
commit before the registration so we expect an initial notification.

Change-Id: Ied2af93be8165208b853c48e57312c3a5acbdaea
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 2090 : Clustering : Bring akka-raft unit test coverage upto 80%

Change-Id: I7b2b16aa42b655e924942f356602c64ccf6d86b7
Signed-off-by: Moiz Raja <moizr@dhcp-10-154-140-127.cisco.com>

BUG 2317 : StatisticsManager does not unregister from yang notifications on close

Change-Id: I9506fda6f3068d1ed047177009542a240f7c0bb4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2021 - Continuous WARN log nodeConnector creation failed at node: OF|00:00:xx:xx:xx:xx:xx:xx

This fixes the bug in ToSalConversionsUtils.actionFrom() that mistakenly
passed an AD-SAL-style NodeID to a conversion utility (fromNodeConnectorRef)
that was expecting a MD-SAL-style NodeID.

Patch 8: Add unit test to exercise code path that exposes the issue

Change-Id: Icc107bd785d6558a3351f139c1b13b8737b56ae7
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>
Signed-off-by: Colin Dixon <colin@colindixon.com>

BUG 2353 : Handle binary, bits and instanceidentifier types in NodeIdentifiers

This fix properly serializes and deserializes NodeIdentifier attributes of the types
  - binary (byte[])
  - yanginstanceidentifier
  - bits (set)

Change-Id: I612d40f9730c939be0594496c26370db96ea6449
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 2d2f9c82e47c09a09da090e153b084a426e0aa57)

Bug 2347: DOMConcurrentDataCommitCoordinator uses wrong phase name

Change-Id: I8b9083a428553525861137fc8630635f6508c2dc
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit a919cd586f89c7c6877dfaa946cb68ccd5e7a2ef)

BUG-2370 Reset schema context on disconnect in nc

Change-Id: I64197fc4ec375a07b2f0ea1dfb1215c4e31e206c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit aa14e255d17b0869a1de096cb0048f3c857a4ab0)

Re-enable tests and bump aaa version

This patch is part 2 of 2 patches:

* Increments the version of the depenency on AAA from 0.1.1-Helium-SR1 to
  0.1.2-SNAPSHOT.
* Re-enables the feature tests for the restconf and netconf-conector
  features.

Change-Id: I2a90aa8e25412186efb75db3b114a353c180e175
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bumping versions by 0.0.1 after the Helium.1 release

This patch is part 1 of 2 patches.

* The only version not incrmented is aaa.version, which is left at
  0.1.0-Helium since they depend on controller and can't update yet.
* To break the cyclic dependency, this patch temporarily stops running
  the netconf-connector and restconf feature tests.

A second patch (to be run after AAA increments their versions to
0.1.2-SNAPSHOT) wiil update aaa.version and re-enable these tests.

Change-Id: I70b13d2ad8773e0980a27125665d83b042a91871
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Applying the Helium.1 release patch

Change-Id: I6f1ad93b193f81ad651238b721ddfe4af491cdfd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "BUG-2254 Make runtime rpcs in config subsystem/netconf handle context-instance attribute with namespaces"

This reverts commit 0cc361a9ef982e7190f8aa8375bf8c141d89f4a0.

Change-Id: I3887f7d24d6aa44a4b9cd3ec1eb12fbb422ee5ec
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "BUG-2254 Enable schema-less rpcs invocation in netconf-connector"

This reverts commit 7ff90e8c7ef06d666888ead8731af94aab1a2c87.

Need to revert for Helium SR1.

Change-Id: If214f52ea883fd59b1893863d0dc0384ac6cc755
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Merge "Revert "Bug 1764 - added service for pushing default node configuration"" into stable/helium"

This reverts commit 3d26b3152786022cd320a0ff76c613604ca232c9, reversing
changes made to 7ff90e8c7ef06d666888ead8731af94aab1a2c87.

Need to revert for Helium SR1.

Change-Id: I853cc600852d36d780bf4c059873494dad15641c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Revert "Bug 1764 - added service for pushing default node configuration"" into stable/helium

Revert "Bug 1764 - added service for pushing default node configuration"

- API change prevention

This reverts commit 3fd8589beb4ffb6caf54c85616d3b4b13956ac9d.

Change-Id: I1d72b91c8c9fc2250b774c14dac5daea7abae691
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG-2254 Enable schema-less rpcs invocation in netconf-connector

Change-Id: Id84a2be3db050a546380186c79deadf5c9f7fd28
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 2155 - depth parameter in URI

For stable/helium branch.

- CutDataToCorrectDepth - test of various depth levels for JSON and XML
- NormalizedNodeContext - added attribute with required depth.
- RestGetOperationTest - commented test was moved to CutDataToCorrectDepth
- JsonNormalizedNodeBodyReader - added code for derivation of parent schema
node for specified schemanode (to be used as input parameter of
JsonParserStream)
- NormalizedNodeJson(Xml)BodyWriter - added depth parameter among input
parameters of NormalizedNodeWriter.forStreamWriter() method.
- XmlNormalizedNodeBodyReader - added branch for parsing with using of
  UnkeyedListEntryNodeParser for case when top level node in xml input is
  unkeyed list entry.

WARNING!!!
Following patches should be merged first (else build will fail)
- BUG 1975 patch set should be merged because test CutDataToCorrectDepthTest will
  fail (fox xml are tested cases where UnkeyedListNode is incorrectly loaded
  as MapNode and test fails)
- BUG 2279 pat set should be merged because test CutDataToCorrectDepthTest
  will fail (currently input with top level element list entry data is
  processed:
  -- JSON - top level element is list node
  -- XML - top level element is list entry node)

Remark:
 - JSON part of CutDataToCorrectDepthTest is commented see remark in code

Change-Id: I4c3b97380293ab24155faadda7633c6e0a71fcec
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug 2233 - RPC register exception when rpc has no input

* added check that should prevent non routed Rpcs being treated as
routed and and failing at context resolution.

Change-Id: I281152879429f2020f48894753f1d57aea85bde6
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit 170bc1beb43f8082570d066afe6dbd2bf5c3735e)

BUG-2254 Make runtime rpcs in config subsystem/netconf handle context-instance attribute with namespaces

Change-Id: I9ca4accdb10ba5a6b52ce9b8f7ad02a8cbe8743d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2328: Change ensureParent algorithm.

EnsureParents algorithm has two different implementations
with small buggy differences in behaviour - one was used in
Legacy API always used merge operation for each and every
parent node and also user written node.

New Data Broker API implementation used algorithm which
used merge operation only for nodes, which did not existed
in transaction, but this triggered createParents=true
to fail, if parent node was deleted in concurrent transaction
which finished earlier.

Unified this implementations into one in abstract class:
merge is used always for each parent node, except
writen node which is already supplied by client of API.

New algorithm does not need to do read from transaction
which makes this transaction faster during creation time,
but with smaller performance penalty at commit time.

Change-Id: I0fb9f8d4e77648739673566729984e1ecb1e5146
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2318: Ensure previous Tx in chain is readied before creating the next

In TransactionChainProxy, subclassed TransactionProxy (ChainedTransactionProxy)
to hook into the TransactionProxy to capture the cohort Futures on ready
and to customize the returned create shard Tx Future.

The previous Tx's ready Futures are captured and cached in the enclosing
TransactionChainProxy instance. When the client creates the next Tx in
the chain, the Future from the shard Tx create message is wrapped by a
sequence Future that combines all the previous ready Futures. Thus, when
the previous ready Futures complete, the shard Tx create is sent and
that Future is used to complete the returned Promise.

Change-Id: If002e4d705510aee3f560c506318d25f386768e5
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Fix Bug 2290 (try #2)" into stable/helium

BUG 2325 : Value type of byte[] not recognized by the NormalizedNodeSerializer

Change-Id: I16eab6cdbf7712624f2c1fafb5bf41107b6ae379
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix Bug 2290 (try #2)

Ensure that isIPInUse, getLowAddr, allocateIP, releaseIP,
gatewayIP_Pool_overlap and initDefaults are all V6 friendly.

Manual rebase to fix author's abject stupidity...

Change-Id: I5a136e337672f4ad1b71aa42a3fd33a4e5a85aa2
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Merge "Fix intermittent failure in DataChangeListenerTest" into stable/helium

Merge "Cherry Pick of 12340 to stable/helium branch" into stable/helium

Fix intermittent failure in DataChangeListenerTest

Fixed an intermittent failure in testDataChangedWithNoSender due to timing if a
DeadLetter is received due to the Monitor message being dropped as the
unit tests don't set up the termination monitor actor. The test expects
no DeadLetter for DataChangedReply so added chanhes to ignore
DeadLetters for other messages.

Change-Id: I39ddc888de7fbff9201ac9f785baa6fec7cb8f2c
Signed-off-by: tpantelis <tpanteli@brocade.com>

Cherry Pick of 12340 to stable/helium branch

Fixes Bug 2290

Change-Id: I8d1dc4b2b26326e2ebeb7cc9b21b42085d61829c
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

BUG 2296 : TransactionProxy should support the ability to accept a local TPC actor path

In Helium when the ShardTransaction processes a Ready message it sends back a the path of a ThreePhaseCommitCohort actor in the ReadyReply. This path is actually a local actor path, this local actor path is then converted into a remote path by the TransactionProxy.

The fix for Bug 1607 breaks this capability which is required to support forward compatibility in a cluster where a transaction request originates in a node that has been upgraded to Helium-1 and the actual transaction is happening on a node which has not yet been upgraded to Helium-1.

Change-Id: I857384bdd61b3492ea270dcf04d14883811c37c2
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2294: Handle Shard backwards compatibility

Implemented as outlined in Bug 2294.

Change-Id: I14aa8ef5f320f9d165492396ece4ea63cce9b0c3
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2134: Fix intermittent RaftActorTest failure

We need to wait for akka's recovery to complete before we perform our
tests as akka's recovery runs async and may interfere with our tests and
cause them to fail if the timing is right. This was seen once on
jenkins.

Change-Id: Ia748d17f662d64235881005e6522441b384c78ea
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug 1764 - added service for pushing default node configuration" into stable/helium

Merge "BUG 1839 - HTTP delete of non existing data" into stable/helium

Bug 1764 - added service for pushing default node configuration

(cherry picked from commit 0e06ac772f51d968fe242fab5a5255e08a2940be)
Change-Id: I8018c639ce05118722c8f33ca842436cca44372e
Signed-off-by: Martin Bobak <mbobak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG 2134 : Make persistence configurable at the datastore level

- Added a peristent flag in the config sub-system
- If persistent in not true then we ignore recovery messages and not use the
  akka persistence apis for persisting anything
- The unit tests
    - assume that persistence is on by default (which it is)
    - test that if recovery is applicable only then the ShardManager and RaftActor process the recovoery messages.
    - test that when persisting the data-persistence API is used in the appropriate places (see RaftActorTest/ShardManagerTest)

Change-Id: I19913bcd32e609ccde6ad8e35209788315504426
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2055: Handle Tx create in TransactionProxy resiliently

    Modified TransactionProxy to utilize the FindPrimaryShard
functionality
    to wait until the shard is initialized. Also added retries to
    the CreateTransaction operation to wait a period of time for the
shard
    to elect a leader. This makes it more resilient to avoid transient
    timing/sequencing failures, particularly on startup.

    In addition, the FindPrimaryShard and CreateTransaction operations
are now
    done async (non-blocking). The futures are combined to yield the
    CreateTransactionReply which is passed to a new class
    TransactionFutureCallback on completion. The
TransactionFutureCallback
    class creates and stores the TransactionContext which subsequent
    read/write/delete/ready transaction operations can access. If a
    transaction operation occurs before CreateTransaction completes, the
    operation is cached in TransactionFutureCallback and executed when
    the CreateTransaction future completes.

Change-Id: Id9cdc9641038922d6209c44d924bd168658a71fb
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2002: Classpath error when loading neutron northbound api

Adding restconf to the opendaylight-karaf distribution
This is a back-port merge request from Lithium to Helium for
gerrit https://git.opendaylight.org/gerrit/#/c/11862/

Change-Id: I309215ac8fb84663d5169596ccc565a94d3eb345
Signed-off-by: Colin Dixon <colin@colindixon.com>
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

BUG 1839 - HTTP delete of non existing data

Before - after deleting non existing data an exception was raised.
Now - after deleting non existing data it is checked whether there is in
exception chain instance of ModifiedNodeDoesNotExistException. If it is so then
HTTP 404 - data missing status is returned.

Change-Id: I43ccaa16abe7dfaffa3e031aa31d93f8f106a81f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 4c22825994c2519fb1c9d63f0050ebf35c4f8439)

Merge "Bug 2265: Modified NormalizedNodeOutputStreamWriter to implement yangtools interface" into stable/helium

Bug 2265: Modified NormalizedNodeOutputStreamWriter to implement yangtools interface

The NormalizedNodeOutputStreamWriter was originally written to implement
a NormalizedNodeStreamWriter interface class that was copied from
yangtools. This was done to get access to the NodeWithValue in the
leafSetEntryNode method which isn't specified in the yangtools
interface. However it turns out we don't actually need the NodeWithValue so
NormalizedNodeOutputStreamWriter was changed to implement the yangtols interface
and the copied NormalizedNodeStreamWriter interface was removed.

Change-Id: I72f0c96359e4fe96e8e183aa7afba9291c5d519d
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2252: Terminate ShardWriteTransaction actor on ready

Change-Id: I16f9dcf370aab1e23073163e0e055a40f1415a1a
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 2221 : Add metering to ShardTransaction actor

Change-Id: I4cbf74f9e8979b996a30a019657177b92fbdfc18
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug2174: XSQL log file is hardcode to /tmp/xql.log" into stable/helium

Merge "Bug 2086: Adding normalized node  stream reader and writer." into stable/helium

Merge "BUG-2184 Fix config.yang module(add type as a key for modules list)" into stable/helium

Merge "BUG-2184 Fix subtree filtering for identity-ref leaves" into stable/helium

Bug 2086: Adding normalized node  stream reader and writer.

Normalized node and its children are written in recursive manner. Besides the leafNode, leafSetEntryNode and anyxmlNode, all other nodes must call endNode method
while writing object to data stream. This helps to recreate the object.

Recursion  runs in opposite direction while reading the object.

Updated code with review comments

Change-Id: Ibb822e11fc76f52b5be78596ed979c3b97d51de8
Signed-off-by: Harman Singh <harmasin@cisco.com>

Bug-2098- sal-compatibility not get up-to-date flow information

When cached is passed in as false, we attempt to collect all the notifications in a guava cache and
return the results after we get the last notification.

Depends on the OFP Patch : https://git.opendaylight.org/gerrit/#/c/11655/

Change-Id: I78d911648957f30d0ae0c92945ad3ac4cf7fc483
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Bug 2210: Fixed initial DCL notification on registration

On RegisterChangeListener message, if the shard isn't the leader, the
listener proxy isn't registered with the IMDS yet, instead a
DelayedListenerRegistration innstance is created and added to a
delayedListenerRegistrations list. When the shard becomes the leader, in
onStateChange, the DelayedListenerRegistration instances in the
delayedListenerRegistrations list are registered with the IMDS.

Change-Id: Id5fbfc3e452e9843f6977139d101e71f4022dc0a
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-2184 Fix subtree filtering for identity-ref leaves

Change-Id: I7d367c793a461ae26f56ddf611f7e45a723f28fc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 37b37e348a362f31e01077753cee1c6bdaa645dc)

BUG-2184 Fix config.yang module(add type as a key for modules list)

Netconf server requires the type and name when e.g. deleting data so the yang model did not fully reflect the implementation

Change-Id: If4b04fe1ec427cff0f52d743cc1440fc7fe143d2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 024c0e5fc9f20f29b894ed4075034797634a4714)

Bug 2055: Handle shard not initialized resiliently

Added a flag to the FindLocalShard and FindPrimaryShard messages to
specify whether or not to wait for he shard to be initialized.

Modified FindLocalShard and FindPrimaryShard message handling in the
ShardManager to wait for the shard to be initialized before replying if
the flag is set in the message. This is done async by caching the
response info in the ShardInformation and sending the response when the
ActorInitialized message for the shard is received.

Modified DistributedDataStore#registerChangeListener to always create a
DataChangeListenerRegistrationProxy and moved the code that performs the
findLocalShard and RegisterChangeListener operations into
DataChangeListenerRegistrationProxy. In DataChangeListenerRegistrationProxy,
the findLocalShard operation is done async (with a long time out). On success,
the RegisterChangeListener message is sent.

Added change listener test to DistributedDataStoreIntegrationTest and
removed the DistributedDataStoreTest since most of the tests tested
registration and the bulk of that logic is now in
DataChangeListenerRegistrationProxy with associated tests. The rest of
the tests in DistributedDataStoreTest are covered by
DistributedDataStoreIntegrationTest.

Change-Id: I9f0d412801110c97eb48ecc4d0fd77ee081a7e81
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug 2131 - NPE when starting controller" into stable/helium

Bug-2136 : Clustering : When a transaction is local then do not serialize the Reading/Writing of data

Ensured that the TransactionContext created for each shard within the transaction has a flag isShardLocal.
if the flag is false, we would be using ProfoBuf to serialize.

Change-Id: I3dc754ae58566212237a6ce385e5f5bb63afd4e0
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Fixes bug 2114

Adds handling of "leaf" node at the module level.

Change-Id: I55efb47b57d2f33b136b0dae8c82effe04ad706b
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>
(cherry picked from commit b307c4f621486b193bdb33ad4b9cca52cd47b812)

[Fix for Bug 1631]
- Refactored RaftActorBehavior#handleMessage (and related methods) to return RaftActorBehavior
  instead of RaftActorState.
- Moved behavior switching from RaftActor based on requested state to the implementations of the
  behaviors that should control that switch (Leader/Follower/Candidate) based on the type of
  message received.
- Pull up logger reference for concrete RAFT behaviors to parent for a common LOG reference.
- Updated all logger calls to:
  - Use substitution instead of String concatenation.
- Debug logger calls are gated by isDebugEnabled check.
- Correctly use Akka logging API for stack trace on exception.
- Avoid toString() calls during logging.
- Use assigned logger instance (LOG) instead of call to context.getLogger()

Change-Id: I376e21734a0540aae714fe9ef1562d74e73e558b
Signed-off-by: mark.mozolewski <mark.mozolewski@hp.com>

Merge "BUG-2207 Make reconnect promise reconnect even if session was dropped during negotiation" into stable/helium