Bug 2347: Minor fixes to correct log output

DOMConcurrentDataCommitCoordinator#handleException hard-codes the error
mapper to CAN_COMMIT_ERROR_MAPPER however this should be passed
in corresponding to the phase.

In TransactionCommitFailedExceptionMapper, the opNames for
PRE_COMMIT_MAPPER and CAN_COMMIT_ERROR_MAPPER are reversed, should be
"preCommit", "canCommit" respectively.

Change-Id: I6c0513f0f6265ec19de39476c95efefee53d2ee1
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit bda2f4ab9ecd693f85ff21e2bf94fe55ca90608b)

Merge "Bug 2347: DOMConcurrentDataCommitCoordinator uses wrong phase name" into stable/helium

BUG 2339 : TransactionChain id created by the Clustered Data Store are not unique

The fix is to use a simple atomically incrementing integer to form the transaction chain
identifier instead of using the system time.

I also added a few log statements in there which were helpful in debugging the issue.

Change-Id: Ie1465f1640d6be0ff9da0f66477ebafc7ebff137
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 4dd0108a91d84a7133ef6b781911e87903981bc1)

Merge "Bug 2318: Follow-up changes for previous patch 12535" into stable/helium

Merge "BUG 2090 : Clustering : Bring akka-raft unit test coverage upto 80%" into stable/helium

Bug 2318: Follow-up changes for previous patch 12535

Addressed some comments and other minor changes as a follow-up to patch 12535.

Enhanced the comments in TransactionChainProxy.

Modified Shard to send a failure reply if an runtime exception occurs in
createTransaction. This allows the error to be propagated to the caller
instead of being thrown back to akka.

Modified TransactionChainProxy to throw an IllegalStateException if the
next chain Tx is created before the previous one is readied. Prior, the
Shard would throw an IllegalStateException but from the Future returned
from submit and not on new*Transaction as the API docs state. So this make
it consistent with API contract. This was implemented by introducing a
volatile State field with implemnetations, Idle, Allocated and Closed.

Also, modified TransactionChainProxy to throw TransactionChainClosedException
if the chain is already closed when on Tx create. Again. this makes it
consistent with the API docs.

Added unit tests in DistributedDataStoreIntegrationTest to verify failure
in both cases.

Change-Id: I1b1ed06ceb1d4599f3f6c5443ca24ac1441ac38f
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit 71a3de6870f23f45b8246a0a476202ebfa9e9ea8)

Merge "Bug 2337: Fix Tx already sealed failure on Tx commit" into stable/helium

Merge "Bug 2021 - Continuous WARN log nodeConnector creation failed at node: OF|00:00:xx:xx:xx:xx:xx:xx" into stable/helium

Bug 2337: Fix Tx already sealed failure on Tx commit

Details outlined in bug 2337.

Moved the publishing of the TransactonContext instance in
TransactionFutureCallback#onComplete after the cached operations are
executed.

Also fixed a timing issue in
DistributedDataStoreIntegrationTest#testChangeListenerRegistration that
caused intermittent failures. This was an issue with the test. The
listener registration is done async in the shard so the notification for
the first write commit could occur in the initial notification on
registration which screwed up the test. So I moved the first write
commit before the registration so we expect an initial notification.

Change-Id: Ied2af93be8165208b853c48e57312c3a5acbdaea
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 2090 : Clustering : Bring akka-raft unit test coverage upto 80%

Change-Id: I7b2b16aa42b655e924942f356602c64ccf6d86b7
Signed-off-by: Moiz Raja <moizr@dhcp-10-154-140-127.cisco.com>

BUG 2317 : StatisticsManager does not unregister from yang notifications on close

Change-Id: I9506fda6f3068d1ed047177009542a240f7c0bb4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2021 - Continuous WARN log nodeConnector creation failed at node: OF|00:00:xx:xx:xx:xx:xx:xx

This fixes the bug in ToSalConversionsUtils.actionFrom() that mistakenly
passed an AD-SAL-style NodeID to a conversion utility (fromNodeConnectorRef)
that was expecting a MD-SAL-style NodeID.

Patch 8: Add unit test to exercise code path that exposes the issue

Change-Id: Icc107bd785d6558a3351f139c1b13b8737b56ae7
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>
Signed-off-by: Colin Dixon <colin@colindixon.com>

Bug 2347: DOMConcurrentDataCommitCoordinator uses wrong phase name

Change-Id: I8b9083a428553525861137fc8630635f6508c2dc
Signed-off-by: tpantelis <tpanteli@brocade.com>
(cherry picked from commit a919cd586f89c7c6877dfaa946cb68ccd5e7a2ef)

Re-enable tests and bump aaa version

This patch is part 2 of 2 patches:

* Increments the version of the depenency on AAA from 0.1.1-Helium-SR1 to
  0.1.2-SNAPSHOT.
* Re-enables the feature tests for the restconf and netconf-conector
  features.

Change-Id: I2a90aa8e25412186efb75db3b114a353c180e175
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bumping versions by 0.0.1 after the Helium.1 release

This patch is part 1 of 2 patches.

* The only version not incrmented is aaa.version, which is left at
  0.1.0-Helium since they depend on controller and can't update yet.
* To break the cyclic dependency, this patch temporarily stops running
  the netconf-connector and restconf feature tests.

A second patch (to be run after AAA increments their versions to
0.1.2-SNAPSHOT) wiil update aaa.version and re-enable these tests.

Change-Id: I70b13d2ad8773e0980a27125665d83b042a91871
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Applying the Helium.1 release patch

Change-Id: I6f1ad93b193f81ad651238b721ddfe4af491cdfd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "BUG-2254 Make runtime rpcs in config subsystem/netconf handle context-instance attribute with namespaces"

This reverts commit 0cc361a9ef982e7190f8aa8375bf8c141d89f4a0.

Change-Id: I3887f7d24d6aa44a4b9cd3ec1eb12fbb422ee5ec
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "BUG-2254 Enable schema-less rpcs invocation in netconf-connector"

This reverts commit 7ff90e8c7ef06d666888ead8731af94aab1a2c87.

Need to revert for Helium SR1.

Change-Id: If214f52ea883fd59b1893863d0dc0384ac6cc755
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Revert "Merge "Revert "Bug 1764 - added service for pushing default node configuration"" into stable/helium"

This reverts commit 3d26b3152786022cd320a0ff76c613604ca232c9, reversing
changes made to 7ff90e8c7ef06d666888ead8731af94aab1a2c87.

Need to revert for Helium SR1.

Change-Id: I853cc600852d36d780bf4c059873494dad15641c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Revert "Bug 1764 - added service for pushing default node configuration"" into stable/helium

Revert "Bug 1764 - added service for pushing default node configuration"

- API change prevention

This reverts commit 3fd8589beb4ffb6caf54c85616d3b4b13956ac9d.

Change-Id: I1d72b91c8c9fc2250b774c14dac5daea7abae691
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG-2254 Enable schema-less rpcs invocation in netconf-connector

Change-Id: Id84a2be3db050a546380186c79deadf5c9f7fd28
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2254 Make runtime rpcs in config subsystem/netconf handle context-instance attribute with namespaces

Change-Id: I9ca4accdb10ba5a6b52ce9b8f7ad02a8cbe8743d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2318: Ensure previous Tx in chain is readied before creating the next

In TransactionChainProxy, subclassed TransactionProxy (ChainedTransactionProxy)
to hook into the TransactionProxy to capture the cohort Futures on ready
and to customize the returned create shard Tx Future.

The previous Tx's ready Futures are captured and cached in the enclosing
TransactionChainProxy instance. When the client creates the next Tx in
the chain, the Future from the shard Tx create message is wrapped by a
sequence Future that combines all the previous ready Futures. Thus, when
the previous ready Futures complete, the shard Tx create is sent and
that Future is used to complete the returned Promise.

Change-Id: If002e4d705510aee3f560c506318d25f386768e5
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Fix Bug 2290 (try #2)" into stable/helium

BUG 2325 : Value type of byte[] not recognized by the NormalizedNodeSerializer

Change-Id: I16eab6cdbf7712624f2c1fafb5bf41107b6ae379
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix Bug 2290 (try #2)

Ensure that isIPInUse, getLowAddr, allocateIP, releaseIP,
gatewayIP_Pool_overlap and initDefaults are all V6 friendly.

Manual rebase to fix author's abject stupidity...

Change-Id: I5a136e337672f4ad1b71aa42a3fd33a4e5a85aa2
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Merge "Fix intermittent failure in DataChangeListenerTest" into stable/helium

Merge "Cherry Pick of 12340 to stable/helium branch" into stable/helium

Fix intermittent failure in DataChangeListenerTest

Fixed an intermittent failure in testDataChangedWithNoSender due to timing if a
DeadLetter is received due to the Monitor message being dropped as the
unit tests don't set up the termination monitor actor. The test expects
no DeadLetter for DataChangedReply so added chanhes to ignore
DeadLetters for other messages.

Change-Id: I39ddc888de7fbff9201ac9f785baa6fec7cb8f2c
Signed-off-by: tpantelis <tpanteli@brocade.com>

Cherry Pick of 12340 to stable/helium branch

Fixes Bug 2290

Change-Id: I8d1dc4b2b26326e2ebeb7cc9b21b42085d61829c
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

BUG 2296 : TransactionProxy should support the ability to accept a local TPC actor path

In Helium when the ShardTransaction processes a Ready message it sends back a the path of a ThreePhaseCommitCohort actor in the ReadyReply. This path is actually a local actor path, this local actor path is then converted into a remote path by the TransactionProxy.

The fix for Bug 1607 breaks this capability which is required to support forward compatibility in a cluster where a transaction request originates in a node that has been upgraded to Helium-1 and the actual transaction is happening on a node which has not yet been upgraded to Helium-1.

Change-Id: I857384bdd61b3492ea270dcf04d14883811c37c2
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2294: Handle Shard backwards compatibility

Implemented as outlined in Bug 2294.

Change-Id: I14aa8ef5f320f9d165492396ece4ea63cce9b0c3
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2134: Fix intermittent RaftActorTest failure

We need to wait for akka's recovery to complete before we perform our
tests as akka's recovery runs async and may interfere with our tests and
cause them to fail if the timing is right. This was seen once on
jenkins.

Change-Id: Ia748d17f662d64235881005e6522441b384c78ea
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug 1764 - added service for pushing default node configuration" into stable/helium

Merge "BUG 1839 - HTTP delete of non existing data" into stable/helium

Bug 1764 - added service for pushing default node configuration

(cherry picked from commit 0e06ac772f51d968fe242fab5a5255e08a2940be)
Change-Id: I8018c639ce05118722c8f33ca842436cca44372e
Signed-off-by: Martin Bobak <mbobak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG 2134 : Make persistence configurable at the datastore level

- Added a peristent flag in the config sub-system
- If persistent in not true then we ignore recovery messages and not use the
  akka persistence apis for persisting anything
- The unit tests
    - assume that persistence is on by default (which it is)
    - test that if recovery is applicable only then the ShardManager and RaftActor process the recovoery messages.
    - test that when persisting the data-persistence API is used in the appropriate places (see RaftActorTest/ShardManagerTest)

Change-Id: I19913bcd32e609ccde6ad8e35209788315504426
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2055: Handle Tx create in TransactionProxy resiliently

    Modified TransactionProxy to utilize the FindPrimaryShard
functionality
    to wait until the shard is initialized. Also added retries to
    the CreateTransaction operation to wait a period of time for the
shard
    to elect a leader. This makes it more resilient to avoid transient
    timing/sequencing failures, particularly on startup.

    In addition, the FindPrimaryShard and CreateTransaction operations
are now
    done async (non-blocking). The futures are combined to yield the
    CreateTransactionReply which is passed to a new class
    TransactionFutureCallback on completion. The
TransactionFutureCallback
    class creates and stores the TransactionContext which subsequent
    read/write/delete/ready transaction operations can access. If a
    transaction operation occurs before CreateTransaction completes, the
    operation is cached in TransactionFutureCallback and executed when
    the CreateTransaction future completes.

Change-Id: Id9cdc9641038922d6209c44d924bd168658a71fb
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2002: Classpath error when loading neutron northbound api

Adding restconf to the opendaylight-karaf distribution
This is a back-port merge request from Lithium to Helium for
gerrit https://git.opendaylight.org/gerrit/#/c/11862/

Change-Id: I309215ac8fb84663d5169596ccc565a94d3eb345
Signed-off-by: Colin Dixon <colin@colindixon.com>
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

BUG 1839 - HTTP delete of non existing data

Before - after deleting non existing data an exception was raised.
Now - after deleting non existing data it is checked whether there is in
exception chain instance of ModifiedNodeDoesNotExistException. If it is so then
HTTP 404 - data missing status is returned.

Change-Id: I43ccaa16abe7dfaffa3e031aa31d93f8f106a81f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 4c22825994c2519fb1c9d63f0050ebf35c4f8439)

Merge "Bug 2265: Modified NormalizedNodeOutputStreamWriter to implement yangtools interface" into stable/helium

Bug 2265: Modified NormalizedNodeOutputStreamWriter to implement yangtools interface

The NormalizedNodeOutputStreamWriter was originally written to implement
a NormalizedNodeStreamWriter interface class that was copied from
yangtools. This was done to get access to the NodeWithValue in the
leafSetEntryNode method which isn't specified in the yangtools
interface. However it turns out we don't actually need the NodeWithValue so
NormalizedNodeOutputStreamWriter was changed to implement the yangtols interface
and the copied NormalizedNodeStreamWriter interface was removed.

Change-Id: I72f0c96359e4fe96e8e183aa7afba9291c5d519d
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2252: Terminate ShardWriteTransaction actor on ready

Change-Id: I16f9dcf370aab1e23073163e0e055a40f1415a1a
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 2221 : Add metering to ShardTransaction actor

Change-Id: I4cbf74f9e8979b996a30a019657177b92fbdfc18
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug2174: XSQL log file is hardcode to /tmp/xql.log" into stable/helium

Merge "Bug 2086: Adding normalized node  stream reader and writer." into stable/helium

Merge "BUG-2184 Fix config.yang module(add type as a key for modules list)" into stable/helium

Merge "BUG-2184 Fix subtree filtering for identity-ref leaves" into stable/helium

Bug 2086: Adding normalized node  stream reader and writer.

Normalized node and its children are written in recursive manner. Besides the leafNode, leafSetEntryNode and anyxmlNode, all other nodes must call endNode method
while writing object to data stream. This helps to recreate the object.

Recursion  runs in opposite direction while reading the object.

Updated code with review comments

Change-Id: Ibb822e11fc76f52b5be78596ed979c3b97d51de8
Signed-off-by: Harman Singh <harmasin@cisco.com>

Bug-2098- sal-compatibility not get up-to-date flow information

When cached is passed in as false, we attempt to collect all the notifications in a guava cache and
return the results after we get the last notification.

Depends on the OFP Patch : https://git.opendaylight.org/gerrit/#/c/11655/

Change-Id: I78d911648957f30d0ae0c92945ad3ac4cf7fc483
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Bug 2210: Fixed initial DCL notification on registration

On RegisterChangeListener message, if the shard isn't the leader, the
listener proxy isn't registered with the IMDS yet, instead a
DelayedListenerRegistration innstance is created and added to a
delayedListenerRegistrations list. When the shard becomes the leader, in
onStateChange, the DelayedListenerRegistration instances in the
delayedListenerRegistrations list are registered with the IMDS.

Change-Id: Id5fbfc3e452e9843f6977139d101e71f4022dc0a
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-2184 Fix subtree filtering for identity-ref leaves

Change-Id: I7d367c793a461ae26f56ddf611f7e45a723f28fc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 37b37e348a362f31e01077753cee1c6bdaa645dc)

BUG-2184 Fix config.yang module(add type as a key for modules list)

Netconf server requires the type and name when e.g. deleting data so the yang model did not fully reflect the implementation

Change-Id: If4b04fe1ec427cff0f52d743cc1440fc7fe143d2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 024c0e5fc9f20f29b894ed4075034797634a4714)

Bug 2055: Handle shard not initialized resiliently

Added a flag to the FindLocalShard and FindPrimaryShard messages to
specify whether or not to wait for he shard to be initialized.

Modified FindLocalShard and FindPrimaryShard message handling in the
ShardManager to wait for the shard to be initialized before replying if
the flag is set in the message. This is done async by caching the
response info in the ShardInformation and sending the response when the
ActorInitialized message for the shard is received.

Modified DistributedDataStore#registerChangeListener to always create a
DataChangeListenerRegistrationProxy and moved the code that performs the
findLocalShard and RegisterChangeListener operations into
DataChangeListenerRegistrationProxy. In DataChangeListenerRegistrationProxy,
the findLocalShard operation is done async (with a long time out). On success,
the RegisterChangeListener message is sent.

Added change listener test to DistributedDataStoreIntegrationTest and
removed the DistributedDataStoreTest since most of the tests tested
registration and the bulk of that logic is now in
DataChangeListenerRegistrationProxy with associated tests. The rest of
the tests in DistributedDataStoreTest are covered by
DistributedDataStoreIntegrationTest.

Change-Id: I9f0d412801110c97eb48ecc4d0fd77ee081a7e81
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug 2131 - NPE when starting controller" into stable/helium

Bug-2136 : Clustering : When a transaction is local then do not serialize the Reading/Writing of data

Ensured that the TransactionContext created for each shard within the transaction has a flag isShardLocal.
if the flag is false, we would be using ProfoBuf to serialize.

Change-Id: I3dc754ae58566212237a6ce385e5f5bb63afd4e0
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Fixes bug 2114

Adds handling of "leaf" node at the module level.

Change-Id: I55efb47b57d2f33b136b0dae8c82effe04ad706b
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>
(cherry picked from commit b307c4f621486b193bdb33ad4b9cca52cd47b812)

[Fix for Bug 1631]
- Refactored RaftActorBehavior#handleMessage (and related methods) to return RaftActorBehavior
  instead of RaftActorState.
- Moved behavior switching from RaftActor based on requested state to the implementations of the
  behaviors that should control that switch (Leader/Follower/Candidate) based on the type of
  message received.
- Pull up logger reference for concrete RAFT behaviors to parent for a common LOG reference.
- Updated all logger calls to:
  - Use substitution instead of String concatenation.
- Debug logger calls are gated by isDebugEnabled check.
- Correctly use Akka logging API for stack trace on exception.
- Avoid toString() calls during logging.
- Use assigned logger instance (LOG) instead of call to context.getLogger()

Change-Id: I376e21734a0540aae714fe9ef1562d74e73e558b
Signed-off-by: mark.mozolewski <mark.mozolewski@hp.com>

Merge "BUG-2207 Make reconnect promise reconnect even if session was dropped during negotiation" into stable/helium

Merge "BUG 1966 - change message logging level (info -> trace)" into stable/helium

Merge "BUG-2017 Fix possible concurrent modification ex in config subsystem" into stable/helium

Merge "BUG 2047 - HTTP GET - no returning error message" into stable/helium

Merge "Bug 2002: Classpath error when loading neutron northbound api" into stable/helium

BUG-2207 Make reconnect promise reconnect even if session was dropped during negotiation

Change-Id: I58adc2e42bb8ce09bfb8b5cd214a91300bb2bbb0
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit f1124e95b6b1b4a6b8b8661bdd78aa74a6977b55)

Merge "BUG-2217 Add missing namespace to serialized inner runtime beans" into stable/helium

BUG 1966 - change message logging level (info -> trace)

Change-Id: Idff363361f5d283edf25ac656a519bc8232a9393
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 340fd8391afab33b8ca5f0a13b694e166264d377)

BUG 2047 - HTTP GET - no returning error message

Error message was added to NormalizedNodeXmlBodyWriter.

Change-Id: I43914eaa62149b66303cef956f73e694fae9217f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 4f2ea61562a35ae6ced742ef9f26722109551630)

Bug 2002: Classpath error when loading neutron northbound api

Add the org.eclipse.persistence.antlr to the odl-pseristence feture. There are weird timing issues where if the antlr bundle is not loaded before core and moxy then the classes in antlr cannot be found.

Change-Id: I8fd30b5fb215b8a25512deac45e80099c91c539e
Signed-off-by: Sam Hague <shague@redhat.com>

BUG 1833 : Remove all unused code from sal-clustering-commons

Change-Id: I7ce05b4ee77b6151f361091b18d1a7bbd8ed408a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-2217 Add missing namespace to serialized inner runtime beans

Change-Id: I267c23ec620bacbd800ee171f37413d4f5997f69
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug2174: XSQL log file is hardcode to /tmp/xql.log

Change XSQL to point to java.io.tmpdir which should be data\tmp\xql.log

Change-Id: I811064dd28ce2f4cdb661c7bf968a1cee21d32be
Signed-off-by: Christopher O'Shea <christopher.o.shea@ericsson.com>

Bug 2135: Create ShardInformation on startup

Modified the ShardManager to create the ShardInformation map on startup,
but without creating the shard actors yet, instead of when the SchemaContext is initialized.

When the SchemaContext is fully initialized then create the shard actors.

On FindLocalShard and FindPrimaryShard messages, only return a valid
response if the shard actor is created and it's initialized.

Change-Id: I361f2af9e53878f62c5890350afd7a5f2877b95c
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2160: Added concurrent 3-phase commit coordinator

Added a new class DOMConcurrentDataCommitCoordinator which is an
implementation of DOMDataCommitExecutor that allows multiple concurrent
3-phase transaction commits. The 3 phases are still performed serially and
non-blocking per transaction.

A new flag, "allow-concurrent-commits", was added to the DOM in-memory
data broker's yang config. If true, the new
DOMConcurrentDataCommitCoordinator implementation is used, otherwise the
current implementation is used. The default is false.

The distributed data store will use the concurrent coordinator.

Change-Id: Ie21947d6f9c1086f89686a73442c854c08c07100
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 2038: Ensure only one concurrent 3-phase commit in Shard

Added a ShardCommitCoordinator class that ensures there's only one
concurrent 3-phase commit.

The following outlines the new commit workflow:

- On ready, the ShardTransaction creates the dom store cohort and
forwards a new ForwardedReadyTransaction message to the shard.

- The shard calls its ShardCommitCoordinator to add the cohort and
modificaton to a cached keyed by transaction ID.

- On CanCommitTransaction message, the ShardCommitCoordinator looks up and removes
the cohort entry from the cache corresponding to the transaction ID
passed via the CanCommit message. The ShardCommitCoordinator also caches
the cohort entry for the current transaction in progress. If there's no
transaction in progress, the committing transaction becomes the current
transaction and canCommit is called on the cohort. Otherwise, the cohort
entry is queued to be processed after the current tranaction completes.

- On CommitTransaction message, if the transaction ID passed via the
Commit message matches the currently cached cohort entry, the preCommit
and commit phases are performed. When complete, the ShardCommitCoordinator
dequeues the next waiting transaction cohort entry, if any, and process
it.

If a Tx is aborted and it is the current transaction, the
ShardCommitCoordinator handles it as a completed Tx.

Implemented a timeout mechanism using the akka scheduler such that if
the commit message isn't received after a period of time (default 30 s)
after the canCommit message, the transaction is aborted so that the next
transaction can proceed. This is to handle remote node or network
failures during a 3-phrase commit.

The ThreePhaseCommitCohort actor was removed along with the
ForwardedCommitTransaction.

Change-Id: Iaa5692ca45cd7635d1a06a609f4bf98bec50df14
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 1965: Fixed DataChangedReply sent to deadletters

Change-Id: I3a579823d57e113597aabeb647c883d8811f29f1
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug-1607:  Clustering : Remove actorFor (deprecated) call from TransactionProxy.java

1. Changes to use ActorSelection instead of ActorPath
2. Removed actorFor usage
3. Removed resolvePath calls
4. Changes in test classes.

Rebased.

Change-Id: I8fdc18a1ac18d75d1b6d5c8cd0da986e19d08280
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

BUG-2017 Fix possible concurrent modification ex in config subsystem

Change-Id: I879118cee8967edf14e24e8af93945d95bbc9fbe
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 166f257203c1f2b5b77b0ac68441b7ced72a0b25)

Bug 2131 - NPE when starting controller

* made InvenroryAndReadAdapter wait for BindingAwareBroker because it
was calling DeteBrokerService before it was available

Change-Id: Ie38415194544997bc12d2dd3acfc57bfa8918730
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit e7cf56bb5194567f9517d627710fa432254241ed)

Bug 1577: Gates access to Shard actor until its initialized

1. Shard manager creates Shard and mark them un-initialized.
   Shard completes recovery and onRecoveryComplete, sends a
   message to Shard manager to mark it initialized.
   If a request for Shard comes to Shard manager and the
   shard is not initialized, it sends ActorNotInitialized
   message.

2. Normalizes and refactors ActorContext.

3. Adds AbstractUntypedPersistentActorWithMetering to meter
   ShardManager.

Change-Id: Ibf15a2ef56422bda53067039d2271a719b6b2ce3
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Bug 2003: CDS serialization improvements

In NormalizedNodeToNodeCodec#encode, significant time was spent
serializing the YangInstanceIdentifier path via PathUtils even though it
wasn't actually needed - the decode method didn't decode it.

This might have been used by WriteModification and MergeModification
originally however they currently serialized/deserialize their
YangInstanceIdentifier path separately from the NormalizedNode via
InstanceIdentifierUtils. It turns out this takes significant time as
well as it's implemented similarly as PathUtils.

So I ended up using NormalizedNodeToNodeCodec to encode/decode the
YangInstanceIdentifier along with the NormalizedNode but changed
InstanceIdentifierUtils to utilize the new PathArgumentSerializer
and the NormalizedNodeSerializer's special QName encoding.

With serializing a 5K batch of WriteModifications with flow data, the
time went down from ~350 ms to ~150 ms. Deserialization was also
improved.

Other smaller optimizations in NormalizedNodeSerializer,
NormalizedNodeType, PathArgumentSerializer and PathArgumentType chopped
another 20-30 ms off the time.

I also changed InstanceIdentifierUtils to serialize/deserialize via the
new PathArgumentSerializer and the NormalizedNodeSerializer's special QName
encoding by default, even when the ID isn't encoded as part of a
NormalizeNode. This seems reasonable to me as a standalone IID will
likely have repeated namespaces and revisions plus we get savings by not
serializing each path arg class name.

Removed the deprecated InstanceIdentifierUtils class in
sal-distributed-datastore bundle.

Change-Id: Iaa29daeaececf4b93065f4d46d0c2796c4d8188f
Signed-off-by: tpantelis <tpanteli@brocade.com>

Increment the AAA dependency by 0.0.1 for post-Helium stability branch

This patch is the second half of the post-Helium version bump patch. It
does two things:
* Increments the version of the depenency on AAA from 0.1.0-Helium to
  0.1.1-SNAPSHOT.
* Re-enables the feature tests for the restconf and netconf-conector
  features.

Change-Id: I4cb2bf43b42eded9aa1f58092eb94532b2b2a23b
Signed-off-by: Colin Dixon <colin@colindixon.com>

Incrementing versions by 0.0.1 for post-Helium stability branch

* The only version not incrmented is aaa.version, which is left at
  0.1.0-Helium since they depend on controller and can't update yet.
* To break the cyclic dependency, this patch temporarily stops running
  the netconf-connector and restconf feature tests.

A second patch (to be run after AAA increments their versions to
0.1.1-SNAPSHOT) wiil update aaa.version and re-enable these tests.

Change-Id: I6878ff96a185818e5bec3afa01526fbcbba32429
Signed-off-by: Colin Dixon <colin@colindixon.com>

Updated .gitreview to point to stable/helium

Change-Id: I2a05c959d0c36fb59296da83d1c32717a7644094
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Tagging Helium release

Switching version to -Helium instead of -SNAPSHOT

Change-Id: Ie406fb796621b31e1fdc768dfd3a4b656e02c937
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2107: Use DataCommitListeners for inventory events

Change-Id: I648bba5e7585cc9d1a70f3dcaf6f8fdbcfeb1787
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge changes I95a821aa,I4a90a3b6,I9f77a16a

* changes:
  BUG-2078  Stats not being collected from all nodes, dangling nodes left in oper data store after mininet disconnects BUG-2049  DataStore failure in StatisticsManager
  Bug 2106: Refactored FlowCapableInventoryProvider to properly work with failures.
  Bug 2103: Revert "Bug 2101: Do not block processing on transaction submit."

BUG-2109 : removed final modifier to allow overriding of negotiationFailed() method

Change-Id: Iffe9dcf061480844ceb8a8278997c28000ec329d
Signed-off-by: Dana Kutenicsova <dkutenic@cisco.com>

BUG-2078  Stats not being collected from all nodes, dangling nodes left in oper data store after mininet disconnects
BUG-2049  DataStore failure in StatisticsManager

* fix performance issues
* fix occurrence zombie nodes
* fix NPE for StatCollector
* fix NPE for Meter/Group lists

Change-Id: I95a821aaf308bdb6e989c4a740aa014d5aaab4c2
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Bug 2106: Refactored FlowCapableInventoryProvider to properly work with failures.

FlowCapableInventoryProvider was unable to continue if transaction chain
failed during construction of new transaction.

Refactored it in way, that it is able to reconstruct and retry transaction,
which failed because of previous transaction and retries it once
in new transaction chain. If it fails again, it continues with next batch.

Change-Id: I4a90a3b60b0a49d562c8648a779e790f55840b5d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2103: Revert "Bug 2101: Do not block processing on transaction submit."

Turns out that the get was throttling the stats manager so
it didn't overwhelm the queue.

This reverts commit 6b3c2a9e446bf91942a48427e5592909a173a399.

Change-Id: I9f77a16a959594c65ed3e61b1265c56da620c1ba
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 2103: Make sure InventoryManager survives Transaction failure."

Merge "Bug 2101: Do not block processing on transaction submit."

Merge "BUG 2049  DataStore failure in StatisticsManager BUG 2101  When L2 switch installed, its flows are interpreted as new flows with each stats request"

Bug 2103: Make sure InventoryManager survives Transaction failure.

Change-Id: I5896a0b7c3e63d2828361dc93d3582843a35b35d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2101: Do not block processing on transaction submit.

Change-Id: Ibdc75aa670254f84aa70647d655e4e1438edd9e9
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG 2049  DataStore failure in StatisticsManager
BUG 2101  When L2 switch installed, its flows are interpreted as new flows with each stats request

* hashCode is not safe in general so we'd like to prevent Collisions how we can
* we change HashBuilding to KeyBuilding from toString method
* toString is generated in CompileTime
* it can not be change during JVM run
* every one use same YANG model version and jar files
* and the same aproach could by use across claster
* add cleaning disconnected Node from StatListeningCommiter implementers

Change-Id: I645e9f07382af0b293bc43698446b7b84b95bbde
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 2074 : clustering.services-implementation failed to register listner.

The adsal feature depends on both the stub and implementaton of clustering.
This causes a problem when deployed because sometimes the stub is wired in first
which leads to createCache requests going to that implementation. Subsequently
the real implementation gets wired in and add listener calls go there but since
the caches were created on the stub this fails.

This patch removes the stub as a dependency with the assumption that it is not
required in production.

Change-Id: I42203bbf31b46560c23f283ddd83e56bd950830b
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-2049: DataStore failure in StatisticsManager

!WORKAROUND ONLY

- during node reconciliation statsManager could join together 2 similar
  sets of statistics notifications and hit duplicate values during
  processing - here we just skip those duplicates in order not to loose
  stats working thread and finish actual multipart

Change-Id: I526ab5439055ac565bfaa08e84e5043e8764846a
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug 1948: Finish separating out restconf features"