Add unit test for ElectionTermImpl

Added a unit test class ElectionTermImplTest and removed the equivalent
test case from RaftActorTest.

Change-Id: I1c3f0e59784422777d742ade4c01e1e18914a213
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for ReplicatedLogImpl

Some test cases in RaftActorTest directly test the ReplicatedLogImpl so
they were moved to a new specific test class ReplicatedLogImplTest as
they donlt need the overhead of creating a RaftActor.

Also added more tests and increased coverage in
AbstractReplicatedLogImplTest.

Change-Id: I14e65620d1c8bc89bab055488aed89837ff3f4e7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for RaftActorSnapshotMessageSupport

Change-Id: Ic0f5be5c9741f62bae572953d89ac8800ee371af
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for RaftActorRecoverySupport

Also removed redundant recovery tests from RaftActorTest and added a
test that verifies the RaftActor forwards all recovery messages to the
RaftActorRecoverySupport.

I also refactored MockRactorActor and RaftActorTestKit to their own
files to reduce the size of RaftActorTest.

Change-Id: I75d0a1cfe0d0b168e488ce5cecda29dae4fe4321
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "CDS: Split out TransactionFutureCallback"

Merge "Remove deprecation suppression"

Merge "Add generic arguments"

Merge "Update lispflowmapping options in custom.properties"

Merge "Fixes Bug 2935"

Merge changes I114cbac1,I45c2e7cd

* changes:
  Calculate replicated log data size on recovery
  Refactor snapshot message processing to RaftActorSnapshotMessageSupport

Merge "Verify BatchedModifications messages sent vs received"

Merge "Use BatchedModifications message in place of ReadyTransaction message"

CDS: Split out TransactionFutureCallback

This moves the TransactionFutureCallback inner class out of
TransactionProxy, so its interaction with TransactionProxy is defined
using methods.

Change-Id: Ib07bf91e32074b721552c8ef4952bbd40369283a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Verify BatchedModifications messages sent vs received

A previous patch removed the verification of the response
Futures for BatchedModifications messages sent in
TransactionContextImpl. This was used to verify all modifications
were successfully received and processed by the transaction actor.

In lieu of that, this patch adds a totalMessagesSent field to
BatchedModifications and the transaction actor verifies it matches
the total number of messages received and successfully processed.

Change-Id: I247d3a09794142813cdca67b63d77412261a282b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Use BatchedModifications message in place of ReadyTransaction message

For the optimized write transactions (currently disabled), we used the
last BatchedModifications message with the ready flag set to elide
sending the ReadyTransaction message. We can do this in general for both
read-write and write-only.

In ShardWriteTransaction, if the BatchedModifications indicates ready,
it simply calls readyTransaction to send ForwardedReadyTransaction
message to the shard, same as with the ReadyTransacton message.

Instead of returning a BatchedModificationsReply with the cohort path,
I kept the ReadyTransactionReply so the Shard code mostly remains the
same - otherwise we'd have to introduce an equivalent
batched ForwardedReadyTransaction message.

I also made ReadyTransactionReply Externalizable so we don't have to
deal with sending it serialized or not (except for backwards
compatibility - had to keep the protobuff class).

TransactionContextImpl#readyTransaction is now the same as
WriteTransactionContextImpl#readyTransaction so
WriteTransactionContextImpl is no longer needed and was removed.

Change-Id: I5175c77ca08a1877af9593a28e7c4cb46f03287a
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Refactor raft recovery code to a RaftActorRecoverySupport class"

Merge "Remove recorded modification Futures from TransactionContext"

Merge "BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation."

Merge "BUG-1848 : OrderedNormalizedNodeWriter implementation"

Merge "BUG-2953 : Unable to read from datastore root with clustering enabled"

Update lispflowmapping options in custom.properties

One property changed default and a new property was added, see
  https://git.opendaylight.org/gerrit/#/c/15505/
  https://git.opendaylight.org/gerrit/#/c/16982/

Change-Id: Icf91d2ddcc63ee13d2e23ad9a5673ca1bc1efb93
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BUG-2953 : Unable to read from datastore root with clustering enabled

This patch adds a NormalizedNodeAggregator which makes it possible to read
from the root of the datastore tree.

Writing, merging and checking for the existence of the root path is not
supported yet but we could in a future patches if needed.

Change-Id: I892bdc733ec316f41926d8bbccdbbdc6c31a5c25
Signed-off-by: Moiz Raja <moraja@cisco.com>

Remove deprecation suppression

Suppressed deprecation leads to false sense of completeness. This patch
removes suppression in tests, so we see how muchh of the code relies on
deprecated APIs.

Change-Id: I01d56f3ef4fe385806a8fbebdbe96fd6af63828c
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation.

Makes the rpc processing in netconf northbound and sal-netconf-connector use
the new ordered writer.

Change-Id: I1367ba07069fa5b6525358f265fe664d00d71500
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-1848 : OrderedNormalizedNodeWriter implementation

Writes nodes in the order defined in yang files.

Change-Id: I72b2a867ad47b2c9de0444a8a0a2f279a8360021
Signed-off-by: Tomas Cere <tcere@cisco.com>

Remove recorded modification Futures from TransactionContext

This removes the recorded batched modification message Futures
from TransactionContext to avoid the overhead of waiting for
the Futures to complete on ready and transforming them. The
Futures were recorded to ensure all modification messages
were successfully processed before committing the transaction
but we can do that by including the count of modification
messages sent in the ready message for the transaction actor
to verify (later patch).

Change-Id: I8d6ad80cac3e8e13fde48fbf5c57a476cca003dd
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG-2967: Expose before-state from DataObjectModification

Not exposing the before-state requires users to track this state
themselves. The problem is most visible in the delete case, if
the user needs some attributes to reconstruct keys to other structures
in order to perform cleanup -- they would effectively have to retain
a InstanceIdentifier->data map to efficiently perform deletes.

Rather than forcing everyone to duplicate data, expose the before-state,
as best available. Note that applications still need to deal with the
fact that the before-state in delete can be null -- at least by issuing
a warning to the operator.

Change-Id: I72c886f384254a6808159eaee612b07083073492
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix DataTreeIdentifier losing type

DataTreeIdentifier needs to retain the type of encapsulated
InstanceIdentifier, otherwise the users cannot really use it (or have to
suppress warnings/cast).

Change-Id: Icc7214923531f9ffeafe55b12a8ad6813d431573
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove non-existant features-flow from dependencies

Change-Id: I9018abd2e4c185cdfed92b5c7040360cf03cb394
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "BUG 2799: SPI for EventSources"

Add generic arguments

This patch silences a few eclipse warnings about use of generic types
without proper arguments.

Change-Id: Ia260593e7b5b5fa4cb49894752a286c47aa7c049
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fixed NPE when RuntimeRpc could not find module in schemaContext."

Merge "BUG 2889 : migration of netconf-cli to NormalizedNode api's"

Merge "Add DOMDataTreeIdentifier.toString()"

Calculate replicated log data size on recovery

We maintain the replicated log data size at runtme but we should also
calculate the data size for recovered entries on startup.

I changed the AbstractReplicatedLogImpl#append method to also add to the
dataSize. Previously dataSize was adjusted in ReplicatedLogImpl#appendAndPersist
after it was persisted. I'm not sure why it was done this way but if
persistence failed then the entry would've been added to the in-memory
log without increasing the dataSize. This seems inconsistent - if we add
to the log we should always increase the dataSize.

The same with removing entries from the log - ReplicatedLogImpl re-calculated
the dataSize after it was persisted. So I changed removeFrom to adjust
dataSize and changed ReplicatedLogImpl#removeFromAndPersist to call
AbstractReplicatedLogImpl#removeFrom (code was duplicated).

To avoid out-of-band changes to dataSize I made it private. Same with
journal. I think this is safer - these should be owned by
AbstractReplicatedLogImpl and derived classes shouldn't modify these
directly.

Change-Id: I114cbac1d6a450bc0a1c8c6ee60042ad28a89bf4
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Refactor snapshot message processing to RaftActorSnapshotMessageSupport

Refactored the snapshot message handling to a new class
RaftActorSnapshotMessageSupport.  To handle the callbacks to the
RaftActor, the RaftAciorRecoverySupport takes a RaftActorSnapshotCohort interface.
The abstract on* methods in RaftActor are now defined in the
RaftActorSnapshotCohort interface. The derived RaftActor class
implements an abstract method to return a RaftActorSnapshotCohort
instance.

Shard returns an instance of a new class ShardSnapshotCohort. For
createSnapshot, it needs to create a Shard transaction actor so I
refactored out a ShardTransactionActorFactory from Shard which is
also used for transaction create messages.

The ShardTransaction constructor previously took a SchemaContext is no
longer used. Rather than storing the SchemaContext in
ShardTransactionActorFactory and keeoing it up to date, I removed
SchemaContext from ShardTransaction which cascaded changes down to the
derived actor classes and unit tests.

Change-Id: I45c2e7cd31b07fec10585b8e5e0495b96842d37c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Refactor raft recovery code to a RaftActorRecoverySupport class

Moved the RaftActor recovery message handling to a new class
RaftActorRecoverySupport. To handle the callbacks to the RaftActor,
the RaftActorRecoverySupport takes a RaftActorRecoveryCohort interface.
The abstract on* methods in RaftActor are now defined in the
RaftActorRecoveryCohort interface. The derived RaftActor class
implements an abstract method to return a RaftActorRecoveryCohort
instance. Shard returns a ShardRecoveryCoordinator instance (modified to
implement RaftActorRecoveryCohort).

Change-Id: I07a068aad277b6f677d7703c4e10686efe0cf0cc
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Bug 2933: BidningDOMDataBrokerAdaper implements DataTreeChangeService"

Merge "Bug 2933: Make DataTreeModification and Listeners type-safe"

Merge "Bug 2933: Implemented  DataTreeChangeService"

Merge "Make TransactionProxyCleanupPhantomReference self-contained"

Merge "CDS: introduce AbstractThreePhaseCommitCohort"

Merge "CDS: fix TransactionProxy close()/ready() interaction"

Merge "Bug 2942: odl-mdsal-apidocs feature is not protected through AAA"

Make TransactionProxyCleanupPhantomReference self-contained

This tracker can be broken out cleanly, if we clean up interactions with
TransactionProxy and TransactionFutureCallback. That allows us to split
the class out, making it self-contained. Leaking fields from
TransactionProxy will be fixed up in a follow-up patch.

Change-Id: I14dbb44a2c94e758ad492222eaa9d038f5b6b858
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: introduce AbstractThreePhaseCommitCohort

This is a rework of ChainedTransactionProxy/TransactionProxy
interactions. Rather than invoking a callback from TransactionProxy to
ChainedTransactionProxy, wrap the ready() call in
ChainedTransactionProxy and extract the required information from the
returned cohort object. Also make sure we preallocate the cohort future
collection.

Change-Id: I539ffb085800e4d62f1eab5bc8dae284e73c6aab
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: fix TransactionProxy close()/ready() interaction

TransactionProxy is vulnerable to wrong use of close() after ready().
Fix this up so we detect this condition and make it explicit what
happens when.

Change-Id: Id966b57ce53cdc92bc3e53cb0d38b77303ba1c54
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed NPE when RuntimeRpc could not find module in schemaContext.

Change-Id: I40c72d413f23753e95fd5f0bb42cc78046a6494f
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2933: BidningDOMDataBrokerAdaper implements DataTreeChangeService

Change-Id: Ia28d8452a6c203c88c7d1e18208362cf779a7b20
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2933: Make DataTreeModification and Listeners type-safe

Introduced generic to DataTreeModification, DataTreeChangeListener
and DataTreeIdentifier which captures target type from InstanceIdentifier
so users does not have to deal with casts by themselves.

Added utility walker methods to DataObjectModification, which
are possible thanks to DataTreeModification capturing target type.

Change-Id: Ia3566ae3dbe98fb118b49cc8ac8e1925fc111d8b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2933: Implemented  DataTreeChangeService

DataTreeChangeService implementation is based on DOM Data Tree
change service and serves only as an adapter, which lazily
translates events and data in events as they are accessed
by user code.

This is rather different behaviour from DataChangeListener
where API contract required semi-eager deserialization
of supplied instance identifier.

Change-Id: If4954e966acc21ffec36e8cc37f95717492a1675
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Refactor ReplicatedLogImpl to separate class"

Merge "Bug 2588: Fix read transaction failures"

Merge "Fix bug  bug 2651 - XSQL does not pickup augmentation data "

Bug 2903: Turning on clustering by default

See Weather event:
https://wiki.opendaylight.org/view/Weather#Clustered_Data_Store_Switch_over

Change-Id: I36b64d7eb657641bacfe2fd6e53a595baf2ad4a0
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix bug  bug 2651 - XSQL does not pickup augmentation data

Change-Id: I350de6ccf5efd8e427c5823a0f03c91e0df33f19
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Bug 2942: odl-mdsal-apidocs feature is not protected through AAA

This change enforces AAA on the URL endpoints supported by odl-mdsal-apidocs.
The security model prohibits any access to the controller without
authentication.  This change mandates AAA for odl-mdsal-apidocs URLs.

Change-Id: I74226e702568077d769353d5fe49fe21cd187266
Signed-off-by: Ryan Goulding <ryandgoulding@gmail.com>

Add DOMDataTreeIdentifier.toString()

A proper toString() method is needed for debugging.

Change-Id: Iab13a38f6134aafa982fa5a9127fc5ccdd179416
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Remove SimpleDataTreeCandidate"

Fixes Bug 2935

Details for the issue is documented here:
https://bugs.opendaylight.org/show_bug.cgi?id=2935

This patch updates mapException implementation to
appropriately handle exceptions.

Change-Id: I104ea62453517e2c6a74955f6b3cce342274a9e5
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Bug 2588: Fix read transaction failures

TransactionContextImpl#read now sends the ReadData message immediately
instead of waiting for the previous modification operation Futures to
complete. This ensures the read will be performed by the actor before
the transaction is readied. Also did the same for dataExists.

Change-Id: I9c56b32162a957e27f9ff01485686e90ebec77a7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG 2799: SPI for EventSources

Introduced SPI for Event Sources

 - created separate messagebus-spi module
 - moved Netconf Event Source implementation
   to separate package

Change-Id: I13d55f803a80c655c71137414265041d99b11aa0
Signed-off-by: Marian Adamjak <madamjak@cisco.com>

Merge "Split out ChainedTransactionProxy"

Merge "Split out NoOpDOMStoreThreePhaseCommitCohort"

Merge "Speed up class check"

Merge "Speed up enumeration lookups"

Merge "Add ForwardingDOMStoreThreePhaseCommitCohort"

Split out ChainedTransactionProxy

Rather than having it as a inner class, move it into its own file,
increasing clarity.

Change-Id: I83d667db353cc01a950ac24da7ee68fc66ceb46d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Split out NoOpDOMStoreThreePhaseCommitCohort

This is an independent class, which has a single instance.

Change-Id: Icc16b6a9b83e5820e9031a2f73666142abe26256
Signed-off-by: Robert Varga <rovarga@cisco.com>

Speed up class check

Class.equals() returns the same, but calling it on a constant very
obvious to JIT that it can inline things.

Change-Id: I9e13a4b55ec194f51c8a39302433e22194a44b64
Signed-off-by: Robert Varga <rovarga@cisco.com>

Speed up enumeration lookups

All enumeration types have a static values() method, which returns an
array of possible values. Use that instead of cascading ifs to get the
appropriate enum value.

Change-Id: Ic91cd04ac3e64e7d8263e6535e354f7ef2d713cf
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use isEmpty() instead of size() == 0

isEmpty() is a simpler check and a bit more explicit.

Change-Id: I336acfba64da299d00ccff5abcd850058c85c9e0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Split out TransactionOperation

This splits the interface out and makes it an abstract class for faster
method dispatch.

Change-Id: Idcdd0f0edcf184abc54b4c3b44cf82d289abe7a7
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix AbstractTransactionContext field visibility

Make fields final and add proper lifecycle, so we do not have to leak
the collection to potential mutators.

Change-Id: Ia7c793475c41d3aadf928804f78c39dda2a6b1ef
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make sure to pull trie library

This library is no longer embedded in yangtools, so we need to pull it
in.

Change-Id: I1a6daeae653508f0b177b6ec70e3f7b23c6748ec
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add ForwardingDOMStoreThreePhaseCommitCohort

This class is useful for decorator pattern, so publish it as a beta SPI.

Change-Id: I69707067da4935d68ca41ed7ad1764d5ddf9812e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move AbstractDOMStoreTransaction into SPI

It is a useful base for DOMStoreTransaction implementations, with some
debugging capabilities. Publish it as a beta SPI.

Change-Id: Iea3551720b2a8df7c268ce003147fc3a734f3871
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove SimpleDataTreeCandidate

yangtools already exposes a utility class which does the same thing, so
let's use DefaultDataTreeCandidate instead.

Change-Id: Id8a6d6c0a5b817e4c3f5cdbb3bfdadcd596c0030
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Adjust Tx rate limiter for unused transactions"

Merge "Export BindingNormalizedNodeSerializer via Config Subsystem."

Merge changes I34538a22,I520b0d83

* changes:
  Refactor ElectionTermImpl into separate class
  Refactor DataPersistenceProviders and RaftActor#persistence

Merge "Increase unit test coverage in SnapshotManager"

Export BindingNormalizedNodeSerializer via Config Subsystem.

Change-Id: I2cabdc89b01739ef2ffdbedeff9b11038e0fa41f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Increase unit test coverage in SnapshotManager

Added more unit test cases to SnapshotManager and added more assertions
to existing tests.

Change-Id: I35446caa38eb25393a592583e8e3218b53b30e6c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "BUG 2743 - Added support for runtime RPC's to netconf mdsal northbound."

Merge "Avoid IllegalArgument on missing source"

Merge "Increase default negotiation timeout for netconf server to 30s"

Merge "Set unable-to-connect(netconf node) if no sources are available"

Merge "BUG-1567 Expose sources for submodules in netconf"

Merge "BUG-2877: Allow hello message with no namespace"

Refactor ReplicatedLogImpl to separate class

To reduce the size of the RaftActor class for improved readability.

Change-Id: I845cfeb4bc48f0c5eb96ba2cc0a925d9ce5fa416
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Make LeaderLocalDelegateFactory a bit more useful

It seems that the two isntantiations use functionality which can be
easily abstracted out, simplifying code.

Change-Id: Id5e7cb71055ef14b2139be2ba74e29f9cd10da60
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "CDS: Move DataChangeListener into a support class"

Merge "BUG-2673: make CDS implement DOMDataTreeChangeListener"

CDS: Move DataChangeListener into a support class

This patch follows up the pattern set by DataTreeChangeListener and
moves the related code out.

Change-Id: Ib945dc308c2264f21c0a7df8152c1f9f8f908a43
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2673: make CDS implement DOMDataTreeChangeListener

This patch adds the base support for registering
DOMDataTreeChangeListeners. These are delivered only on the local node,
as efficient serialization requires interaction with the cluster
topology and shard leadership handoff. That functionality will be
delivered in a follow-up patch.

It also introduces a bit common infrastructure to be used by
DataChangeListener code, as it performs a very similar function.

Change-Id: Ifb91d08857684fb160fd923bc25c294d2fca4bc3
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Tune NotificationRouter wait strategy"

Tune NotificationRouter wait strategy

CPU traces show we are seeing NotificationRouter spin for more work even
when there are no notifications being generated. Change the strategy so
we end up block the thread after a period of spinning/yielding. The
default spin period is set to 1ms, followed by 30ms of yielding,
followed by a block.

This should provide reasonable throughput on notification-heavy
workloads as well as not waste a lot of CPU when there are no
notifications.

Change-Id: Ia1de5ff2616392609a0868b9b8ba3bce15baa105
Signed-off-by: Robert Varga <rovarga@cisco.com>

Adjust Tx rate limiter for unused transactions

I have a test that submits an arbitrary number of config transactions
and I noticed it can take an unusually long time depending on the
initial Tx rate limit setting. With the default setting of 100 it was
very slow even though I could see the adjusted limit increasing where
the elapsed time should've been much shorter.

It turns out the config datastore rate limit wasn't issue. When a
front-end Tx is created, a Tx instance is created in each data store.
The operation Tx's were unused but they artificially limited the config
rate since the operational rate wasn't getting updated, ie it stayed at
100.

I made changes to adjust the rate limit for unused Tx's if there have
been no prior "real" Tx's for that data store. In this case, the
percentile metrics will be 0 so I basically adjust to the current rate
from the other data store. I think this makes sense if we have no other
data to go by.

This required some infa changes so the ActorContext could get access to
the metrics timer for the other data store. Mainly, we need a global
MericsRegistry and JmxReporter across both data stores. I reused the
MetricsReporter class for this to get the static instance (with changes to
support multiple MetricsReporters per domain name). I also added
a static method to get all the data store names.

I found it useful to see the current rate limit via JMX so I added a new
DatastoreInfoMXBean to report it.

Change-Id: I09def94e40a1fe57779e76763e48696140f3a125
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Add dependency on config file to startup archetype"