Merge "Bug 2358: Fixed warnings in Restconf"

Bug 2907 - corrections for upgrade to karaf 3.0.3

Needs patch: https://git.opendaylight.org/gerrit/15391
from odlparent

So far this seems to work fine except for the issues
with aaa-authn's use of sqllite.

If you want to test with integration, you will need patch:
https://git.opendaylight.org/gerrit/15392

Change-Id: I34d9adf31562a0650abba015d19dd8c6958b2bf3
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Split out sal-akka-raft example"

Merge "Bug 2948: Recovered log entries not applied after prior snapshot"

Merge "BUG-2953: do not use a complete InMemoryDataStore"

Message-bus - removed trailing witespaces of new tests for messagebus-impl

Change-Id: I0d3c23504ac2420e43d65a78abe50a761855e661
Signed-off-by: Igor Bartak <ibartak@cisco.com>

Split out sal-akka-raft example

The example should not be included in production code, so split it out
into a separate component.

Change-Id: Iacf4d57d5e0ec85a975f8611dab1524b6556ce39
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Extracted NotificationInvokerImpl to separate class."

Merge "Unify sal-akka-raft version"

Use Collections.emptyList()

This fixes a warning about generic argument mismatch.

Change-Id: If856d00e21d3eaa333f57ada582ec4b3eb7b0d20
Signed-off-by: Robert Varga <rovarga@cisco.com>

Unify sal-akka-raft version

Make sure the artifact is published, so we can reuse the same version.

Change-Id: I1dd1aac1d45e1ef2f27fe232cb59218651463618
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2953: do not use a complete InMemoryDataStore

Aggregator functionality does not require sequencing or listener, but
rather simple manipulation. Instantiate a DataTree instead, simplifying
the class.

Change-Id: I1edc38f0722ddbd1145149bbc5efef5ab41b0146
Signed-off-by: Robert Varga <rovarga@cisco.com>

Extracted NotificationInvokerImpl to separate class.

Change-Id: Ie7494e872200581ce6cf5dcae2088ab2afda3671
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2948: Recovered log entries not applied after prior snapshot

Modified SnapshotManager#capture to obtain and cache the last journal sequence
number. On commit, the cached sequence number is used to delete
messages. This preserves any ApplyJournalEntries and ReplicatedLogEntry
messages that occur after the capture is initiated.

As a result of his change, we also have to obtain the unapplied entries
at the time the snapahot is initiated and not when we persist.
Otherwise, log entries persisted after the capture is initiated and
before it's persisted would be included in the snapshot's unapplied
list. On recovery, both entries would be recovered and added to the in-memory
journal resulting in duplicate entries.

These changes may result in a subsequent modification that is applied
after the snapshot is initiated to be included in the snapshot and also
persisted in the journal or included as unapplied in the snapshot. On
recovery, the modification entry would be redundantly applied. This could
result in data tree errors, eg if the modification was a delete, the
redundant apply would cause an exception due to the non-existent node.
We'll have to live with that - I think the only way to prevent it is if
we create the snapshot synchronously. Note this could also have occurred
before these changes.

Change-Id: I745d94f5417e17627c1c4d53be8d6fdf01587d35
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Bug 2948: Store DataPersistenceProvider in RaftActorContext"

Fix unit test failure in ReplicatedImplLogTest

All verify builds are faling.

Change-Id: Ie92f47dab8eed13284a48c51bb52f3516cfb68a1
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Stop swallowing exceptions in XmlElement optional methods."

Merge "Remove isCloseMsg check for each rpc"

Merge "Add LeadershipChangeCount to ShardStats"

Merge "Add new DeleteEntries class wih long "fromIndex" field"

Merge "Add unit test for ElectionTermImpl"

Bug 2948: Store DataPersistenceProvider in RaftActorContext

This will make the DataPersistenceProvider accessible to callers that
don't have access to the RaftActor. In particular, the SnapshotManager
will need access from the capture method (subsequent patch). The
DataPersistenceProvider can't be passed to capture b/c it is also
called from AbstractLeader which doesn't have access to the
DataPersistenceProvider.

With thus change we no longer have to pass the DataPersistenceProvider to
the persist and commit methods either.

Change-Id: I187901476f2728e4b7f72238e72006c95c188b55
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 2948: Add getLastSequenceNumber method to DataPersistenceProvider

New method that returns the last sequence number from akka's persisted
journal. This will be used in a subsequent patch.

Change-Id: Ie2b77358c57eb3e30fea7af317f277d7e660125e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add LeadershipChangeCount to ShardStats

It's useful to see how many shard leadership changes have occurred so I
added a LeadershipChangeCount stat to the ShardStats mbean. This helps
to determine if spurious leadership changes are occurring. I also added
LastLeadershipChangeTime.

Change-Id: I33ddbcd96d6fa93fbfa9887393a2f5a40027d9f3
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add new DeleteEntries class wih long "fromIndex" field

Added a new DeleteEntries message class that defines the fromIndex field
as a long. The previous DeleteEntries class (inner class of RaftActor)
defined it as an int which could cause rollover. The previous DeleteEntries
must be kept for the time being for backwards compatibility as instances
are persisted.

Change-Id: I774128d9a1af2410a23d2739c37484a508c8a80f
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit test for ElectionTermImpl

Added a unit test class ElectionTermImplTest and removed the equivalent
test case from RaftActorTest.

Change-Id: I1c3f0e59784422777d742ade4c01e1e18914a213
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for ReplicatedLogImpl

Some test cases in RaftActorTest directly test the ReplicatedLogImpl so
they were moved to a new specific test class ReplicatedLogImplTest as
they donlt need the overhead of creating a RaftActor.

Also added more tests and increased coverage in
AbstractReplicatedLogImplTest.

Change-Id: I14e65620d1c8bc89bab055488aed89837ff3f4e7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for RaftActorSnapshotMessageSupport

Change-Id: Ic0f5be5c9741f62bae572953d89ac8800ee371af
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add unit tests for RaftActorRecoverySupport

Also removed redundant recovery tests from RaftActorTest and added a
test that verifies the RaftActor forwards all recovery messages to the
RaftActorRecoverySupport.

I also refactored MockRactorActor and RaftActorTestKit to their own
files to reduce the size of RaftActorTest.

Change-Id: I75d0a1cfe0d0b168e488ce5cecda29dae4fe4321
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "CDS: Split out TransactionFutureCallback"

Merge "Remove deprecation suppression"

Merge "Add generic arguments"

Merge "Update lispflowmapping options in custom.properties"

Merge "Fixes Bug 2935"

Merge changes I114cbac1,I45c2e7cd

* changes:
  Calculate replicated log data size on recovery
  Refactor snapshot message processing to RaftActorSnapshotMessageSupport

Merge "Verify BatchedModifications messages sent vs received"

Merge "Use BatchedModifications message in place of ReadyTransaction message"

CDS: Split out TransactionFutureCallback

This moves the TransactionFutureCallback inner class out of
TransactionProxy, so its interaction with TransactionProxy is defined
using methods.

Change-Id: Ib07bf91e32074b721552c8ef4952bbd40369283a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Verify BatchedModifications messages sent vs received

A previous patch removed the verification of the response
Futures for BatchedModifications messages sent in
TransactionContextImpl. This was used to verify all modifications
were successfully received and processed by the transaction actor.

In lieu of that, this patch adds a totalMessagesSent field to
BatchedModifications and the transaction actor verifies it matches
the total number of messages received and successfully processed.

Change-Id: I247d3a09794142813cdca67b63d77412261a282b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Use BatchedModifications message in place of ReadyTransaction message

For the optimized write transactions (currently disabled), we used the
last BatchedModifications message with the ready flag set to elide
sending the ReadyTransaction message. We can do this in general for both
read-write and write-only.

In ShardWriteTransaction, if the BatchedModifications indicates ready,
it simply calls readyTransaction to send ForwardedReadyTransaction
message to the shard, same as with the ReadyTransacton message.

Instead of returning a BatchedModificationsReply with the cohort path,
I kept the ReadyTransactionReply so the Shard code mostly remains the
same - otherwise we'd have to introduce an equivalent
batched ForwardedReadyTransaction message.

I also made ReadyTransactionReply Externalizable so we don't have to
deal with sending it serialized or not (except for backwards
compatibility - had to keep the protobuff class).

TransactionContextImpl#readyTransaction is now the same as
WriteTransactionContextImpl#readyTransaction so
WriteTransactionContextImpl is no longer needed and was removed.

Change-Id: I5175c77ca08a1877af9593a28e7c4cb46f03287a
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Refactor raft recovery code to a RaftActorRecoverySupport class"

Merge "Remove recorded modification Futures from TransactionContext"

Merge "BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation."

Merge "BUG-1848 : OrderedNormalizedNodeWriter implementation"

Merge "BUG-2953 : Unable to read from datastore root with clustering enabled"

Update lispflowmapping options in custom.properties

One property changed default and a new property was added, see
  https://git.opendaylight.org/gerrit/#/c/15505/
  https://git.opendaylight.org/gerrit/#/c/16982/

Change-Id: Icf91d2ddcc63ee13d2e23ad9a5673ca1bc1efb93
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BUG-2953 : Unable to read from datastore root with clustering enabled

This patch adds a NormalizedNodeAggregator which makes it possible to read
from the root of the datastore tree.

Writing, merging and checking for the existence of the root path is not
supported yet but we could in a future patches if needed.

Change-Id: I892bdc733ec316f41926d8bbccdbbdc6c31a5c25
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2358: Fixed warnings in Restconf

Removed dead-code and fixed generics and casts
related warnings in restconf codebase.

Change-Id: I5cfad51fbf8856685259bcedd77ebe6d7527c899
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Stop swallowing exceptions in XmlElement optional methods.

Performance increase.

Change-Id: I41629b5ea356be697629eb7f9238344f87a62a5e
Signed-off-by: Tomas Cere <tcere@cisco.com>

Remove deprecation suppression

Suppressed deprecation leads to false sense of completeness. This patch
removes suppression in tests, so we see how muchh of the code relies on
deprecated APIs.

Change-Id: I01d56f3ef4fe385806a8fbebdbe96fd6af63828c
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1848 : Use OrderedNormalizedNodeWriter in rpc transformation.

Makes the rpc processing in netconf northbound and sal-netconf-connector use
the new ordered writer.

Change-Id: I1367ba07069fa5b6525358f265fe664d00d71500
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-1848 : OrderedNormalizedNodeWriter implementation

Writes nodes in the order defined in yang files.

Change-Id: I72b2a867ad47b2c9de0444a8a0a2f279a8360021
Signed-off-by: Tomas Cere <tcere@cisco.com>

Remove recorded modification Futures from TransactionContext

This removes the recorded batched modification message Futures
from TransactionContext to avoid the overhead of waiting for
the Futures to complete on ready and transforming them. The
Futures were recorded to ensure all modification messages
were successfully processed before committing the transaction
but we can do that by including the count of modification
messages sent in the ready message for the transaction actor
to verify (later patch).

Change-Id: I8d6ad80cac3e8e13fde48fbf5c57a476cca003dd
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG-2967: Expose before-state from DataObjectModification

Not exposing the before-state requires users to track this state
themselves. The problem is most visible in the delete case, if
the user needs some attributes to reconstruct keys to other structures
in order to perform cleanup -- they would effectively have to retain
a InstanceIdentifier->data map to efficiently perform deletes.

Rather than forcing everyone to duplicate data, expose the before-state,
as best available. Note that applications still need to deal with the
fact that the before-state in delete can be null -- at least by issuing
a warning to the operator.

Change-Id: I72c886f384254a6808159eaee612b07083073492
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix DataTreeIdentifier losing type

DataTreeIdentifier needs to retain the type of encapsulated
InstanceIdentifier, otherwise the users cannot really use it (or have to
suppress warnings/cast).

Change-Id: Icc7214923531f9ffeafe55b12a8ad6813d431573
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove non-existant features-flow from dependencies

Change-Id: I9018abd2e4c185cdfed92b5c7040360cf03cb394
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "BUG 2799: SPI for EventSources"

Add generic arguments

This patch silences a few eclipse warnings about use of generic types
without proper arguments.

Change-Id: Ia260593e7b5b5fa4cb49894752a286c47aa7c049
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fixed NPE when RuntimeRpc could not find module in schemaContext."

Merge "BUG 2889 : migration of netconf-cli to NormalizedNode api's"

Merge "Add DOMDataTreeIdentifier.toString()"

Remove isCloseMsg check for each rpc

Performance improvement

The check re-read the message and checked if its close-session rpc.
DelayedClose method was added to netconf server session that replaces the
isCloseSession method with a simple bollean check.

Change-Id: Ic4f6d473b948bd4f63771748dac793ba43693828
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Calculate replicated log data size on recovery

We maintain the replicated log data size at runtme but we should also
calculate the data size for recovered entries on startup.

I changed the AbstractReplicatedLogImpl#append method to also add to the
dataSize. Previously dataSize was adjusted in ReplicatedLogImpl#appendAndPersist
after it was persisted. I'm not sure why it was done this way but if
persistence failed then the entry would've been added to the in-memory
log without increasing the dataSize. This seems inconsistent - if we add
to the log we should always increase the dataSize.

The same with removing entries from the log - ReplicatedLogImpl re-calculated
the dataSize after it was persisted. So I changed removeFrom to adjust
dataSize and changed ReplicatedLogImpl#removeFromAndPersist to call
AbstractReplicatedLogImpl#removeFrom (code was duplicated).

To avoid out-of-band changes to dataSize I made it private. Same with
journal. I think this is safer - these should be owned by
AbstractReplicatedLogImpl and derived classes shouldn't modify these
directly.

Change-Id: I114cbac1d6a450bc0a1c8c6ee60042ad28a89bf4
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Refactor snapshot message processing to RaftActorSnapshotMessageSupport

Refactored the snapshot message handling to a new class
RaftActorSnapshotMessageSupport.  To handle the callbacks to the
RaftActor, the RaftAciorRecoverySupport takes a RaftActorSnapshotCohort interface.
The abstract on* methods in RaftActor are now defined in the
RaftActorSnapshotCohort interface. The derived RaftActor class
implements an abstract method to return a RaftActorSnapshotCohort
instance.

Shard returns an instance of a new class ShardSnapshotCohort. For
createSnapshot, it needs to create a Shard transaction actor so I
refactored out a ShardTransactionActorFactory from Shard which is
also used for transaction create messages.

The ShardTransaction constructor previously took a SchemaContext is no
longer used. Rather than storing the SchemaContext in
ShardTransactionActorFactory and keeoing it up to date, I removed
SchemaContext from ShardTransaction which cascaded changes down to the
derived actor classes and unit tests.

Change-Id: I45c2e7cd31b07fec10585b8e5e0495b96842d37c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Refactor raft recovery code to a RaftActorRecoverySupport class

Moved the RaftActor recovery message handling to a new class
RaftActorRecoverySupport. To handle the callbacks to the RaftActor,
the RaftActorRecoverySupport takes a RaftActorRecoveryCohort interface.
The abstract on* methods in RaftActor are now defined in the
RaftActorRecoveryCohort interface. The derived RaftActor class
implements an abstract method to return a RaftActorRecoveryCohort
instance. Shard returns a ShardRecoveryCoordinator instance (modified to
implement RaftActorRecoveryCohort).

Change-Id: I07a068aad277b6f677d7703c4e10686efe0cf0cc
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Bug 2933: BidningDOMDataBrokerAdaper implements DataTreeChangeService"

Merge "Bug 2933: Make DataTreeModification and Listeners type-safe"

Merge "Bug 2933: Implemented  DataTreeChangeService"

Merge "Make TransactionProxyCleanupPhantomReference self-contained"

Merge "CDS: introduce AbstractThreePhaseCommitCohort"

Merge "CDS: fix TransactionProxy close()/ready() interaction"

Merge "Bug 2942: odl-mdsal-apidocs feature is not protected through AAA"

Make TransactionProxyCleanupPhantomReference self-contained

This tracker can be broken out cleanly, if we clean up interactions with
TransactionProxy and TransactionFutureCallback. That allows us to split
the class out, making it self-contained. Leaking fields from
TransactionProxy will be fixed up in a follow-up patch.

Change-Id: I14dbb44a2c94e758ad492222eaa9d038f5b6b858
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: introduce AbstractThreePhaseCommitCohort

This is a rework of ChainedTransactionProxy/TransactionProxy
interactions. Rather than invoking a callback from TransactionProxy to
ChainedTransactionProxy, wrap the ready() call in
ChainedTransactionProxy and extract the required information from the
returned cohort object. Also make sure we preallocate the cohort future
collection.

Change-Id: I539ffb085800e4d62f1eab5bc8dae284e73c6aab
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: fix TransactionProxy close()/ready() interaction

TransactionProxy is vulnerable to wrong use of close() after ready().
Fix this up so we detect this condition and make it explicit what
happens when.

Change-Id: Id966b57ce53cdc92bc3e53cb0d38b77303ba1c54
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed NPE when RuntimeRpc could not find module in schemaContext.

Change-Id: I40c72d413f23753e95fd5f0bb42cc78046a6494f
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2933: BidningDOMDataBrokerAdaper implements DataTreeChangeService

Change-Id: Ia28d8452a6c203c88c7d1e18208362cf779a7b20
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2933: Make DataTreeModification and Listeners type-safe

Introduced generic to DataTreeModification, DataTreeChangeListener
and DataTreeIdentifier which captures target type from InstanceIdentifier
so users does not have to deal with casts by themselves.

Added utility walker methods to DataObjectModification, which
are possible thanks to DataTreeModification capturing target type.

Change-Id: Ia3566ae3dbe98fb118b49cc8ac8e1925fc111d8b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 2933: Implemented  DataTreeChangeService

DataTreeChangeService implementation is based on DOM Data Tree
change service and serves only as an adapter, which lazily
translates events and data in events as they are accessed
by user code.

This is rather different behaviour from DataChangeListener
where API contract required semi-eager deserialization
of supplied instance identifier.

Change-Id: If4954e966acc21ffec36e8cc37f95717492a1675
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Refactor ReplicatedLogImpl to separate class"

Merge "Bug 2588: Fix read transaction failures"

Merge "Fix bug  bug 2651 - XSQL does not pickup augmentation data "

Bug 2903: Turning on clustering by default

See Weather event:
https://wiki.opendaylight.org/view/Weather#Clustered_Data_Store_Switch_over

Change-Id: I36b64d7eb657641bacfe2fd6e53a595baf2ad4a0
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix bug  bug 2651 - XSQL does not pickup augmentation data

Change-Id: I350de6ccf5efd8e427c5823a0f03c91e0df33f19
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Bug 2942: odl-mdsal-apidocs feature is not protected through AAA

This change enforces AAA on the URL endpoints supported by odl-mdsal-apidocs.
The security model prohibits any access to the controller without
authentication.  This change mandates AAA for odl-mdsal-apidocs URLs.

Change-Id: I74226e702568077d769353d5fe49fe21cd187266
Signed-off-by: Ryan Goulding <ryandgoulding@gmail.com>

Add DOMDataTreeIdentifier.toString()

A proper toString() method is needed for debugging.

Change-Id: Iab13a38f6134aafa982fa5a9127fc5ccdd179416
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Remove SimpleDataTreeCandidate"

Fixes Bug 2935

Details for the issue is documented here:
https://bugs.opendaylight.org/show_bug.cgi?id=2935

This patch updates mapException implementation to
appropriately handle exceptions.

Change-Id: I104ea62453517e2c6a74955f6b3cce342274a9e5
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Bug 2588: Fix read transaction failures

TransactionContextImpl#read now sends the ReadData message immediately
instead of waiting for the previous modification operation Futures to
complete. This ensures the read will be performed by the actor before
the transaction is readied. Also did the same for dataExists.

Change-Id: I9c56b32162a957e27f9ff01485686e90ebec77a7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG 2799: SPI for EventSources

Introduced SPI for Event Sources

 - created separate messagebus-spi module
 - moved Netconf Event Source implementation
   to separate package

Change-Id: I13d55f803a80c655c71137414265041d99b11aa0
Signed-off-by: Marian Adamjak <madamjak@cisco.com>

Merge "Split out ChainedTransactionProxy"

Merge "Split out NoOpDOMStoreThreePhaseCommitCohort"

Merge "Speed up class check"

Merge "Speed up enumeration lookups"

Merge "Add ForwardingDOMStoreThreePhaseCommitCohort"

Split out ChainedTransactionProxy

Rather than having it as a inner class, move it into its own file,
increasing clarity.

Change-Id: I83d667db353cc01a950ac24da7ee68fc66ceb46d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Split out NoOpDOMStoreThreePhaseCommitCohort

This is an independent class, which has a single instance.

Change-Id: Icc16b6a9b83e5820e9031a2f73666142abe26256
Signed-off-by: Robert Varga <rovarga@cisco.com>

Speed up class check

Class.equals() returns the same, but calling it on a constant very
obvious to JIT that it can inline things.

Change-Id: I9e13a4b55ec194f51c8a39302433e22194a44b64
Signed-off-by: Robert Varga <rovarga@cisco.com>

Speed up enumeration lookups

All enumeration types have a static values() method, which returns an
array of possible values. Use that instead of cascading ifs to get the
appropriate enum value.

Change-Id: Ic91cd04ac3e64e7d8263e6535e354f7ef2d713cf
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use isEmpty() instead of size() == 0

isEmpty() is a simpler check and a bit more explicit.

Change-Id: I336acfba64da299d00ccff5abcd850058c85c9e0
Signed-off-by: Robert Varga <rovarga@cisco.com>