Cleanup sal-connector-api/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: Ida0cb93cd4e8c4686dfe3cbeaa461854c09d0f59
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup md-sal-config/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I4e405690483186536b5a5d1e3b616c5e60c29964
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-binding-config/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I4f798f19aaa9fef02e32f7eee742f56102353eb0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-dom-config/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I15135d18e18ec39fefeb4d9d197f9d72fcba93c6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-binding-util/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I2154c0182f454c6f19d36a4942ba9eed26ab0ba6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-binding-broker/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I31567e831a0b7025ab2238d43f125286d19d7f7f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-binding-api/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I58ff436710b36f06ce8a65141665845deff11e7e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-schema-service/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: Ifa4de2f09dbf9bf718da86b1de802765cda7cf7b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-dom-spi/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I6a65bd147f0268668d7ffc0ab0b832a6c4d4e14b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7521: Add custom local snapshot store

Akka's LocalSnapshotStore serializes to a byte[] before persisting
to the file so we need to write our LocalSnapshotStore that serializes
directly to the file. I patterned the code after akka's LocalSnapshotStore,
mainly translated from scala.

Akka's LocalSnapshotStore wraps the payload data in a Snapshot class
and uses the SnapshotSerializer which locates the serializer for the payload
class and writes some header data before delegating to the payload
serializer. To handle backwards compatibility for a snapshot previously
serialized with akka's format, java de-serialization will detect and fail
with an invalid stream header, in which case we fall back and try
de-serialization via the SnapshotSerializer.

Akka has a standard test suite in SnapshotStoreSpec for testing custom
snapshot store plugins. I derived a LocalSnapshotStoreSpecTest class
that does the setup and teardown with SnapshotStoreSpec doing the rest.
SnapshotStoreSpec uses ScalaTest stuff so need to be run with scala's
JUnitRunner.

I also added a regular LocalSnapshotStoreTest class to cover a few cases
that SnapshotStoreSpec doesn't.

Change-Id: I1ca11682f37aa39d60d3ce57c874c299627e8ca6
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Cleanup sal-dom-api/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I3951d52d2ca0d5ceeff75c90e88b7df7b67467c5
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-common-util/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: Idf48e57dfbfa10098a56406a5f04119791227107
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup sal-common-impl/pom.xml

Restructuring to not inherit from aggregator pom.

Change-Id: I41041a301b50fadad816116f63afced39ffc73b5
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add odlparent-lite to mdsal-artifacts/pom.xml

All our poms should be inheriting from odlparent, make sure this
is the case for artifacts, too.

Change-Id: I5f8c01469a9e08c9d61507596585a8a4f842a5f0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Replace dlux with dluxapps features

Renaming is due to DLUX project split.
Also, replacing yangui feature with yangman, new, redesigned and restyled
application.

https://wiki.opendaylight.org/view/Weather#Rename_some_odl-dlux-.2A_features_to_odl-dluxapps-.2A

Change-Id: I8b75df0885d4c7453bd46c127ebcd9a63670e03a
Signed-off-by: Daniel Malachovsky <dmalacho@cisco.com>

Fix NPE in YangTextSchemaSourceSerializationProxy#getRepresentation

According to its general contract, when revision is not found,
SourceIdentifier#getRevision method returns null. Wrap revision in
Optional#fromNullable to avoid possible NPE.

Change-Id: I78f544374f179c9486cc8dd09cbcf1eea379e1e9
Signed-off-by: Jakub Morvay <jmorvay@cisco.com>

BUG 7796: Implement agent RPCs for global RPC testing

This implements the get-constant and it's lifecycle
control rpc's from the lowlevel mdsal test model.

Change-Id: I2da89b73d289b8fe6bf95aeaba34e7fb50032f7e
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix parent declaration

bundle-parent is from mdsal project, it should have an empty
relativePath declartion.

Change-Id: I3d460a5acca297fce1089088781dae9057038542
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-5280: add {Create,Close,Purge}LocalHistoryPayload

This patch introduces three new payloads which deal with replicating
local histories to followers. These are persisted whenever a transaction
chain (e.g. local history) is created or closed cleanly on the shard
leader. Followers can use these to track transaction chains and pick up
processing in case of a leader failover.

Change-Id: I3fe5ac153c88f23f9b871bd23cb04a8e2410af91
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-5280: handle TransactionPurgeRequest replay

We need to handle purging requests on reconnect, too.

Change-Id: I02acaf2dd7d9209f48148f76b3ca3aa4bbc64b5e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7840: Remove version in BucketStoreActor#removeBucket()

Change-Id: Ic5d2c04260a0a53e72d9569eee18c1fba50c367b
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Remove unneeded SuppressWarnings

These are not needed and in fact generate Eclipse warnings
themselves.

Change-Id: I4105c4a8d0fd0094be283a88a92a00415fa54add
Signed-off-by: Robert Varga <rovarga@cisco.com>

Yang models for system testing low level MD-SAL operations

Not every operation is easily available from Restconf.
This defines and agent application to control the tested operations from Java.

There are FIXMEs and TODOs left, to be fixed later,
probably together with Java implementation.
Merging this early will allow Changes for Bugs 7796-7807
to be implemented independently (as opposed to forming a single chain).

Change-Id: Icb9616c156f56f8706a24abe31e5ac097a65cf73
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Prepare config-it-base for Karaf 4

Downstreams using mdsal-it-parent as their integration test parent will
not be able to migrate their IT to a Karaf 4 based distribution without
this change.

See also https://git.opendaylight.org/gerrit/#/c/51450/

Change-Id: I572151bcf16fb9864f59dd446952ab13a12b295f
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Fix Javadoc

The argument reference was not updated, fix that.

Change-Id: Ib35ed59105c7090291c733725c8a85d384a1a288
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7521: Convert byte[] to ShardManagerSnapshot in DatastoreSnapshot

Created a new ShardManagerSnapshot class in the persisted package
which is now stored in the DatastoreSnapshot in lieu of a
serialized byte[]. The previous ShardManagerSnapshot class was
deprecated and readResolves to the new class.

Change-Id: I1ae363e9711cf3bef6b6dd6257fa56bd41465bf3
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 7521: Convert DatastoreSnapshot.ShardSnapshot to store Snapshot

Converted the new DatastoreSnapshot.ShardSnapshot class to store a
Snapshot instance instead of a serialized byte[] so the Snapshot
can be serialized directly to the file when saved.

The prior DatastoreSnapshotList was deprecated and readResolves to
the new DatastoreSnapshotList.

Change-Id: I656eca93bfed07ae99055c67cc3f195b25ea2b11
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 7521: Move DatastoreSnapshotList et al to persisted package

The serialized format of DatastoreSnapshotList et al will be changing
so new classes were added to the persisted package in preparation.
The current classes are deprecated and will readResolve to the new
classes.

Change-Id: Ib6aa600a71f52253b93ab0e4a82f6f56baafbfd9
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 7521: Add FileBackedOutputStream and use for snapshot chunking

Added a FileBackedOutputStream class, similar to the one in guava except:
  - allows for the temp dir to be confgured
  - keeps track of the count of bytes written for efficiency
  - uses a PhantomReference to delete the temp file instead of using finalize.

FileBackedOutputStream is now used in chunking the snapshop on the leader
side and re-assembling on the follower side.

Change-Id: Ieea4bc1388ffe18d6803783d2bb714089716b7b1
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG-5280: emit DestroyLocalHistory and PurgeLocalHistory requests

In order to properly prune local histories from the backend we need
to issue destroy/purge requests as the history is finalized.

Change-Id: I303937ba7afa594e83c4a944d16886ee98e3036c
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-5280: add a transction purge step

Backend needs to be informed about the client completing the transaction,
so it can remove any state trakcing the result of the transaction.

Since the frontend has no remaining state to transfer, there is no legal
way for the frontend to ever reference it (aside the purge request itself),
which always succeeds.

Change-Id: Ia957f0879114eede394b76184620a38cd5967955
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7746: Fix intermittent EOS test failure and synchronization

Modified the EntityOwnershipListenerSupport class to be thread-safe
utilizing a ReadWriteLock to guard access to the listenerActorMap
and entityTypeListenerMap. While updates are only done by the
EntityOwnershipShard and thus aren't concurrent, read access occurs
concurrently via the EntityOwnershipChangeListener which runs in its
own actor sandbox. I also factored out an
EntityOwnershipChangePublisher interface with the read-only access
methods used by EntityOwnershipChangeListener to make it clear
that EntityOwnershipShard is the only mutator.

The testFunctionalityWithThreeNodes case failed intermittently b/c
it's possible for the follower2MockListener to get notified of a
pre-existing entity on registration twice if the prior owner change
is replicated and the EntityOwnershipChangeListener triggers concurrently
with the registration and the timing is just right. I added verification
of ownership sync to follower2 pior to registration to make it
deterministic and avoid the sporadic timing failures.

Change-Id: Icc197d0c23135ca69b56eac1702f249e8e60e66e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Fix intermittent failure in testCloseCandidateRegistrationInQuickSuccession

java.lang.IllegalStateException: Optional.get() cannot be called on an absent value
  at com.google.common.base.Absent.get(Absent.java:47)
  at org.opendaylight.controller.cluster.datastore.entityownership.DistributedEntityOwnershipIntegrationTest.testCloseCandidateRegistrationInQuickSuccession(DistributedEntityOwnershipIntegrationTest.java:512)

Code:

if (!leaderEntityOwnershipService.getOwnershipState(ENTITY1).isPresent()
  || leaderEntityOwnershipService.getOwnershipState(ENTITY1).get() ==
                                               EntityOwnershipState.NO_OWNER

The code inlines calls to getOwnershipState so it's possible the first call
returns a present Optional and the second call returns absent which leads to
the failure. It's safer to capture the Optional in a lcoal var.

Change-Id: I9baa120efc9924dc820435dd63217b4598731a13
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Compile-time dependencies matter

Not sure whether this is a proper fix.
This is an analogy of https://git.opendaylight.org/gerrit/#/c/51921/1

Change-Id: I4173cb756e40c1111e8fc29c0f370f8bdef1652b
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Cleanup warnings around methods being potentially static

These are private methods and they do not touch state, hence they
can be made static.

Change-Id: I1d9adf70d9121e01b2ac8e03a1198c1ba73716fb
Signed-off-by: Robert Varga <rovarga@cisco.com>

Clean MockClusterWrapper up

- use immutable set builder directly
- do not use deprecated UniqueAddress constructor

Change-Id: I6905f1feb46302e36a246938a7e0189b82025ede
Signed-off-by: Robert Varga <rovarga@cisco.com>

sal-distributed-datastore Checkstyle fixes (for next version)

Even though sal-distributed-datastore currentla already has CS
enforcement, these violations don't show up in the build, but I see them
as red in Eclipse; I think this must be becaues the CS version used in
the Eclipse plugin-in is more recent than the CS used in odlparent, and
one of the existing activated checks got a little more stringent.

Cleaning this up thus helps both to (a) not have read in Eclipse; (b)
pave the way to upgrade Checkstyle in odlparent some day.

Change-Id: Ib5649a95a1b26b5791f2c3f3f83924b569f965a2
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Usage of Collections.unmodifiableCollection is unsafe

This is a follow-up to https://git.opendaylight.org/gerrit/#/c/51583/
wrt a review comment questioning why I returned a new ArrayList instead
of returning the Set directly. One reason was to avoid mutation of the
internal set by the caller but also to capture the state of the set at
that point in time and avoid concurrent mods which may not be safe.
Where a concurrent set is used, it would be thread-safe to return the
set directly but the set may by modified as the caller is iterating it
which may not be desired. For the other class whose set is a keySet
from a non-threadsafe Map, the caller could get a ConcurrentMod
exception while iterating. Based on the review, I changed the call
sites to return a Collections.unmodifiableCollection but this is also
incorrect and is susceptible to the same issues as that impl reads-thru
to the underlying collection. Therefore I changed the call sites back
to returning a new ArrayList.

Change-Id: I504f38c5bfc4c707180ac301eb10acd0ac24f872
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add OnDemandShardState to report additional Shard state

Extended the OnDemandRaftState with OnDemandShardState to include
additional Shard state, including DTCL, DCL, and commit cohort actors.
This will enable us to report thus info from the JMX bean as it's useful
for debugging to have visibility into what listeners and cohorts
are registered.

The actors now also store the registered path. Both the instance and path
will be queried for debugging.

Change-Id: Iaa6c27c9aba3b5c0223199e6a3fc21bc54da95ba
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add more info logging in sal-akka-raft

Added more info logging for abnormal and infrequent code paths in
the raft behaviors to help in troubleshooting as these paths are
sometimes involved when something goes wrong.

Change-Id: I3017c81c2ef7100ca8a9477285ca637355c05e87
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Ignore pax-exam's test-dependencies feature

pax-exam wraps the test dependencies in a feature, which certainly
should not hold anything of interest. Ignore it.

Change-Id: I952fe65172277f3f156727b3302478db8a3533cb
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add DOMDataTreeCommitCohort example for the cars model

Change-Id: If15c748ceb718d9902ee6c0d5d5a7337a4cbd211
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

CDS: updateMinReplicaCount on RemoveServer

When a replica is removed, we need to call updateMinReplicaCount
so the removed replica is no longer counted for consensus. Updated
the testRemoveServer case to cover it.

Change-Id: Id4b71381f7c32155c641e461832cba680c7062a6
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Remove @VisibleForTesting annotation

The merge job is failing on it for some reason and it is not
really needed, as the enclosing class already carries it.

Remove it  to get merge back online.

Change-Id: I6952c89efb862d52fbacfd6a3a54a5cce555bbe4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Clarify config pusher message

Reword the message logged so it is more obvious what is going
on. Also lower it from warning to info and perform a general code
cleanup.

Change-Id: I37035e8df15b10f40568c3e894ffe2875b935d95
Signed-off-by: Robert Varga <rovarga@cisco.com>

Ignore feature conditions

Features whose name contains "-condition-" encode feature conditions;
for example, kar-condition-shell is the shell condition on the kar
feature. These features should never be processed by
FeatureConfigPusher.

Change-Id: Ic2ce2312fb347792d269d43d7bcb5f115905380f
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Checkstyle: fix ParenPad violations

Enforcing no space(s) after a left parenthesis and before a right
parenthesis is a proposed change [0] which can only be merged when all
violations are fixed in projects enforcing checkstyle. This patch fixes
those violations.

[0] https://git.opendaylight.org/gerrit/#/c/51316/

Change-Id: Id3e4853bf1cee789d584d4fb528f5415084e26ab
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

BUG-7407: Introduce API to request shard leader movement

There are some applications which would really want to control shard
leader location, so their producers talk to the local leader and do
not cross boundaries if not necessary.

Change-Id: I6c789d91b78d42f325890e36725d03892ae4a23f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove reliance on org.opendaylight.controller.sal.core.api.Broker

Broker-related interfaces are no longer used, as we are activating
via blueprint. Remove references to them.

Change-Id: I67552c986c31e0214cb35d8fc2b60cca536ecbb5
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove unneeded SchemaService reference

sal-remoterpc-connector no longer need SchemaService, hence do not
look it up.

Change-Id: I1493ca1bbe769ad1cff183cf4ff2263bd6aaef77
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7594: Rework sal-remoterpc-connector messages

This breaks compatibility by using DOMRpcIdentifier directly
in transferred messages. Since we are breaking compatibility, we can
also rework the messages and their locations, limiting their visiblity
and features (such as Serializable).

RoutingTable no longer uses RouteIdentifier, but rather relies
on DOMRpcIdentifier, which is serialized using
NormalizedNodeDataInput/Output primitives, so the serialization
format is not dependent on the package DOMRpcIdentifier comes from
and can be compatibly switched to mdsal-provided one.

Change-Id: Idf083f9d288be9c9684c7e8e8bd99fbaff0ad4ce
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 7521: Convert install snapshot chunking to use streams

On the leader side, converted LeaderInstallSnapshotState to use
the InputStream from the ByteSource instead of a ByteString to
chunk the data.

On the follower side, converted the SnapshotTracker, which is used
to reassemble the install snapshot chunks, to write the chunks to
an OutputStream instead of a ByteString. Currently a
ByteArrayOutputStream is used by will be changed to a
FileBackedOutputStream in a subsequent patch.

Change-Id: I7a16ad5d44a530e260aa332d91145fbc3fb95f5f
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 7521: Convert Snapshot to store a State instance

Created a new Snapshot class that stores the state as a Serializable
State instance instead of a byte[] to lay the groundwork for handling
snapshots > 2G. In this manner, State implementations can serialize
their data directly to the ObjectOutputStream.

The previous Snapshot class was deprecated but, unfortunately, it
can't simply "read resolve" to the new class on de-serialization
as the deserialization code doesn't know how to convert the data
from byte[] to a State instance. Therefore a new method,
deserializePreCarbonSnapshot, was added to RaftActorRecoveryCohort.

The introduction of the State interface necessitated changes throughout
the snapshot capture and snapshot recovery code paths. The Shard
implementations were also changed accordingly.

For follower snapshot install, an optional OutputStream is also passed
to createSnapshot. The new API contract is: if the OutputStream is present,
the implementation must serialize its state to the OutputStream and return
the stream instance in the CaptureSnapshotReply along with the snapshot
State instance. The snapshot State is serialized directly to the snapshot
store while the OutputStream is used to send the state data to follower(s)
in chunks. The deserializeSnapshot method is used to convert the serialized
data back to a State instance on the follower end. The serialization for
snapshot install is passed off so the cost of serialization is not charged
to the raft actor's thread.

The OutputStream is converted to a ByteSource when passed to AbstractLeader.
AbstractLeader still converts it to a byte[] but will be changed to use
the ByteSource's InputStream to chunk the data in a subsequent patch.

Also the SnapshotManager currently passes a ByteArrayOutputStream to
createSnapshot but this will be changed to a FileBackedOutputStream in a
subsequent patch.

Change-Id: I2ea30870b54478d7ef5669335ca4b444539f8d56
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG-7556: update version tracking

This patch adds better version tracking, so it does not rely
on calendar time, but rather is monotonically increasing.

The 64bit version field is logically split into an incarnation
number (31 bits) and a version number (32 bits).

Change-Id: Ie0e1f4089cc1ee582037982d9837490348158975
Signed-off-by: Robert Varga <rovarga@cisco.com>

AbstractConcurrentDataBrokerTest @deprecate-s the AbstractDataBrokerTest

This is take #2 on a similar earlier attempt which made the same change
directly in AbstractDataBrokerTest, which broke some downstrean tests,
which were BADLY WRITTEN (!) because the assumed single threaded direct
execution (which DataBroker does not guarantee).

https://bugs.opendaylight.org/show_bug.cgi?id=7538 has full background

Bug: 7538
Change-Id: I05ac3525bdcf1ab9c99dfa15b98e090848d0fddc
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

odl-config-persister feature clean-up

This removes all the bundles which are pulled in transitively. The
resulting feature file is identical, but the POM only declares the
bundles we really care about (which ones are they?).

This is probably controversial, and is one possible variant of three
(see the other patches in the same topic).

Change-Id: Ib57241d792cb494f2a3e967bc76e23cdb4fa9bec
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Re-enable transitive dependency search

This is no longer needed with odlparent patches.

Change-Id: I960483a9f097b111f911d1f9465555638f0e9fd5
Signed-off-by: Robert Varga <rovarga@cisco.com>

clustering-test-app: Remove apparently un-used (weird) Tycho dependency

I was very surprised to notice something related my old friend Tycho
(who I know well, from a past life..) in c/51447 when glancing over that
change, and wondered what it was used for there, in a particularly
strange fashion... FYI Tycho is, normally, a Maven plugin, used for
among other thing dependency resolution of OSGi bundles from p2
repositories; I've never seen it used as a normal direct dependency, and
can't imagine what it would be good for in normal projects.  So I look
more at this project, and found that Tycho is used for.. nothing at all?
Remove!

Change-Id: I8863406ea5e629e2fbaef207b0cd4357d6875a7a
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Do not scan transitive dependencies

Doing so pulls in aries, which is provided by karaf, causing reactivation
of the platform, breaking pax-exam tests. This fixes the issue partially,
as blueprint is not being directly reactivated.

This is true for odl-mdsal-broker-local and odl-mdsal-xsql. Also the sample
test app should not be pulling tycho into an OSGi container, make sure the
dependency is only for test.

Change-Id: I5b08e19e39347fe6e5c03bf6dbe1cb05e36274e3
Signed-off-by: Robert Varga <rovarga@cisco.com>

Revert "Support multithreading DataBrokerTestCustomizer (AbstractDataBrokerTest)"

This reverts commit 930817d4f1e01c7e08fd7e8ad79bf781cb53034a of Bug 7538.

Bug:7538
Change-Id: Ie26f217a2f64cb4eea2d64f2280f6d9773713b21
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Remove bad manifestLocation from maven-bundle-plugin

Change-Id: I7741c11a21393510af4dcb452e721abd236a9c2c
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Support multithreading DataBrokerTestCustomizer (AbstractDataBrokerTest)

https://bugs.opendaylight.org/show_bug.cgi?id=7538 has full background

Bug: 7538
Change-Id: Ic3f2169e18928e3010e45bddb43186cc53d897f4
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

BUG-7608: activate action-service element

With downstream users fixed up, we can activate the action-service
element to actually require a promise of instantiation of actions.

Change-Id: I3f87acfd713936a4877822b2f62b5a7d2be46107
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add Karaf 4 features

This moves the Karaf 3 features and adds matching Karaf 4 features for
all the controller features.

Blueprint is upgraded to match the version used in Karaf 4.

Bug: 7526
Change-Id: Ie41cd727942ad2083ef0ca33e03f0d08003c546d
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Fix an eclipse warning

Eclipse warns about duplicate groupId, as it is inherited
from parent. Fix that by removing it.

Change-Id: I6d99e1d0a547da7077216c83f6d096eb2a2fb5ee
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix breakage introduced by logback bump

This is an ugly fix to adjust for changes in logmack 1.1.9.

Change-Id: I424687fe757e5d7cb4525b5954d283f762a0d011
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove unneded RoutingTable time tracking

Since we no longer use the time stored in internal entries,
we can use a Set instead of a Map. Adjust internal structure
of RoutingTable and tighten its exported methods.

Change-Id: Ifa2ed53ffc9d05c658927167a4e7dd331c3c2006
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove Copier interface

This is an abstraction which is completely unneeded
at the Bucket level, as BucketData is expected to be immutable
and it is only mutated in RpcRegistry, which has a package-private
relationship with RoutingTable.

Rather than forcing an interface to be implemented and not used,
remove Copier and let RpcRegistry deal with RoutingTable however
seewit sees fit.

Change-Id: Id96a113638d0240c2f0aa9321c5fc4b4e2384a79
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7573: add BucketStore source monitoring

Add BucketData interface capture, which exposes an optional ActorRef.
If this reference is given for a Bucket's data, the bucket will be tied
to the source actor's lifecycle via DeathWatch.

If such an actor is not provided, only basic cluster-level monitoring
will be done.

Change-Id: I794bbf9b360d0c3bf68b29e6869a4f5c7c0d2470
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-3128: cache ActorSelections

This is a performance optimization. Since the ActorSelection
for a remote node is an invariant, keep a handy cache of
these objects so we do not have to construct them on every
GossipTick.

Change-Id: I820c1d9be5c198a6cac7932b0de0e0776b35b0a5
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-3128: rework sal-remoterpc-connector

This patch reworks the implementation to take advantage
of the services provided by DOMRpcService, notifying us
of locally-available services.

Previously we have registered all routed RPCs known in
the SchemaContext for global routing context, which has
causes lookups for routed RPCs not otherwise bound to
call back to the remote connector, which then performed
a router lookup.

This approach is slow as each RPC invocation incurs
an additional round-trip to the RpcRegistry to lookup
the appropriate router before the request is sent to it.
It also does not work for global RPCs, because they
only ever have a global context -- hence the routing
decision needs to be made solely in DOMRpcService.

With this patch we maintain a single higher-cost
implementation registered towards each remote node,
handling RPCs discovered via gossiping RoutingTables.
The implementation dispatches requests directly to that
node's RpcInvoker (formerly known as RpcBroker). That
way DOMRpcService will perform internal routing based
on cost and invoke our service only if there are no
local implementations registered.

RpcRegistry no longer performs delayed router discovery
and instead dispatches RoutingTable bucket updates to
a new actor, RpcRegistrator, whose sole job is to maintain
registrations of RemoteRpcImplementation instances for
each remote node with DOMRpcProviderService.

Because of DOMRpcService's ability to filter registration
notifications, our RpcListener will never be notified
of our registrations, which precludes routing loops. We
can therefore remote RemoteRpcInput, whose sole purpose
was to act as a loop detector.

Futher cleanup is done to RpcManager and RemoteRpcProvider
lifecycle, as these now correctly terminate their children
and remove registrations on both restarts and shutdowns.
RpcManager's children startup is also moved from the
constructor to preStart(), so as correctly plug into
the actor lifecycle.

Gossiper is updated to forward node removals to the BucketStore,
so that buckets from unreachable nodes are removed as soon
as possible.

BucketStore is updated to pass down changed buckets
to the subclass whenever a bucket is removed or updated.
It also requires the subclass to provide the initial bucket
data item -- which makes it obvious that a bucket's data
can never be null. This was previously achieved by sending
updating the bucket data from the subclass constructor.

BucketStore/Gossiper messages are updated to be immutable,
which simplifies their instantiation and ensures that they
do not contain nulls (which is required anyway).

Change-Id: I4efb3ddd8ea46ae5be1eb59f1d4fe508f2bc5763
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7608: Add ActionServiceMetadata and ActionProviderBean

This patch add the new concepts of action-provider and
action-service.

The implementation does nothing, as we are transitioning from
a run-time logic being coupled with sal-remoterpc-connector.

This allows us to migrate users, while retaining behavior indepent
of sal-remoterpc-connector's actions. This will allow us to fix
BUG-3128.

Once it is fixed, and DOMRpcRouter can express the action-provider
advertisement, we are going to actiovate the commented-out code
ActionServiceMetadata.acceptableStrategy().

Change-Id: I3f412d092c10b51a198721f288fdefdfc907f0b7
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7608: Clarify DOMRpc routing/invocation/listener interactions

As it happens our DOMRpcProviderService is under-documented around
routing behavior and how it interacts with respect to both
DOMRpcService and DOMRpcAvailabilityListener.

Fix this by defining the interactions the same way they are implemented
in the only implementation, DOMRpcRouter.

The fallout of these clarifications is that blueprint's interpretation
of the API contract covers only the RFC6020 RPC part correctly and falls
short of the RFC7950 action case.

This shortcoming will be addressed in a follow-up patch.

Change-Id: I2572c21b7aa6f24b9e2ed37f446b76a032f1880b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7697: add defences against nulls

Null listener is invalid, also make sure we do not ever set
prevRpcs to null.

Change-Id: If8cd16e93a2a07c77a26569c8ecacdc35696cea1
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-6937: Add ReachableMember case to Gossiper

In case we detect a member down event we remove that member's
address from the whitelist, leading to further gossips being
ignored.

Subscribe to ReachableMember event to receive notifications
when the cluster heals, so we propagate re-add the member
back to the whitelist.

Change-Id: Id6b366edfa2be89e1a15225d2cad786bbf552129
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Drop explicit dependency on Findbugs annotations

odlparent provides jsr305, and will eventually provide annotations
instead; so the dependencies no longer need to be explicitly added to
downstream projects.

Bug: 7663
Change-Id: If8fa8b231f9cb3d4a5e4fbdbd1b58e720756f5c0
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Make AbstractDOMBroker.isSupported() static

This is a utility method, make it static and simplify
it it.

Change-Id: I90e4d8b54b92fd319f373b4ecd0137fc8c5575ef
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use opendaylight-karaf-empty from Odlparent

The Controller one is kept for project not migrated to features-parent yet.

Change-Id: I2354a5e738449494486fc8e433afdc302c6bb7f8
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

BUG-3128: do not open-code routed RPC identification

Identification of routed RPCs is available via RpcRoutingStrategy.
Use that code to identify routed RPC instead of duplicating same
logic in multiple places.

Change-Id: I5a12b8fd891cb41f805b2a4e7ae465d4004aca39
Signed-off-by: Robert Varga <rovarga@cisco.com>

Replace mockito-all by mockito-core (see Bug 7662)

The change req. to includeArtifactIds is kinda similar to
https://github.com/vorburger/xtendbeans/commit/78aa690f1b67240d4b36064cf49de104a84de058#diff-56e3a9b90e7a05e37996cc31c4798ae0

Funky - this was the ONLY one of almost 40 changes
made in bulk re. Bug 7662 which required additional
manual analysis and intervention... ;-)

Bug: 7662
Change-Id: Ibd14dd061024056392a020364647a70a87f2461d
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Replace FindBugs :jsr305 by full :annotation (Bug 7663)

Change-Id: I76584c682c1e5d5acdbdb3b420f5a56da0aa363e
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Remove DOMRpcIdentifier.GLOBAL_CONTEXT

This is a shorthand for YangInstanceIdentifier.EMPTY, hence
we can inline the definition.

Change-Id: Icb8f025feb48cbc6add7c30d1db863b19c18f546
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add singleton service based global rpc

We need to have a global rpc present that we can use in csit,
use ClusterSingletonService to have it registered only on one
node in cluster.

Change-Id: Id4019ebb874a1da7919d1484ec7af7f5b3395283
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-7594: Expand NormalizedNodeData{Input,Output} to handle SchemaPath

These utility classes are already dealing with QNames, so it makes
sense to expand their capabilities to include SchemaPath serialization.

Change-Id: Ibcb931f78959eb57f834cd2892511c4963638caa
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 5280: Add ProgressTracker

ProgressTracker determines the tracking delay required
to keep the outbound queue reasonably full. Unlike Guava's
RateLimiter, we can assume cooperative callers, hence we
can use an enqueue-and-wait strategy as appropriate. This
lowers contention in multi-threaded access, as the wait
part of the cycle is spent outside the lock.

Change-Id: Iaea65c171455b89d7117431599ebc65fe0a4f19a
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-6937: correct format string

This is a fix, the constructor takes String.format() string,
not a Logger.debug() one.

Change-Id: I966b02cd0c280b50ec1d0e77fb5a493fa2f5a4fe
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix eclipse warnings

Remove illegal @return for method with no return and untangle
if/else block where if branch always returns.

Change-Id: Iafe4eb1b016674375d0b25cd01fdc05068fa1196
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix FindBugs warning around locking

Correct use of locks is to use a try/finally block, so correct
the usage to shut FB up.

Change-Id: I8e42425a9566f506682a8f3e2c25ac3dfe4ec812
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7506: use common DocumentBuilderFactory

Yangtools exports UntrustedXML utility class, which contains pre-configured
document builder factories for dealing with XMLs which are not completely
trusted. Reuse that instead of rolling our own, especially in the XML parse
path.

Change-Id: I83d0ea60104f2266669493548e2d40b5ab6e4772
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7608: OpendaylightNamespaceHandler methods can be static

Eclipse emits warnings about methods being potentially static,
clean that up.

Change-Id: I4b5fb6d12486ea20d4a47429eafebe3f8b559c40
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7608: restructure exception throws

This cleans up the try-catch block so that we do not have
to re-throw exceptions.

Change-Id: I8c876f12b7a9e9108eb8dcca7a602927a78bec2c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Update dependendency desc properly in RpcServiceMetadata

When it transitions to waiting for available DOM RPCs, the
dependendency desc is now updated appropriately to reflect
the correct context.

Change-Id: Iaf7108dd664c9ed78444b0f3dfa4e14be431f35f
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

BUG-3128: Update RPC router concepts

Enrich DOMRpcImplementation with invocation cost, which is taken into account
when deciding which implementation to invoke. This allows local RPCs to be
prioritized over remote ones.

Also add the ability to filter implementations when notifying availability
listener. This allows remote RPC to filter its own registrations, preventing
re-forwarding loops, where a remote implementation would be forwarded as
a local one.

Change-Id: Id1d78d5031904e19134c103e12b79d68cf0b98c3
Signed-off-by: Robert Varga <rovarga@cisco.com>

Cleanup RemoteDOMRpcFuture

Add a missing space and make mapException() static.

Change-Id: I4e9c33899bff7e0488dbe8537f4e832e50a3c53e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Handle UNMODIFIED type in DataTreeCandidateInputOutput

We now replicate DataTreeCandidates with root node type UNMODIFIED
however the deserialization in DataTreeCandidateInputOutput throws
an ISE with "Unhandled node type 2". The writeDataTreeCandidate
method writes the UNMODIFIED type but readDataTreeCandidate needs
to handle that case as well.

In addition, writeDataTreeCandidate also handles APPEARED and
DISAPPEARED but readDataTreeCandidate does not so I made that
change as well.

Change-Id: I19932e545bbeb95fa10d5f57d43a5780af586285
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Use new Karaf 3 odlparent features

This migrates controller to the new odlparent features. This is useful
as a stable base before the Karaf 4 migration (which only has the new
odlparent features).

Change-Id: Id638e57cdc4f30e2790f5677471310de666b7378
Signed-off-by: Stephen Kitt <skitt@redhat.com>

BUG-7446: remove use of deprecated Guava methods

These methods have been deprecated in 18.0 and removed
in 21.0 (or sooner). Remove their use as a preparatory
patch for migration.

Change-Id: Id905760eb7bf817e475aeb1860f9dba39ce1a77d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Revert "Fix test failure in DistributedShardedDOMDataTreeTest"

This reverts commit d7ed1e572bd9af64fab1e9048b4b27ebeb564f7e.

Also ignore this test for now since distributed-data is broken in the
new akka version. Will be unignored once the distributed-data parts
are reimplemented.

Change-Id: Icb74eeaddedf50a7217806e93d2a17430463381a
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-5222: do not use reflection on Optional

Remove the horrible use of reflection to examine Optional
returned from the data store. Also close the transaction
properly.

Change-Id: I8141263588552d0768b2d23ec58e157f723e3bf3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-5222: offload XSQLBluePrint creation to first access

Constructing XSQLBluePrint in onGlobalContextUpdated() slows
down startup and is utterly inefficient (like all of XSQL).

As a stop-gap measure move its instantiation to first use,
when it is constructed from saved SchemaContext reference.

Also remove uneeded elements field, as it is not used anywhere
and just gets in the way.

Change-Id: I954d2217da6ec8b12d0b980d864cf3d776df78cc
Signed-off-by: Robert Varga <rovarga@cisco.com>