Output Request toString in RequestTimeoutException

It will help for debugging to see the transaction ID -
might as well output the entire Request which includes
that.

Change-Id: I63eb20dc6b883c95d4b2059a231a5848d5a7b67c
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Send leader's full address via AppendEntries

Added the leader's full actor address to AppendEntries. The
address can be rather long and we don't need to normally send
it so it's an Optional. The follower indicates via AppendEntriesReply
whether it needs the leader to send its address (new
needsLeaderAddress field). On receipt of the leader's address,
the follower sets it in its local RaftActorContext and notifies
the PeerAddressResolver. The ShardPeerAddressResolver impl
updates its local cache thus enabling transactions to resolve
the remote leader actor.

Since we're changing the serialized footprint of AppendEntries
and AppendEntriesReply, I preserved backwards compatibility by
versioning a new externalizable Proxy for each.

JIRA: CONTROLLER-1861
Change-Id: I1c0870a596b1782015eb973153b74dfcd48694e7
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Bump odlparent to 4.0.7

This fixes SFT/Java11 failures.

Change-Id: I9ee4895c7a63df4e0713ca5899a4f7ffc9f787b1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate messagebus-impl to MDSAL APIs

This removes yet another user of long-deprecated APIs, migrating
it over to MD-SAL.

Change-Id: I51f2ce0e01ed3078dbd2fa4ad6eb91081d692fa3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix mdsal-it-base with JDK9+

With JDK9+ karaf-4.2.2+ requires additional VMOptions, make sure
we pass them down so the container can boot up when run with JDK9+.

Change-Id: I77760b6e48b3f4335c382a6da1e9770a912b4467
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch to spotbugs

Rather than using findbugs, use spotbugs, which works with Java 9.

Change-Id: I8807b2dc34fdb4ddfd476a2a0ed9cf0db2e044cd
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix CSIT failure in unsubscribeDtcl RPC

https://git.opendaylight.org/gerrit/#/c/78758/ modified
the error message returned from unsubscribeDtcl if no DTCN's
are received but the CSIT test is expecting specific text content
to change it back.

Change-Id: I1791175ac1a6c5b6b9936a820646b147adf4c497
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Fix unit test with Java 9+

With https://bugs.openjdk.java.net/browse/JDK-8068730 Instant.now()
has microsecond precision, which leads to a comparison failure.

Fix this by truncating the result of Instant.now() to milliseconds.

Change-Id: Ida8172e5b02cf352325e6f516e19592be4a83d67
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

commons-lang dependency should be scope=test

The classes are used in tests only, the dependency should be
scoped appropriately.

Change-Id: Ifb88ce765c63c0f57779dab986d6d2511060cfcd
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

commons-io dependency should be scope=test

The classes are used in tests only, the dependency should be
scoped appropriately.

Change-Id: Icc0f2eca5296de62586f547363843b8e98cbac4e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reuse odlparent common features

Rather than packaging commons-lang3 ourselves, use odlparent-provided
feature. Same goes for servlet-api and commons-text.

Change-Id: Icdd20a83cb98242e22f77dd7d8108699f1f30887
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump mdsal to 3.0.3

This brings in latest fixes and odlparent-4.0.5 alignment.

Change-Id: I852c0cf739d00cdd9815cb8e9b1643ca0cce0d88
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump to yangtools-2.1.6 and triemap-1.0.4

This brings in latest fixes and odlparent-4.0.5 alignment.

Change-Id: I7de1a7af6ebbf69e1e4b1f8834dc9f5cc79080a7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump to odlparent 4.0.5

Change-Id: If8e721d9a55e4ed9d8df40ba3e9b3a2d3146f5fa
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Eliminate use of deprecated mockito methods

This is a combination of automated eclipse migration and manual
switch from anyObject() to any().

Change-Id: I6b8d64eeff3a10d83b5027407a63ed5968094731
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Avoid unnecessary unsuccessful AppendEntriesReply

In some CSIT runs I see messages such as "The prevLogIndex 10 was
found in the log but the term -1 is not equal to the append entries
prevLogTerm 2" which results in the Follower sending an unsuccessful
reply indicating it's out-of-sync. This causes the Leader to try to
catch it up.

However in the test cases, the Follower isn't actually
out-of-sync but rather it gets behind enough (the test issues 1000
txns per second per node) such that the leader re-sends AppendEntries
with log entries it already sent. When the Follower eventually receives
the first AppendEntries, it appends the entries and may do a "fake"
snapshot, ie trim the in-memory journal list and advance the snapshot
index. If so, when the duplicate AppendEntries is received, the leader's
previous log index is no longer in the Follower's journal log.
In Follower.isOutOfSync, isLogEntryPresent returns true b/c the leader's
previous index is included in the last snapshot even though it was trimmed
from the journal log. However, getLogEntryTerm returns -1 b/c it
checks if the index is in the journal log or equal to the snapshot
index, ie it doesn't take into account that the index may be in the
last snapshot. This is inconsistent with the first check and results in
the Follower reporting that it's out-of-sync when it really isnt.

I've also seen a negative result of this on the Leader side when a Follower
reports it's out-of-sync - the Follower's last log index is in the snapshot
but getLogEntryTerm returns -1 causing the Leader to take the last resort,
inefficient path of decrementing the Follower's next index in order to
catch it up.

Therefore I changed these 2 cases to also check if the index is in the snapshot
and, if so, use the snapshot term.

Change-Id: I4331d8fee85789a7004a692abb1b9c629eecd570
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Specify initial serialization buffer capacity for Payloads

JFR shows a lot of re-allocations of the backing byte [] when
serializing CommitTransactionPayload. Specify a reasonable
initial buffer capacity (the default in ByteArrayOutputStream
is 32) to reduce re-allocations. This is also configurable via
the cfg file (default is 512).

Also did the same for the other smaller Payload classes like
PurgeTransactionPayload.

JIRA: CONTROLLER-1870
Change-Id: I7ebced56812bfc102409b5b2a8b7f4b1b54359fc
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

add real "end-to-end" coverage in TracingBrokerTest

This reproduces the NPE from CONTROLLER-1877,
and fails without the fix from the previous commit.

JIRA: CONTROLLER-1877
Change-Id: Ia2fa6093f8a02c37e1ff04250dcd17ab069c1bd5
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

fix NPE in odl-mdsal-trace

It (probably) broke back in
Commit a6286576cf76bce93009c58b88ba1e949ef717af
Change-Id: Id82a79e8e430665f6fb5433ed7bab858044eacbe.

This NPE only occurs if mdsaltrace has non-empty write-watches
(as it does in the initial default mdsaltrace_config.xml).

The following commit adds a non-regression test for this.

Caused by: java.lang.NullPointerException
  at org.opendaylight.mdsal.binding.dom.codec.impl.BindingCodecContext.getCodecContextNode(BindingCodecContext.java:152)
  at org.opendaylight.mdsal.binding.dom.codec.impl.InstanceIdentifierCodec.deserialize(InstanceIdentifierCodec.java:36)
  at org.opendaylight.mdsal.binding.dom.codec.impl.BindingNormalizedNodeCodecRegistry.fromYangInstanceIdentifier(BindingNormalizedNodeCodecRegistry.java:101)
  at org.opendaylight.mdsal.binding.dom.adapter.BindingToNormalizedNodeCodec.fromYangInstanceIdentifier(BindingToNormalizedNodeCodec.java:215)
  at Proxyabf4ea17_f2e5_4773_bd89_e4f8393036df.fromYangInstanceIdentifier(Unknown Source)
  at Proxy1038cd39_b88e_4023_8cb1_af39f6d6feb2.fromYangInstanceIdentifier(Unknown Source)
  at org.opendaylight.controller.md.sal.trace.dom.impl.TracingBroker.toPathString(TracingBroker.java:270)
  at org.opendaylight.controller.md.sal.trace.dom.impl.TracingBroker.toPathString(TracingBroker.java:264)
  at org.opendaylight.controller.md.sal.trace.dom.impl.TracingBroker$Watch.eventIsOfInterest(TracingBroker.java:167)
  at org.opendaylight.controller.md.sal.trace.dom.impl.TracingBroker.isWriteWatched(TracingBroker.java:248)
  at org.opendaylight.controller.md.sal.trace.dom.impl.AbstractTracingWriteTransaction.recordOp(AbstractTracingWriteTransaction.java:37)
  at org.opendaylight.controller.md.sal.trace.dom.impl.AbstractTracingWriteTransaction.<init>(AbstractTracingWriteTransaction.java:32)
  at org.opendaylight.controller.md.sal.trace.dom.impl.TracingWriteTransaction.<init>(TracingWriteTransaction.java:24)

JIRA: CONTROLLER-1877
Change-Id: Ia9fbf69bc1c3553e929a045146a3610bce72cd96
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Fix CSIT failure in MdsalLowLevelTestProvider

https://git.opendaylight.org/gerrit/#/c/78758/ modified
unsubscribeDtcl to return the "data-missing" error tag
if the DTCL received no notifications which is translated by
restconf to 404 but the CSIT test is expected 500 so return
"operation-failed".

Change-Id: I22df1012e9f191171699fb4ddee8353b22b24c14
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Improve error reporting in MdsalLowLevelTestProvider

Change-Id: Icdd86af5601f14d54b54354a1e0a3ffd4dc81653
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Bump to triemap 1.0.1

Change-Id: I5123c2e18e4cc1b11890d2d11417d1b16de21758
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Improve timeout check error message

Report the value being set in checkArgument.

Change-Id: I76e88504f794300634f61b293876e1677c549792
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Require FiniteDuration in waitOnAsyncTask()

We do not want tests to ever specify an infite duration, make sure
we express that in the contract.

Change-Id: If0202e6b81761461e0d34ad6a00ea207f8a28e50
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

getShardTransactionIdleTimeout() is always FiniteDuration

Since we are always creating a finite duration, it does not make
sense to hide this fact.

Change-Id: I26fa6356c54816400e23fee5b07e8e65c5f3fc17
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Require FiniteDuration in Actor props

All callers are using FiniteDuration and we really do not want
to have an infinite receive timeout. Require FiniteDuration
to be specified.

Change-Id: Ia4664dd2a1fea76ee4c42641ef132d6d47c78385
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reduce use of scala.concurrent.duration.Duration

In most of the places we really are talking about a FiniteDuration,
hence use that class directly where it is an internal detail. Aside
from providing clarity, this also reduces potential confusion
with java.time.Duration.

Change-Id: I57d84c5ca058cfc6fa56ce57ebb0c8d4d3864a3a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate to java.time.Duration

Akka 2.5.12 deprecated quite a few methods using Scala duration
to use java.time.Duration. Migrate ourselves.

Change-Id: Ieb92c219f529c5d2c606016d3ea717d4531dda1b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Always save to local copy in IdIntsListener

The Listener Stability CSIT fails intermittently due to the
IdIntsListener reporting that its local view of the data
tree as captured from DTCNs does not match the final read
of the data after the writes are done and the leader change
is complete. On DTCN, the IdIntsListener only stores the new
data if the data before in the DTCN matches its stored copy of
the data from the previous DTCN. When the test fails, this
check fails early on and after that it will never match. A
prior patch added a diff of the data nodes that failed the check
which shows that the id-int entry for "prefix-1" was missing
in the stored copy. This is added at the start of the test
(each node adds its own entry). It's unclear to me if it's
actually valid to ensure that the stored copy matches the
current DTCN's data before so I removed the check - let's see
if there's any further tests failures.

Change-Id: I7b861fc85b42586832072fdc19de103733e4fbf5
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Add specific serializer for SimpleReplicatedLogEntry

JFR shows a lot of re-allocations of the backing byte [] when
serializing SimpleReplicatedLogEntry. We can pretty closely
estimate the total serialized size with some reasonable padding
since the Payload is already serialized. Introduce a
specific akka serializer for this.

Jira: CONTROLLER-1872
Change-Id: I94ac9528657119b5bab60dc2f37eef98f18ca1b0
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Use SharedSingletonMapTemplate

We know the key statically, hence we can use more efficient maps
to hold our NodeIdentifierWithPredicates. This saves some CPU cycles
as well as produces less garbage.

JIRA: MDSAL-917
Change-Id: I55b89498ab725f8aba85f8e7f1c8bb16f0fe6565
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Improve NormalizedNodeInputStreamReader

We really want to retain source iteration order of predicates
being streamed into the system, as they usually match the order
locally.

Refactor NormalizedNodeInputStreamReader to read complete
NodeIdentifierWithPredicate objects, thus allowing us to use
ImmutableOffsetMapTemplate to skip some data checks and copying
around.

MDSAL: YANGTOOLS-917
Change-Id: I162919c7e56109fc98933a4eeae8669b030dc992
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump to yangtools-2.1.4 and mdsal-3.0.2

This bumps the dependencies to 2.1.4 and 3.0.2, respectively.

Change-Id: Ia24de2f5374257cfe36d0a6bca31a84af2c8daff
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Improve failure reporting in IdIntsListener

The Listener Stability CSIT fails intermittently where the
IdIntsListener reports that the final read of the data doesn't
match it's local copy obtained from DTCN's. It would be helpful
to output the difference.

When the test fails, there are a lot of "Ignoring notification"
warnings from IdIntsListener so output the diff the first time
that occurs.

Change-Id: I49e9cd0414a904a61778a8c028ead7dc2b8fd593
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Improve error reporting in WriteTransactionsHandler

The Leader Isolation CSIT is failing intermittently with a failed
tx and it would help to log the exception trace as restconf no longer
reports it. Also modified some fields to be thread-safe as they are
accessed by multiple threads although not concurrently/

Change-Id: Ifce3cd177e5e0cc7c7020866000cb915b9f9c4bf
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Forward CloseTransactionChain messages to the leader

The frontend broadcasts this message to all shards leaders,
but it may end up being misrouted. Make sure we forward the
request to the current leader.

JIRA: CONTROLLER-1628
Change-Id: I8b743c8ea9f4f4467878016dfed8b2ad459309f0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Make ShardDataTree.insertEntryStatic

Eclipse points out this can be static, make it so.

Change-Id: Ia3243dc4e02157c2365895bb082e8f9ea6aa6a25
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

tell-based - reconnect on leader change

The ShardManager is the aggregation point for shards so we need
to propagate shard leader change events etc to the ClientActorBehavior
to initiate a refresh of the backend info. The ModuleShardBackendResolver
sends a new message, RegisterForShardAvailabilityChanges, to the
ShardManager actor with a Consumer callback that is notified by the
ShardManager when events affecting shard leader availability occur.
The ModuleShardBackendResolver then propagates the event notification
to callbacks registered via a new notifyWhenBackendInfoIsStale method
exposed via the BackendInfoResolver interface, which the
ClientActorBehavior calls.

JIRA: CONTROLLER-1873
Change-Id: I9dbcabf5a75b195c811a22dd522115d329e5dc4b
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Do not depend on controller APIs

dsbenchmark is no longer using them, stop depending on them.

Change-Id: I853b99d69b2d47937e73e5ae5544f6b5baa6b7f1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate ntfbenchmark to MDSAL APIs

This is a trivial conversion to switch away from controller APIs.

Change-Id: I2bd98524b02d975ffb677d9718642cadcd7aa43c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use explicit classes for Listener forwarding

This allows us to use ForwardingObject, which will forward
toString() invocations intact, properly identifying registered
listeners.

Change-Id: I486352d41047b20cb5b2735cff911d7d49aaf963
JIRA: CONTROLLER-1874
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Skip deployment to top-level aggregator

This pom is useful only during build, do not install/deploy it.

Change-Id: I028db508d5138152d76ca72cf2ebd3fb1ef4c228
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Recognize aggregated sonar reports

This adds the necessary build support to aggregate jacoco reports,
so sonar can pick them up.

Change-Id: I345c449cb5a027ed043171659e74c74d93e5b223
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use pre-sized ImmutableLists for yang-data-api

ImmutableList.builder() did not pre-size its arrays correctly,
leading to poor performance. That is no longer the case and we can
correctly pre-allocate it -- giving us the ArrayList equivalent in
immutable form, hence skipping copying in
{SchemaPath,YangInstanceIdentifier}.create()

Change-Id: I4a070dca26138f28de69e4a0e1f9b0298ee2312b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Proxy MD-SAL interfaces in DOMMountPointServiceImpl

This patch deals with the case where a mount point is registered
via Controller interfaces and then accessed via MD-SAL interfaces
by providing any missing MD-SAL services via proxies built on top
of their Controller counterparts.

This also adds utility convertors to DOM{DataTree,Rpc}Identifier,
so they are readily available.

JIRA: CONTROLLER-1869
Change-Id: Iece3f1d2a2bba58669114f6f8b8abf89fd188690
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use Method.getParameterCount()

Java 8 introduced this method, which bypasses array cloning done
by getParameterTypes(), making it more efficient. Take advantage
of it.

Change-Id: I130a58c8ca667e57ae29c99abdd8066d8ca7dbd7
JIRA: MDSAL-398
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Introduce ReadTransaction.exists()

This method exists in the DOM API, but for some reason it was left
out if the Binding API. Introduce it as default methods riding on
the read() method and override them in all known implementations,
so the request is efficiently routed.

JIRA: MDSAL-389
Change-Id: Id56332d6f720396305ac68e40554e62fd17c34fb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix DOMDataReadTransaction javadoc

Remove double start of the javadoc.

Change-Id: I6524d117e3eecaeda77c0e7b40a50053dc944b96
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Proxy controller services in DOMMountPointServiceImpl

When we are proxying a DOMMountPoint, we also need to take care
of bridging legacy interfaces on top of MD-SAL interfaces.

This patch refactors DOM{Notification,Rpc}Router to factor out
DOM{Notification,Rpc}Service adapters and creates DOMActionService
adapter. These are then used in DOMMountPointAdapter, which in
turn is used by DOMMountPointServiceImpl.

This deals with the case when an MD-SAL-registered mount point
is accessed via Controller APIs.

JIRA: CONTROLLER-1869
Change-Id: Ide4c636afdbd13e233880ab616aec52e46ea115f
Signed-off-by: Jakub Morvay <jmorvay@frinx.io>
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove LegacyShardedDOMDataBrokerAdapterUtils

LogicalDatastoreType.toMdsal() renders this utility class useless,
remove it.

Change-Id: I0bf6e66f83338fff7d2ab7e54be10a56398c44dc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove DOMMountPointServiceImpl.registerMountPoint()

This method is a leak and was deprecated in Fluorine, remove it.

Change-Id: I46e2a0eaa1d8baef5c35b6664daa0c606b7ad401
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump operation timeout to 500ms

It seems we cannot meet our own deadlines in our unit tests, let's
bump them to 500ms instead of 100ms.

Change-Id: Ic0f9f09da3108e150bd3ec2b465d66bb3aa80485
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 1b51c280231f3829f445491c857c1a1648f917ce)

Simplify DTCL registration support classes

Historically, there was support for registration of both
data tree change listeners and data change listeners. Common
infrastructure interfaces, abstract and generic classes were introduced,
since registration of both listener types required similar steps.

Data change listeners were deprecated and removed so there is no need
for this common infrastructure anymore. Get rid of unnecessary
interfaces, abstract classes and type variables. Now they just add
complexity to the code.

Change-Id: Ie2ce510bb5b49b892bcf8e5c562c96ea8345418e
Signed-off-by: Jakub Morvay <jmorvay@frinx.io>

Fix javadoc formatting

This fixes javadoc formatting in LeaderLocalDelegateFactory abstract
class.

Change-Id: I94390bc91b7d534426adebd71bb92726de1890cf
Signed-off-by: Jakub Morvay <jmorvay@frinx.io>

Hide DOMMountPointServiceImpl.registerMountPoint implementation

This adds a trivial package-protected method which holds the
implementation, allowing us to short-circuit some casts.

Change-Id: I41d792c50d87638fc6ba51433cd26bf68980fca2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Force UntrustedXML to be initialized from activator

Touching UntrustedXML during bundle activator should cause it to
bind to the JRE XML provider rather than discovering other members
via a TCCL.

Change-Id: I9c6625be7873ed96d5e292a3165e7f319ac68b56
JIRA: CONTROLLER-1867
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 978ef9d2ccbbaf4e54aa43109f7af21603226516)

Integrate MRI projects for Neon

This patch bumps:
- odlparent to 4.0.2
- yangtools to 2.1.2
- mdsal to 3.0.1

It also deals with:
- DOMRpcError.getErrors() changing
- java.util.Optional being used in MD-SAL
- xmlunit upgrade via xmlunit-legacy
- any(Class) not matching nulls
- lists disappearing and hence requiring at least one item
- remove explicit <null/> in blueprints, as that breaks blueprint-core
- adjust sal-binding-it to include byte-buddy, which is a mockito dependency
- adjust dependencies to account for ietf-{inet,yang}-types movement
- moving to tech.pantheon.triemap
- mdsal.common.api removals

JIRA: CONTROLLER-1860
Change-Id: I31b2d011015846537a99f963ded1d38e7b29d71e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update procedure to restart controller on quarantined condition.

There was a behavior change in Karaf [0] because of which restarting
the container now requires the system property karaf.restart to be
set to true in addition to karaf.restart.jvm property. Update
controller restart logic on quarantined condition for the same.

[0] https://issues.apache.org/jira/browse/KARAF-5179

Change-Id: I7b93eb87f53870efea70f2c9a9b82eeca783aa0b
Signed-off-by: Ajay Lele <ajayslele@gmail.com>

Remove the use of ActorIdentity.getRef()

This method has been replaced with getActorRef(), which returns
an Optional.

Change-Id: I41e4c8f8ed06de87716c06077201287752c0e327
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove use of Class.newInstance()

This method is deprecated in JDK9+, migrate to its replacement.
This also means that any exceptions thrown are wrapped in
InvocationTargetException, hence we can (and are forced by FindBugs)
replace catching of Exception with catching of ClassCastException
and ReflectiveOperationException.

Change-Id: Iefd48ecef653fc73f74b2a77ac1ab7891b2575d3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

move trace impl-blueprint.xml DI into TraceBindingBrokerWiring

JIRA: CONTROLLER-1831
Change-Id: I1621e94c43fd5ddef4f1697cf7b87422e7ce0e5b
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

move binding-broker.xml DI into BindingBrokerWiring

JIRA: CONTROLLER-1831
Change-Id: I5fdc4f9018276db92ba9ae2eb35688d428383411
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Convert blueprint ext classes to MDSAL APIs

All classes are now converted except for RoutedRpcMetadata as there
is no equivalent to the RoutedRpcRegistration in the MDSAL API.

Change-Id: If7720ad6dca5c281ae6c7ace50a60f3e7463f938
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Move commit payload propagation

Since Shard.persistPayload() will shortcut when we do not have
a followers or persistence, we must update metadata before we
notify the cohort of the success, as for commit-immediate
transactions that will result in a purge payload being persisted.
That payload will shortcut, too, and execute on stack, hence
metadata will see purge before commit -- leaving it in inconsistent
leaky state.

Move allMetadataCommittedTransaction() calls from
applyReplicatedPayload() down to just after we modify the data
tree and before we invoke listeners.

Change-Id: I1ed2f62756367982cfff08302c79f1c63a871df2
JIRA: CONTROLLER-1746
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Correct exception handling in LegacyDOMDataBrokerAdapter

When a TransactionChain is closed, we need to make sure we throw
the correct (controller) exception instead of re-wrapping the mdsal
one.

Change-Id: I74434115fe14a18ba520fc789fa8a21d932a4a15
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use LogicalDatastoreType.toMdsal()

Use direct converter method rather than matching through name, which
results in faster mapping.

Change-Id: Ic247ebc5c5704d3eb1953eea4d7f36b1d3d49cb8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit bc83a3eb1d1bd51865f97bfb4262716fe7841293)

Bump to Dropwizard Metrics 4.0.3

This also cleans up some duplicate dependencies.

Release notes:
* 4.0.0: https://metrics.dropwizard.io/4.0.0/about/release-notes.html
* 4.0.1: https://github.com/dropwizard/metrics/releases/tag/v4.0.1
* 4.0.2: https://github.com/dropwizard/metrics/releases/tag/v4.0.1
* 4.0.3: none available, see
  https://github.com/dropwizard/metrics/compare/v4.0.2...v4.0.3

Change-Id: I29050a587aebafcf0d169425242b6281dbb43519
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Construct IMDS delegate with proper type

This patch makes sure we do not ignore the datastore type, but
pass it down to MD-SAL's IMDS.

Since we are converting from controller to mdsal LogicalDatastoreType
in multiple places, centralize this via LogicalDatastoreType.toMdsal().

JIRA: MDSAL-370
Change-Id: I5e027fd439e325ff91344de98511e503fc801992
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 0425ce4501aec2d8f96d6379baa1116a5350fba2)

Migrate controller docs to the controller project

Change-Id: Ic6ad9bade1240b08cc112f275ea2d1b4516d5446
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bootstrap Controller documentation

Issue: DOCS-69
Change-Id: Iaf57d73e8d720b910c66cae41a75f10ceefba80f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Switch to Akka’s protobuf

Akka has its own implementation of protobuf, use that instead of
Google’s.

Change-Id: Ibc99749dd2fff0b7a717e83dd9377aeb618cf171
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Align tested boolean/Boolean expectations

This patch removes implicit boxing/unboxing by aligning boolean/Boolean
expectations.

Future<Boolean>.get() will return a Boolean, hence use assertEquals() for
these (and Optional<Boolean>). Doing that instead of assertTrue()/assertFalse()
eliminates a single Eclipse info-level message about Boolean being unboxes.
This also has better behavior: if the tested method returns null, we'll get
an assertion failure instead of a NPE.

For isPersent() and other methods which return a boolean, use assertTrue()
or assertFalse(). Doing that instead of assertEquals() eliminates two Eclipse
info-level messages about boxing the two arguments to Boolean, for some
reason there is no assertEquals(boolean, boolean).

Change-Id: If86ef9fb1ecf4cdceb45bc079bba1a86cff311ac
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate ShardTestKit subclasses

The kit can be used as a simple class, no need to subclass it.

Change-Id: I5d696bf0111738fc4a8b863405b052f8838e391b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup TestKit use

Do not subclass TestKit, but instantiate it as a common resource.
Also use static imports for mocking/asserts. This makes the tests
cleaner and less verbose.

Change-Id: I18d8765c8fb5019c9f4aa94bc9474277443a3097
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate IntegrationTestKit subclasses

The kit can be used as a simple class, no need to subclass it.

Change-Id: I098bb72411a662bf8670fd945dba517d6253dea4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate use of exam.version

The dependency is declared in odlparent, no need to re-declare
version/scope.

Change-Id: I0ad40bf595874c8f2ab3f86632a16d71d6397cd3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Lower warn level in AbstractInvokableServiceMetadata

The warning "interface interface X has no accptable entries, assuming it is satisfied"
is emmitted quite often from RpcServiceMetadata, ie for every routed RPC I believe.
I'm unclear as to why it filters out routed RPCs here and why it's a warning but
we should at least reduce to debug to avoid the noise.

Change-Id: I954a4b7c6b2a5e0d3fdbe7bbd2cc44b47ef01fdc
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Fix mdsal reference

Rather than referencing direct feature version import it from
mdsal-artifacts.

Change-Id: Ic2fb49d270b4ca11a8f470c05fa45fb4d17011f4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix illegal check in CreateTransactionReply

The null check is wrong here, as instanceof will evaluate to a boolean,
which will always result in a non-null reference. Fix this by using
checkArgument().

Change-Id: I9c5c1795227cafafc4393ea86aa464287cd96df2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Disable artery max frame size settingd

These were accidently set really large when we were first
looking at artery a while ago but they blow up with
java.lang.OutOfMemoryError: Direct buffer memory. So
set them to the defaults and comment them out.

Change-Id: I92dc150808601271f879bc3917a036b76af8d914
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Fix prefix shard configuration update handling

If the list of shards is completely deleted, we end up jumping
into an empty method -- obviously missing updates. This codepath
is really shared, as DataTreeCandidateNode resolves recursively,
creating apropriate delta for children.

Change-Id: I6a70421a5ca405830a1012798f302b390b7aa2f0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate to expectNoMessage()

expectNoMsg() has been deprecated, move to its replacement.

Change-Id: I51fc5dc28fd8131b76ca00d254de06403e06de69
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cache reflection operations in AbstractSchemaAwareTest

The design of AbstractSchemaAwareTest requires reflection-based
loading of SchemaContext for each test case, which is slow.

Instantiate weak caches to speed up tests which are co-located
on the same class loader.

Change-Id: I1a79d7e99f6efcccab37445f3de25a74cb6f02b6
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix findbugs warnings

Upgraded findbugs finds these, fix them up.

Change-Id: Id5a008cddc6616c3a93f0528efca00b86843fc3c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate to UntypedAbstractActor

As per the 2.4-to-2.5 migration guide using UntypedAbstractActor
UntypedActor is our cheapest migration option. This requires
updating MeteringBehavior to integrate with Receive.

Change-Id: I692f723dffc966bb7e117124b7a0cd714572ab4f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up DistributedDataStoreTest

Sharing SchemaContext shaves off about .5 seconds.

Change-Id: I628af3b577ca53fc9f5ace05dc825f7324b71b8f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up AbstractModificationTest

Sharing SchemaContext here shaves off about 2 seconds from
test run time.

Change-Id: I5e7fa63dd061ee6e1a16831aeae59f61deaccb5f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up AbstractTransactionProxyTest

Sharing SchemaContext here shaves off about 2 seconds from
test run time.

Change-Id: Ic32bbd2e57aa5a56910377422fd3ab34a3120d89
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up ClientBackedDataStoreTest

Sharing the SchemaContext shaves off about half a second.

Change-Id: I2db8c7d25d50b9ea3c4a8fd411d4eee7d5d5b429
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up ShardManagerTest

We can share a single SchemaContext for all tests, which shaves off
some 4 seconds from test run time.

Change-Id: Ic3cba6343d7f4e08a00aa17e90738b62c686b4f5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove references to mdsal-model-artifacts

This artifact is going away, remove references to it.

Change-Id: I381b0fc6aaff72bbdf9e0d0192a0ca26a3b74e56
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump versions by x.(y+1).z for next dev cycle

Change-Id: Ib2fae0d3ecc0b7d95a51ffb43a006685825738a6
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Bump yangtools to 2.0.10

This fixes an issue with actions, hence we need it in Fluorine.

Change-Id: I4b312e3e8ca2eafdd8a63781e78c0c019f4f7a4a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove RoutingLogic interface

This is no longer used...

Change-Id: I167eed99d7e457a7d6b1d53f39c07a1dfc6c5bf3
Signed-off-by: Tom Pantelis <tompantelis@gmail.com>

Simplify ListenableFuture translation

We can forgo instantiation of immediate futures by using a simple
.transform(Optional::fromJavaUtil).

Change-Id: If33247bc473852d739f593bb7e752323b3ac6583
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix deprecation warnings and checkstyle in benchmarks

This fixes up warnings/checkstyle and flips the enforcement switch.

Change-Id: I22754c767ef643d703286a30252cf57006062ade
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add MappingCheckedFuture

This class is moved here from MD-SAL, as CheckedFutures are not
used there anymore.

Change-Id: I84cda1d543a5bebdb17249943ee26ca8fe3f97bf
JIRA: MDSAL-229
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Convert dsbenchmark to mdsal APIs

With controller interfaces deprecated, move benchmark to use MD-SAL
interfaces instead.

Change-Id: I79f52260171e3f4f770511f389bbc773e86e6939
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reduce use of deprecated methods

We do not really need the old semantics in a lot of sites, so
migrate them over to replacement methods.

Change-Id: Ib60e395dd9da82934d1591555c9ad46c05dac0e7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Allow DataObjectModification to address grouping nodes

This adds the API and implementation required to address child
nodes introduced in cases by the use of a grouping.

JIRA: MDSAL-342
Change-Id: I70871dcaa3441fbef81dfb15bfd965d133aa0894
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>