Pass down a collection of cohorts

Rather than using an iterable, use a Collection. This saves a bit of
code and makes the size available wherever the collection goes.

Change-Id: I7ab9fa594676c221c8a4a0b3e227625af462c338
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 2676 : Use notification-dispatcher for DataChangeListener actors"

Merge "BUG 2676 : Use transaction-dispatcher for ShardTransaction"

Merge "BUG 2676 : Use shard-dispatcher for ShardManager and Shard actors"

Merge "BUG 2676 : Use custom client-dispatcher when configured"

Merge "BUG 2676 : Introduce API for accessing akka dispatchers"

Merge "BUG 2718 : Create a diagnostic utility to track append entries replies"

Merge "BUG 2741 : Fix issue with real snapshotting when replicatedToAllIndex=-1"

Merge "Bug 2673: Binding cursor-based data change API"

Merge "Re-enable running of SingleFeaturesTest"

Merge "Startup archetype: remove 'Impl' from config subsystem Module name."

Merge "Startup archetype: Add basic unit tests for impl."

Merge "Startup arch - remove artifactId prefix from dir names."

Merge "Cleanup root pom "name"."

Merge "Serialize capabilities for notification properly"

Merge "BUG-2600 Proper reset caching of notifications upon disconnect"

Merge "BUG-2635 Netconf monitoring for md-sal netconf northbound"

Merge "DOMDataTree APIs"

Merge "Update JMX generator"

Merge "xsql should pull junit directly"

Serialize capabilities for notification properly

Added and removed capabilities in capabilities change notification were serialized as QName.toString but should be na Uri

Change-Id: Id9783c060ecf45d3a7f506cf605051c779a6d21a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2600 Proper reset caching of notifications upon disconnect

Change-Id: I9269aef2fee21138b30552ffb0762d73ba98d4be
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2635 Netconf monitoring for md-sal netconf northbound

Monitoring for mdsal's netconf stores all available monitoring data in the datastore and provides get-schema operation

Change-Id: I573c5d57e5cf25d7688f3355b602327c7af75c65
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Migrate JMX plugin's use of BindingGeneratorUtil"

Merge "Migrate deprecated guava methods"

Merge "Do not override artifact versions"

Merge "Use Preconditions"

Merge "Do not override jsr305 version"

DOMDataTree APIs

This patch introduces the end-user visible API model for interacting
with the conceptual data tree. Unlike our previous APIs, these revolve
around applications explicitly binding their inputs (former data change
listeners) and outputs (former explicit writes). This allows efficient
inter-datastore interactions to be maintained by understanding what
sort of output applications make and what sort of indexes are required
to feed them the data they require. Beryllium evolution will see the
DOMDataTreeListener being subscribed to an XQuery expression, thus
providing a dense definition of what data the applciation actually
extracts out of the subtree.

Change-Id: I11446ce7f8dbd7cf61540f72e463460b483ff15f
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2635 Prepare netconf monitoring service for md-sal monitoring.

So that the monitoring service provides all the information in one place.

Also move get-schema rpc into netconf-monitoring from netconf-impl.

Change-Id: Ia7dc47ea4997df417795f079a7c045709dbaaf47
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Remove required source element from Get operation for MDSAL

Change-Id: I2c1495dfac8ecad00605f4df98b310b3d99ac4ed
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Make reconnect on capability changed truly optional"

Merge "Prevent multiple config pushers"

BUG 2741 : Fix issue with real snapshotting when replicatedToAllIndex=-1

Change-Id: I59b236fd88a329021365f204077170ca260e0b32
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix spurious failures in RaftActorTest due to RecoveryComplete

testSaveSnapshotSuccessCallsDataPersistence fails sporadically due
to RecoveryComplete interfering with the test. In
handleCaptureSnapshotReply it sets replicatedToAllIndex in the
behavior. On RecoveryCompleted, it initializes the behavior which
creates a new Follower with replicatedToAllIndex initialized to -1.
Recovery is done asyn so if RecoveryCompleted occurs after
CaptureSnapshotReply, the test fails because replicatedToAllIndex
isn't the expected value.

We need to call waitForInitializeBehaviorComplete after creating the
MockRaftActor so recovery and behavior initialization is complete before
starting the tests.

Change-Id: I3176afbf7ac937550c33bdb57d14d6968dbc2514
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Fix RaftActorTest.testRaftRoleChangeNotifier failure"

BUG 2733 : Leader should always schedule heartbeats

This ensures that lagging or new followers are not starved as this
can potentially destabilize the cluster

Change-Id: Ic83d9d595a1222550286f3eb29d4cdef7bf1bccd
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use notification-dispatcher for DataChangeListener actors

Change-Id: I154e1598a3058a978902fd6db5512d51dff36a62
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use transaction-dispatcher for ShardTransaction

Change-Id: If70e141ff4e0eae0bd41ba70d4b0c126eb752fa1
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use shard-dispatcher for ShardManager and Shard actors

Change-Id: Ib6aed392eb861bb1da16d4780f08b27fad6d17db
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use custom client-dispatcher when configured

Use a client dispatcher for all code which originates at the client
end and requires a dispatcher for completion of a Future that was
created by an ask

Change-Id: If2c1fa064e368152539ad21622985cc044f305d3
Signed-off-by: Moiz Raja <moraja@cisco.com>

Re-enable running of SingleFeaturesTest

For reasons I have not yet figured out, depending on the
yangtools version of features-test causes features tests
to no longer run.  This patch changes controller
to depending on the features-tests from odlparent

Change-Id: I45397f042cc367addde2ada74a27aba98fc98126
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG 2676 : Introduce API for accessing akka dispatchers

Change-Id: I2a9b0f0848da1a6181a3e6c8d61d0d96499a61d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2718 : Create a diagnostic utility to track append entries replies

This patch introduces a utility to keep track of all messages that were
processed between the time a certain message is received. It is used for
tracking why AppendEntriesReply do not come in a timely manner. This is
important to know because if a leader will switch to IsolatedLeader if
these messages do not arrive within the ElectionTimeout interval causing
disruption in service.

Change-Id: I13bab798aad8a225d22d2ebd3775cbf0bf1d1592
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix for Bug 2727 - Upgrade Akka from 2.3.4 to 2.3.9"

Update JMX generator

This takes advantage of the fact maven 3.1.1 supports slf4j natively.
Also fixup some of the coding style issues still present.

Change-Id: I37724cc0a5c194fc333c577f39deaf550c341d34
Signed-off-by: Robert Varga <rovarga@cisco.com>

xsql should pull junit directly

Currently we pull junit transitively, which means it will break once the
transitive dependencies change.

Change-Id: I50ad5143811fb21d4719bd47085f366899ae7409
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 2702 : Switch to a low impact scheduling mechanism for IsolatedLeaderCheck"

Merge "BUG 2676 : Add a diagnostic log message to detect delay in ApplyState processing"

Merge "Revert "BUG-2637: migrate features""

Revert "BUG-2637: migrate features"

This reverts commit 300d247c3c68387bf0bed3fc9dd90558ebe01f3f.

300d247c3c68387bf0bed3fc9dd90558ebe01f3f broke because the flow-features were not migrated properly to openflowplugin.

Change-Id: I6502a93b10b4c5ee41d037da216092cdf003d17f
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-2637: migrate features"

BUG 2702 : Switch to a low impact scheduling mechanism for IsolatedLeaderCheck

Using the akka scheduler's schedule mechanism to schedule tasks can cause
disruption in processing messages as scheduled messages can get processed before
other messages. To avoid this we now generate an isolated leader check from
the heartbeat processor and avoid an extra scheduled task.

Change-Id: Ied6b518796da92742e2c61eebcd1e0a3415df66a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add a diagnostic log message to detect delay in ApplyState processing

Log a message when ApplyState is processed 50 milliseconds after being generated

Change-Id: I7e101dab292b4a72d23904798dc2362a740e4c04
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 2676 : Add more context to the Initiate snapshot capture log message"

Merge "BUG 2676 : Reduce default logging in Dummy Data Store"

Merge "BUG 2676 : Add diagnostic message when AppendEntriesReply comes in very late"

Merge "BUG 2676 : Add some tuning parameters to improve performance of CDS"

BUG-2637: migrate features

 - remove migrated features
 - integration test fix:
   - commented out dependencies to models affected by migration
   - adapted sal-binding-it in order not to push those models
     into pax-exam context
   - adapted sal-binding-broker-impl to use those models only in
     test scope
 - cleaned commented code/config

Change-Id: I8e09a7cd9ff9ba0f041abe1bf739be755aed3e8d
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG 2676 : Add more context to the Initiate snapshot capture log message

Add more context in the Initiate snapshot capture log message so that when
a snapshot capture occurs due to lack of memory we can get a little more
detail from the logs.

Change-Id: I85647adcf74d7eb36f767ba5dd6824e64a802811
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Reduce default logging in Dummy Data Store

Reduce the default log level to error and added a diagnostic
log message to detect situations where an append entries does
not get sent in a reasonable amount of time (5 seconds)

Change-Id: I46b7b20688207318dcfec2b209519761ecf1d93d
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add diagnostic message when AppendEntriesReply comes in very late

Log an error message when an AppendEntriesReply arrives beyond the ElectionTimeout
period. This may help detect cases where messages are not being processed
fast enough by the actor system. This particular condition can cause a Leader to
become an IsolatedLeader even if the remote Follower is receiving heartbeats.

Change-Id: Id6a797820b63cb4f18c3d1bbd2781e72674aa9d8
Signed-off-by: Moiz Raja <moraja@cisco.com>

Migrate JMX plugin's use of BindingGeneratorUtil

The functionality was moved to BindingMapping, so migrate this user.

Change-Id: I23581636182b1e63a82d8b50595c5aba5e5ffc5a
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 2676 : Add some tuning parameters to improve performance of CDS

Added two parameters,
- throughput = 1 this is to make the dispatcher fair, which helps in preventing
  actor starvation
- SingleConsumerOnlyUnboundedMailbox which is a more efficient and recommended
  Mailbox to use in our case

I've tested both these settings and they seem to work pretty well and do not
contribute to destabilization

Change-Id: I5072f7dad7ad862eaafaada3e88d78600fb3665d
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2734 : Use the 95th percentile number to determine backpressure

When running tests with OpenFlow I see the following transaction completion
times consistently for 127 and 255 switches with statistics on.

50% - 5-6 ms
75% - 7-8 ms
95% - 20-60 ms
98% - 100-160 ms

By using the 95th percentile number to determine transaction creation backpressure
we can safely increase our throughput without causing timeouts due to outliers.

Change-Id: I0d9739b3045afb389583f2dd18ac431215a28f84
Signed-off-by: Moiz Raja <moraja@cisco.com>

Make reconnect on capability changed truly optional

There was true by default hardcoded in the code ignoring configuration

Change-Id: If6d8acdfba350eaed65e660c7b9e994751e9ddf7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Prevent multiple config pushers

Up to this point, it was possible to spawn multiple config pushers.
This was probably already happening with no observable effect other than relatively frequent Optimistic lock failed exceptions from config subsystem.

Change-Id: Idf994c1a184a070a32440c57c5ca55a0740c21d6
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix RaftActorTest.testRaftRoleChangeNotifier failure

I saw this test fail once:

   java.lang.AssertionError: expected:<3> but was:<2>
        at org.junit.Assert.fail(Assert.java:88)
        at org.junit.Assert.failNotEquals(Assert.java:743)
        at org.junit.Assert.assertEquals(Assert.java:118)
        at org.junit.Assert.assertEquals(Assert.java:555)
        at org.junit.Assert.assertEquals(Assert.java:542)
        at
org.opendaylight.controller.cluster.raft.RaftActorTest$13.<init>(RaftActorTest.java:894)
        at
org.opendaylight.controller.cluster.raft.RaftActorTest.testRaftRoleChangeNotifier(RaftActorTest.java:881)

The test has an arbitrary 2 sec wait before retrieving the collected
RoleChanged messages. With the election timeout and arbitrary GC and threading
delays, 2 sec may not be enough.

Arbitrary sleeps in tests are usually trouble - I made it deterministic
by waiting 5 sec for the expected messages.

Change-Id: I51c24a5844321bbd000a0460777d08b51a5f82c8
Signed-off-by: tpantelis <tpanteli@brocade.com>

Migrate deprecated guava methods

sameThreadExecutor() has been deprecated, use its replacement instead.

Change-Id: Icf1fed34977bd64393f48fe9e9829bee7f7db846
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use Preconditions

Instead of an explicit if/throw, use a checkState.

Change-Id: Ia871c93649bfa6bd2f6e2283a3baa7eca6a8ca91
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not override artifact versions

We already have these defined in appropriate management sections, no
need to override them here.

Change-Id: I529ade39566be065c6992ef1b72a3d8f0cdef076
Signed-off-by: Robert Varga <rovarga@cisco.com>

Refactor AbstractRaftActorBehaviorTest and IsolatedLeaderTest

Removed the Within blocks in tests.

Used TestActorFactory to create and cleanup actors.

Added some more assertions in some tests.

Change-Id: Idd790b97dd396c75676843779ceab192b848aa17
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "InstallSnapshot does not pass the term to the protobuff instance"

Merge "Initial message bus implementation"

Merge "BUG-2634 Config binding for netconf server"

Merge "BUG-2633 - Netconf northbound mapping."

Merge "BUG-2633 - Added Operation Service Factory Filtering for Netconf."

InstallSnapshot does not pass the term to the protobuff instance

Change-Id: If84d7ddc81fd1ea154477fe9795bba9e748af24c
Signed-off-by: tpantelis <tpanteli@brocade.com>

Refactor CandidateTest

Removed the Within blocks in tests.

Used TestActorFactory to create and cleanup actors.

Added some more assertions in some tests.

Change-Id: I558876cd058a0ad7818317ec98fc93c4bde95630
Signed-off-by: tpantelis <tpanteli@brocade.com>

Refactor FollowerTest

Removed the Within blocks in tests.

Changed all the tests to use the leaderActor and followerActor class
members for consistency. The actors are killed on tearDown by the TestActorFactory.
The creation of a JavaTestKit block is no longer necessary and was removed from each test.

Added some more assertions in some tests.

Change-Id: Iee793c2b1129b5826dbd3c267c404aae30418fdb
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Refactor LeaderTest"

Merge "Bug 2538: Remove redundant Augmentation checks and tests"

BUG-2682: switch sal-binding-dom-it to sal test models

 - DilcardedDataChangeListenerTest
 - ConcurrentImplicitCreateTest
 - BrokerIntegrationTest
 - ChangeOriginatedInDomBrokerTest

Change-Id: I20f2c6d5d93a535f0ccfb0efc484ec099a75f53b
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug 2682 - Switch sal-binding-dom-it to sal-test-model"

Bug 2682 - Switch sal-binding-dom-it to sal-test-model

* Migration to sal-test-model

Change-Id: If46014ec4cc8b3311a7766bcb2cb9a61b9e71592
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
Signed-off-by: Martin Bobak <mbobak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Initial message bus implementation

This patch follows up on the API definition and builds a simple
implementation.

Change-Id: Ic128538a02d71a40ea44efe53f3c4b4503c068ac
Signed-off-by: Robert Gallas <rgallas@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Introduce message bus models

This patch introduces the basic mechanics for integrating various event
sources across MD-SAL, effectively forming a message bus.

Change-Id: I5cbaf9c0975f38c3e3c05ab9862aacf20d2b57c6
Signed-off-by: Robert Gallas <rgallas@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Raft behavior logging

Added more logging in the raft behavior classes where appropriate.

Reduced logging in some places to trace or removed redundant logging to
avoid too much output when debug level is enabled.

Removed isDebugEnabled() checks in various places where not needed to
improve test line coverage.

Also I found it useful to see the behavior's state in the log messages.
So I added a logName field and method to AbstractRaftBehavior that
is printed in each log message instead of just context.getId().

Also added/modified toString() in a few RaftRPC message classes.

Change-Id: Ic4d3c93e25d5caf16319b8433d54cab69b26f5c0
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug-2692:Real snapshots should use the replicatedToAllIndex for clearing in-mem log"

Merge "Make ReadData exception logging less noisy"

Merge "Minor enhancements to dummy datastore"

Minor enhancements to dummy datastore

- Log Duplicate AppendEntries
- Enhance AppendEntries logging
- Make logging configurable
- Handle append entries with multiple entries
- Do not delay append entry reply for heartbeats, do so only for messages with entries

Change-Id: Ife856bb469e81c42d22ff4a6f13637ee2cf00cce
Signed-off-by: Moiz Raja <moraja@cisco.com>

Make ReadData exception logging less noisy

There is some component (openflow) which is reading data on a ClosedTransaction.
This is causing logging on the datastore side. The component itself seems to handle
the error reported by the datastore quietly, so switching the logging the error to
debug and logging full stack trace at trace level.

Change-Id: I3c118765dca7f4a50d26c8dd50eee96c65de1871
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Introduce message bus models"

Do not override jsr305 version

The override puts it at 2.0.1, odlparent has it 2.0.3, which causes
compile-time maven warnings. Remove the override.

Change-Id: I99b874977b670d8af811642ecb28c2240d965dfd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-2573: mark CompositeNode-based RPC APIs obsolete"

Merge "Marked as deprecated all classes within protocol-framework."

Migrate to MoreObjects.ToStringHelper

Objects.ToStringHelper has been deprecated and moved to MoreObjects.
Adjust to this change.

Change-Id: Ibcaaebfe8e2cbbd77e624a53fc153d857b373a81
Signed-off-by: Robert Varga <rovarga@cisco.com>

Refactor LeaderTest

Removed the remaining Within blocks in tests.

Changed each test to use the leaderActor and followerActor class members for
consistency. The actors are killed on tearDown. The creation of a
JavaTestKit block is no longer necessary and was removed from each test.

Added a shorcut method createActorContextWithFollower that creates the
leader context and adds a peer follower. This eliminates some duplicate code
in the tests.

Added an expectFirstMatching method to MessageCollector that waits for
the message in contrast to getFirstMatching.

Added some more assertions in some tests.

Change-Id: Id4ee0291352999b31e40abd9895e3d0237acf432
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug-2692:Real snapshots should use the replicatedToAllIndex for clearing in-mem log

Similar to fake snapshots, real snapshots should also be using the replicatedToAllIndex.

replicatedToAllIndex is part of the RaftActorBehavior.

A performSnapshotWithoutCapture helper method is part of the AbstractRaftActorBehavior.

On CaptureSnapshotReply, we clear the log based on replicatedToAllIndex and the corresponding term.

Many of the existing tests seem to test out this changes and some were added and enhanced.

Bug-2715: Fix in-mem log cleanup for an Inactive follower

In case if one of the follower is down, rely on the memory usage to clear the log.

This is done in CaptureSnapshotReply

Change-Id: Ifb3ca19691f20735e3f84b968a7adf01398c20e0
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>