Introduce a mechanism for a Follower to signal it's sync up status

This patch introduces a new message FollowerInitialSyncUpStatus. The
purpose of the message is to inform the RaftActor or a sub-class thereof
whether the Follower's commitIndex is now atleast at the same level
as the Leader was when it first sent a heartbeat to the Follower.

This will hopefully be useful in a rolling upgrade scenario where
we may have just brought up a new node and need to wait for it to be
synced with the current leader before we bring down and upgrade another
node in the cluster.

Change-Id: If19e4d98c2be708fc6a35823ca92cfac7ca87394
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2762 : Compute rate limit based on a more lenient algorithm

Calculate the rate limit by looking at each percentile tenth instead of
a single value. This provides a more accurate limit.

Change-Id: Ic71476613ab966c716c203768f3ff395cb251ed0
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fixed compilation breakage in Netconf CLI

Change-Id: I59380b25f50304c18e724ca435a290cba1ddc3c0
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Remove neutron post project split"

Merge "Startup arch - add odlparent to root pom."

Remove neutron post project split

Now that neutron code has been split into own repo, clean up here

Change-Id: I6529bedf160c1e1d0ba2c35a37a9b01284fe03a3
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Merge "BUG 2412 - restconf @GET getModule(identifier,uri) method migration"

Merge "BUG 2412 - restconf @GET getModule(identifier,uri) method migration"

Merge "BUG 2412 - restconf @GET getModule(uri) method migration"

Merge "Removing { } from NormalizedNodeJsonBodyWriter"

BUG 2412 - restconf @GET getModule(identifier,uri) method migration

    * migration to new faster Infrastructure API and Codecs for method
    @GET getModules(String,UriInfo) on @Path {/modules/module/identifier}

    New faster Infrastructure API works with NormizedNodeContext and
    we are replacing first method getModule(URI) from RestconfService
    to use NormalizedNodeContext.

Change-Id: I7ae36a13ce4533598bbc3abf73d9090e1922abdb
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 2412 - restconf @GET getModule(identifier,uri) method migration

* migration to new faster Infrastructure API and Codecs for method
@GET getModules(String,UriInfo) on @Path {/modules/identifier}

New faster Infrastructure API works with NormizedNodeContext and
we are replacing first method getModule(URI) from RestconfService
to use NormalizedNodeContext.

* add yang models for fix tests (mountpoint tests - TestUtility
loads modules from local directory only)

Change-Id: I394d6d31f650e086ce302a0ba973f1e4a4599ef8
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 2412 - restconf @GET getModule(uri) method migration

    * migration to new faster Infrastructure API and Codecs for method
    @GET getModules(UriInfo) on @Path {/modules}

    New faster Infrastructure API works with NormizedNodeContext and
    we are replacing first method getModule(URI) from RestconfService
    to use NormalizedNodeContext.

Change-Id: I9327badeac38a82c9e50721dc47338fc7ae164a1
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 2412 - Restconf migration - marking deprecated classes

* mark basic deprecated classes and functionality which has to
be overwirte by this commit chain.

New faster Infrastructure API works with NormizedNodeContext
and it provides read/write REST msg body (JSON & XML) direct
to NormalizedNodeContext. So we have to replace all places
where we use StructuredData, CompositeNode, NodeWrapper and
all relevant REST codecs (e.g. XmlToCompositeNodeProvider...)

Change-Id: I33ff24e5a8de2876dfdb6ea263fc9cb659fc3db8
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Bug 2365: YIN Schema download support for Restconf

Implementation of Restconf 03 Draft Schema download
functionality with additional support for downloading
runtime-generated YIN schema and mount points.

Introduced new endpoints which are:
  /restconf/modules/module/{module}/{revision}/schema

and
  /restconf/modules/module/{mount}/{module}/{revision}/schema

For downloading supplied YANG module in YIN format (default)
or YANG format if Accept header contains application/yang
mime-type.

depends on:
yangtools -  https://git.opendaylight.org/gerrit/#/c/15258/

patch set 3:
 * SchemaExportContentYniBodyWriter : fix reference YinUtils
to YinExportUtils
 * create RestconfValidationUtils + move validation from
SchemaRetrievalServiceImpl
 * pom.xml - add private package
                org.opendaylight.controller.md.sal.rest.common

Change-Id: Ibd2956472ad35d13cb65e305df377f98518b4738
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Fix a race in PingPong transaction scheduling

We have failed to re-check inflighTx after taking the lock, which meant
that completion and readiness may have raced resulting in warnings about
transaction being submitted while there are others in-flight.

Fix also the shutdown case, which could trigger an unexpected warnings
if there is an inflight transaction.

Change-Id: Ie3a3845335754860a831070d5a73dbc9a4d67d3c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 2697: Improvement wrong response handling, missing message"

Merge "Bug 2731: Discard changes only when transaction exist."

Merge "Sharded implementation of DOMDataTreeService"

Merge "Fix race condition in get/get-config netconf rpcs for config subsystem"

Sharded implementation of DOMDataTreeService

This patch adds a simplistic implementation of a DOMDataTreeService and
a DOMDataTreeShardingService.

Change-Id: Ibb76c99d0fa842b1034a2b747c4ec57816f99c7d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Make DOMDataTreeIdentifier implement Comparable"

Merge "Pass down a collection of cohorts"

Merge "Startup archetype - move impl under 'impl' namespace to prevent exporting."

Merge "Startup arch - Add scm section to root pom."

Merge "Startup arch - feature cleanup"

Merge "Skip install and deploy of karaf artifact."

Make DOMDataTreeIdentifier implement Comparable

We can easily define total ordering on this class, which is useful for
maintaining order so that we can find the longest-prefix match easily by
iterating over the keys in the natural ordering.

Change-Id: Ie2f83ea494fe278df4acc1cb6059dae440ef8f37
Signed-off-by: Robert Varga <rovarga@cisco.com>

Pass down a collection of cohorts

Rather than using an iterable, use a Collection. This saves a bit of
code and makes the size available wherever the collection goes.

Change-Id: I7ab9fa594676c221c8a4a0b3e227625af462c338
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 2676 : Use notification-dispatcher for DataChangeListener actors"

Merge "BUG 2676 : Use transaction-dispatcher for ShardTransaction"

Merge "BUG 2676 : Use shard-dispatcher for ShardManager and Shard actors"

Merge "BUG 2676 : Use custom client-dispatcher when configured"

Merge "BUG 2676 : Introduce API for accessing akka dispatchers"

Merge "BUG 2718 : Create a diagnostic utility to track append entries replies"

Merge "BUG 2741 : Fix issue with real snapshotting when replicatedToAllIndex=-1"

Startup archetype - move impl under 'impl' namespace to prevent exporting.

Change-Id: I2767080af78569a2af8d0c1114d1471a62cbc302
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

Merge "Bug 2673: Binding cursor-based data change API"

Startup arch - add odlparent to root pom.

Change-Id: I50b9a58aee797f6821816f19984005e9e347c3d9
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

Startup arch - Add scm section to root pom.

Change-Id: Ie20d9f6f0e2201c0c1f7995e451c583c085e689c
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

Startup arch - feature cleanup

Change-Id: I8a6c19cb8bfdb21dfa7bab8b427d8b7922fc9a9c
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

Merge "Re-enable running of SingleFeaturesTest"

Skip install and deploy of karaf artifact.

Change-Id: Ib96201b9408216c58b3d573c593a523ef65eafd0
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

Merge "Startup archetype: remove 'Impl' from config subsystem Module name."

Merge "Startup archetype: Add basic unit tests for impl."

Merge "Startup arch - remove artifactId prefix from dir names."

Merge "Cleanup root pom "name"."

Merge "Serialize capabilities for notification properly"

Merge "BUG-2600 Proper reset caching of notifications upon disconnect"

Merge "BUG-2635 Netconf monitoring for md-sal netconf northbound"

Merge "DOMDataTree APIs"

Merge "Update JMX generator"

Merge "xsql should pull junit directly"

Serialize capabilities for notification properly

Added and removed capabilities in capabilities change notification were serialized as QName.toString but should be na Uri

Change-Id: Id9783c060ecf45d3a7f506cf605051c779a6d21a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2600 Proper reset caching of notifications upon disconnect

Change-Id: I9269aef2fee21138b30552ffb0762d73ba98d4be
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2635 Netconf monitoring for md-sal netconf northbound

Monitoring for mdsal's netconf stores all available monitoring data in the datastore and provides get-schema operation

Change-Id: I573c5d57e5cf25d7688f3355b602327c7af75c65
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Migrate JMX plugin's use of BindingGeneratorUtil"

Merge "Migrate deprecated guava methods"

Merge "Do not override artifact versions"

Merge "Use Preconditions"

Merge "Do not override jsr305 version"

Fix race condition in get/get-config netconf rpcs for config subsystem

The read and transformation of modules from config subsystem is performed in a couple of steps. Each step queried the config subsystem on its own so it was possible to cause inconsistencies among these steps if get/get-config was executed while another transaction was being committed. This race condition, if hit, caused the rpcs to fail with an exception of a missing MBean.

After recent introduction of "optional reconnect after capability changed" feature into sal-netconf-connector, this race condition caused get rpc invoked by the connector to fail.
Scenario:
odl-netconf-connector-all is installed,
after the loopback is connected any other feature with configuration is installed e.g. odl-restconf-all,
loopback connector reconnects and as it comes back executes get rpc (to query ietf-netconf-monitoring)
get rpc in config-netconf-connector fails to transform the modules into xml due to mentioned race condition as the initial config file for restconf has been pushed

Now the get/get-config read the data from a dedicated transaction started just for the read.
Note: get rpc reads the runtime beans that are part of no transaction, so there is still possibility for this race condition regarding runtime beans.

Change-Id: I0822bc48745f9f680b116095693052dff752dee3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2731: Discard changes only when transaction exist.

Change-Id: I2aef83475092e75cc87d3a5edcb37e985ef132f6
Signed-off-by: Marian Dubai <mdubai@cisco.com>

DOMDataTree APIs

This patch introduces the end-user visible API model for interacting
with the conceptual data tree. Unlike our previous APIs, these revolve
around applications explicitly binding their inputs (former data change
listeners) and outputs (former explicit writes). This allows efficient
inter-datastore interactions to be maintained by understanding what
sort of output applications make and what sort of indexes are required
to feed them the data they require. Beryllium evolution will see the
DOMDataTreeListener being subscribed to an XQuery expression, thus
providing a dense definition of what data the applciation actually
extracts out of the subtree.

Change-Id: I11446ce7f8dbd7cf61540f72e463460b483ff15f
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2635 Prepare netconf monitoring service for md-sal monitoring.

So that the monitoring service provides all the information in one place.

Also move get-schema rpc into netconf-monitoring from netconf-impl.

Change-Id: Ia7dc47ea4997df417795f079a7c045709dbaaf47
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Remove required source element from Get operation for MDSAL

Change-Id: I2c1495dfac8ecad00605f4df98b310b3d99ac4ed
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Make reconnect on capability changed truly optional"

Merge "Prevent multiple config pushers"

BUG 2741 : Fix issue with real snapshotting when replicatedToAllIndex=-1

Change-Id: I59b236fd88a329021365f204077170ca260e0b32
Signed-off-by: Moiz Raja <moraja@cisco.com>

Use Config Admin to overlay datastore properties

Added functionality to configure DatastoreContext settings via a
properties file, org.opendaylight.controller.cluster.datastore.cfg, in the karaf
etc dir. The properties are overlayed onto the DatastoreContext that is
initialized via the config yang XML file. This allows for separation of
the wiring in the config yang XML from the user-facing config settings
to facilitate preserving the user-facing config settings on upgrade
while applying wiring changes.

The DatastoreContextIntrospector class is responsible for applying the
property key/values obtained from the Config Admin Configuration to the
current DatastoreContext.

The DatastoreContextConfigAdminOverlay class interfaces with the
ConfigurationAdmin OSGi service to obtain the configuration and calls
into the DatastoreContextIntrospector.

Modified DatastoreContext.Builder to support loading from an existing
DatastoreContext instance and applying changes to it to yield a new
instance on build.

Added a DatastoreConfigurationMXBean that reports the DatastoreContext
settings via JXM. This is useful to see what settings are currently
applied.

Most of the other changes were to wire the new classes from the Module
class to the DistributedDatastore.

Added new unit tests to cover the new code.

Change-Id: I9427907dac576bd416bad677a56fa8259af59a09
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Bug 2597: Batch modification operations in TransactionProxy"

Merge "Create odl-nsf-service feature, which excludes neutron feature"

Fix spurious failures in RaftActorTest due to RecoveryComplete

testSaveSnapshotSuccessCallsDataPersistence fails sporadically due
to RecoveryComplete interfering with the test. In
handleCaptureSnapshotReply it sets replicatedToAllIndex in the
behavior. On RecoveryCompleted, it initializes the behavior which
creates a new Follower with replicatedToAllIndex initialized to -1.
Recovery is done asyn so if RecoveryCompleted occurs after
CaptureSnapshotReply, the test fails because replicatedToAllIndex
isn't the expected value.

We need to call waitForInitializeBehaviorComplete after creating the
MockRaftActor so recovery and behavior initialization is complete before
starting the tests.

Change-Id: I3176afbf7ac937550c33bdb57d14d6968dbc2514
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Fix RaftActorTest.testRaftRoleChangeNotifier failure"

BUG 2733 : Leader should always schedule heartbeats

This ensures that lagging or new followers are not starved as this
can potentially destabilize the cluster

Change-Id: Ic83d9d595a1222550286f3eb29d4cdef7bf1bccd
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 2597: Batch modification operations in TransactionProxy

Modified TransactionContextImpl to batch write, merge, delete modification
operations into a single BatchedModifications message and send the batch when a
count threshold is reached.

Instead of using the current WriteData, MergeData, DeleteData message classes
in BatchedModifications, I reused the Modification classes that are used
as the payload for peristence and replication. BatchedModifications
derives from MutableCompositeModification.

The ShardWriteTransaction now simply transfers the Modification
instances in the BatchedModifications instance to its internal
MutableCompositeModification and applies the Modifications to its
transaction.

The Modification classes were refactored a little wrt to versioning.
The Write/Merge/DeleteModifications no longer read/write the version
from the stream. The version is read/written by MutableCompositeModification
so it's redundant to also do so in the data Modification classes.

The WriteData, MergeData, DeleteData and associated reply classes were
deprecated. I did refactor them a little (along with ReadDataReply) as I
was originally going to use them. The VersionedSerializableMessage interface
was removed as I realized it makes more sense to pass the version in the WriteData,
MergeData, DeleteData constructors instead of passing the version via
toSerializable. This made it easier in TransactionContextImpl to transition it
to use BatchedModifications. I created a VersionedExternalizableMessage
base class that reads/write the version.

To handle backwards compatibility with Helium, I derived a
LegacyTransactionContextImpl class from TransactionContextImpl that overrides
writeData, mergeData and deleteData to send WriteData, MergeData,
DeleteData messages. TransactionProxy creates this instance if the
remote tx versions is < Lithium version.

Change-Id: I28df1f89e97667eaca114b991355a6e9d0160a59
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 2676 : Use notification-dispatcher for DataChangeListener actors

Change-Id: I154e1598a3058a978902fd6db5512d51dff36a62
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use transaction-dispatcher for ShardTransaction

Change-Id: If70e141ff4e0eae0bd41ba70d4b0c126eb752fa1
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use shard-dispatcher for ShardManager and Shard actors

Change-Id: Ib6aed392eb861bb1da16d4780f08b27fad6d17db
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use custom client-dispatcher when configured

Use a client dispatcher for all code which originates at the client
end and requires a dispatcher for completion of a Future that was
created by an ask

Change-Id: If2c1fa064e368152539ad21622985cc044f305d3
Signed-off-by: Moiz Raja <moraja@cisco.com>

Re-enable running of SingleFeaturesTest

For reasons I have not yet figured out, depending on the
yangtools version of features-test causes features tests
to no longer run.  This patch changes controller
to depending on the features-tests from odlparent

Change-Id: I45397f042cc367addde2ada74a27aba98fc98126
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG 2676 : Introduce API for accessing akka dispatchers

Change-Id: I2a9b0f0848da1a6181a3e6c8d61d0d96499a61d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2718 : Create a diagnostic utility to track append entries replies

This patch introduces a utility to keep track of all messages that were
processed between the time a certain message is received. It is used for
tracking why AppendEntriesReply do not come in a timely manner. This is
important to know because if a leader will switch to IsolatedLeader if
these messages do not arrive within the ElectionTimeout interval causing
disruption in service.

Change-Id: I13bab798aad8a225d22d2ebd3775cbf0bf1d1592
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix for Bug 2727 - Upgrade Akka from 2.3.4 to 2.3.9"

Update JMX generator

This takes advantage of the fact maven 3.1.1 supports slf4j natively.
Also fixup some of the coding style issues still present.

Change-Id: I37724cc0a5c194fc333c577f39deaf550c341d34
Signed-off-by: Robert Varga <rovarga@cisco.com>

xsql should pull junit directly

Currently we pull junit transitively, which means it will break once the
transitive dependencies change.

Change-Id: I50ad5143811fb21d4719bd47085f366899ae7409
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 2702 : Switch to a low impact scheduling mechanism for IsolatedLeaderCheck"

Merge "BUG 2676 : Add a diagnostic log message to detect delay in ApplyState processing"

Merge "Revert "BUG-2637: migrate features""

Revert "BUG-2637: migrate features"

This reverts commit 300d247c3c68387bf0bed3fc9dd90558ebe01f3f.

300d247c3c68387bf0bed3fc9dd90558ebe01f3f broke because the flow-features were not migrated properly to openflowplugin.

Change-Id: I6502a93b10b4c5ee41d037da216092cdf003d17f
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-2637: migrate features"

BUG 2702 : Switch to a low impact scheduling mechanism for IsolatedLeaderCheck

Using the akka scheduler's schedule mechanism to schedule tasks can cause
disruption in processing messages as scheduled messages can get processed before
other messages. To avoid this we now generate an isolated leader check from
the heartbeat processor and avoid an extra scheduled task.

Change-Id: Ied6b518796da92742e2c61eebcd1e0a3415df66a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add a diagnostic log message to detect delay in ApplyState processing

Log a message when ApplyState is processed 50 milliseconds after being generated

Change-Id: I7e101dab292b4a72d23904798dc2362a740e4c04
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 2676 : Add more context to the Initiate snapshot capture log message"

Merge "BUG 2676 : Reduce default logging in Dummy Data Store"

Create odl-nsf-service feature, which excludes neutron feature

Deprecated neutron interfaces in controller, as they are now moved to the neutron repo.

With this change, odl-nsf-service provides an upgrade path, so that projects can migrate to the new neutron
feature w/out changing the other features associated with the soon to be retired odl-nsf-all.

The new neutron features are available via: odl-neutron-service

Change-Id: Ifabf60e62d1f8c512165a8d32d25093e13ff9107
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Merge "BUG 2676 : Add diagnostic message when AppendEntriesReply comes in very late"

Merge "BUG 2676 : Add some tuning parameters to improve performance of CDS"

BUG-2637: migrate features

 - remove migrated features
 - integration test fix:
   - commented out dependencies to models affected by migration
   - adapted sal-binding-it in order not to push those models
     into pax-exam context
   - adapted sal-binding-broker-impl to use those models only in
     test scope
 - cleaned commented code/config

Change-Id: I8e09a7cd9ff9ba0f041abe1bf739be755aed3e8d
Signed-off-by: Michal Rehak <mirehak@cisco.com>

BUG 2676 : Add more context to the Initiate snapshot capture log message

Add more context in the Initiate snapshot capture log message so that when
a snapshot capture occurs due to lack of memory we can get a little more
detail from the logs.

Change-Id: I85647adcf74d7eb36f767ba5dd6824e64a802811
Signed-off-by: Moiz Raja <moraja@cisco.com>