BUG 2676 : Use notification-dispatcher for DataChangeListener actors

Change-Id: I154e1598a3058a978902fd6db5512d51dff36a62
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use transaction-dispatcher for ShardTransaction

Change-Id: If70e141ff4e0eae0bd41ba70d4b0c126eb752fa1
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use shard-dispatcher for ShardManager and Shard actors

Change-Id: Ib6aed392eb861bb1da16d4780f08b27fad6d17db
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Use custom client-dispatcher when configured

Use a client dispatcher for all code which originates at the client
end and requires a dispatcher for completion of a Future that was
created by an ask

Change-Id: If2c1fa064e368152539ad21622985cc044f305d3
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Introduce API for accessing akka dispatchers

Change-Id: I2a9b0f0848da1a6181a3e6c8d61d0d96499a61d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2718 : Create a diagnostic utility to track append entries replies

This patch introduces a utility to keep track of all messages that were
processed between the time a certain message is received. It is used for
tracking why AppendEntriesReply do not come in a timely manner. This is
important to know because if a leader will switch to IsolatedLeader if
these messages do not arrive within the ElectionTimeout interval causing
disruption in service.

Change-Id: I13bab798aad8a225d22d2ebd3775cbf0bf1d1592
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2702 : Switch to a low impact scheduling mechanism for IsolatedLeaderCheck

Using the akka scheduler's schedule mechanism to schedule tasks can cause
disruption in processing messages as scheduled messages can get processed before
other messages. To avoid this we now generate an isolated leader check from
the heartbeat processor and avoid an extra scheduled task.

Change-Id: Ied6b518796da92742e2c61eebcd1e0a3415df66a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add a diagnostic log message to detect delay in ApplyState processing

Log a message when ApplyState is processed 50 milliseconds after being generated

Change-Id: I7e101dab292b4a72d23904798dc2362a740e4c04
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 2676 : Add more context to the Initiate snapshot capture log message"

Merge "BUG 2676 : Reduce default logging in Dummy Data Store"

Merge "BUG 2676 : Add diagnostic message when AppendEntriesReply comes in very late"

Merge "BUG 2676 : Add some tuning parameters to improve performance of CDS"

BUG 2676 : Add more context to the Initiate snapshot capture log message

Add more context in the Initiate snapshot capture log message so that when
a snapshot capture occurs due to lack of memory we can get a little more
detail from the logs.

Change-Id: I85647adcf74d7eb36f767ba5dd6824e64a802811
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Reduce default logging in Dummy Data Store

Reduce the default log level to error and added a diagnostic
log message to detect situations where an append entries does
not get sent in a reasonable amount of time (5 seconds)

Change-Id: I46b7b20688207318dcfec2b209519761ecf1d93d
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add diagnostic message when AppendEntriesReply comes in very late

Log an error message when an AppendEntriesReply arrives beyond the ElectionTimeout
period. This may help detect cases where messages are not being processed
fast enough by the actor system. This particular condition can cause a Leader to
become an IsolatedLeader even if the remote Follower is receiving heartbeats.

Change-Id: Id6a797820b63cb4f18c3d1bbd2781e72674aa9d8
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Add some tuning parameters to improve performance of CDS

Added two parameters,
- throughput = 1 this is to make the dispatcher fair, which helps in preventing
  actor starvation
- SingleConsumerOnlyUnboundedMailbox which is a more efficient and recommended
  Mailbox to use in our case

I've tested both these settings and they seem to work pretty well and do not
contribute to destabilization

Change-Id: I5072f7dad7ad862eaafaada3e88d78600fb3665d
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2734 : Use the 95th percentile number to determine backpressure

When running tests with OpenFlow I see the following transaction completion
times consistently for 127 and 255 switches with statistics on.

50% - 5-6 ms
75% - 7-8 ms
95% - 20-60 ms
98% - 100-160 ms

By using the 95th percentile number to determine transaction creation backpressure
we can safely increase our throughput without causing timeouts due to outliers.

Change-Id: I0d9739b3045afb389583f2dd18ac431215a28f84
Signed-off-by: Moiz Raja <moraja@cisco.com>

Refactor AbstractRaftActorBehaviorTest and IsolatedLeaderTest

Removed the Within blocks in tests.

Used TestActorFactory to create and cleanup actors.

Added some more assertions in some tests.

Change-Id: Idd790b97dd396c75676843779ceab192b848aa17
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "InstallSnapshot does not pass the term to the protobuff instance"

InstallSnapshot does not pass the term to the protobuff instance

Change-Id: If84d7ddc81fd1ea154477fe9795bba9e748af24c
Signed-off-by: tpantelis <tpanteli@brocade.com>

Refactor CandidateTest

Removed the Within blocks in tests.

Used TestActorFactory to create and cleanup actors.

Added some more assertions in some tests.

Change-Id: I558876cd058a0ad7818317ec98fc93c4bde95630
Signed-off-by: tpantelis <tpanteli@brocade.com>

Refactor FollowerTest

Removed the Within blocks in tests.

Changed all the tests to use the leaderActor and followerActor class
members for consistency. The actors are killed on tearDown by the TestActorFactory.
The creation of a JavaTestKit block is no longer necessary and was removed from each test.

Added some more assertions in some tests.

Change-Id: Iee793c2b1129b5826dbd3c267c404aae30418fdb
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Refactor LeaderTest"

Merge "Bug 2538: Remove redundant Augmentation checks and tests"

BUG-2682: switch sal-binding-dom-it to sal test models

 - DilcardedDataChangeListenerTest
 - ConcurrentImplicitCreateTest
 - BrokerIntegrationTest
 - ChangeOriginatedInDomBrokerTest

Change-Id: I20f2c6d5d93a535f0ccfb0efc484ec099a75f53b
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug 2682 - Switch sal-binding-dom-it to sal-test-model"

Bug 2682 - Switch sal-binding-dom-it to sal-test-model

* Migration to sal-test-model

Change-Id: If46014ec4cc8b3311a7766bcb2cb9a61b9e71592
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
Signed-off-by: Martin Bobak <mbobak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Initial message bus implementation"

Merge "BUG-2634 Config binding for netconf server"

Merge "BUG-2633 - Netconf northbound mapping."

Merge "BUG-2633 - Added Operation Service Factory Filtering for Netconf."

Initial message bus implementation

This patch follows up on the API definition and builds a simple
implementation.

Change-Id: Ic128538a02d71a40ea44efe53f3c4b4503c068ac
Signed-off-by: Robert Gallas <rgallas@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Introduce message bus models

This patch introduces the basic mechanics for integrating various event
sources across MD-SAL, effectively forming a message bus.

Change-Id: I5cbaf9c0975f38c3e3c05ab9862aacf20d2b57c6
Signed-off-by: Robert Gallas <rgallas@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Raft behavior logging

Added more logging in the raft behavior classes where appropriate.

Reduced logging in some places to trace or removed redundant logging to
avoid too much output when debug level is enabled.

Removed isDebugEnabled() checks in various places where not needed to
improve test line coverage.

Also I found it useful to see the behavior's state in the log messages.
So I added a logName field and method to AbstractRaftBehavior that
is printed in each log message instead of just context.getId().

Also added/modified toString() in a few RaftRPC message classes.

Change-Id: Ic4d3c93e25d5caf16319b8433d54cab69b26f5c0
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug-2692:Real snapshots should use the replicatedToAllIndex for clearing in-mem log"

Merge "Make ReadData exception logging less noisy"

Merge "Minor enhancements to dummy datastore"

Minor enhancements to dummy datastore

- Log Duplicate AppendEntries
- Enhance AppendEntries logging
- Make logging configurable
- Handle append entries with multiple entries
- Do not delay append entry reply for heartbeats, do so only for messages with entries

Change-Id: Ife856bb469e81c42d22ff4a6f13637ee2cf00cce
Signed-off-by: Moiz Raja <moraja@cisco.com>

Make ReadData exception logging less noisy

There is some component (openflow) which is reading data on a ClosedTransaction.
This is causing logging on the datastore side. The component itself seems to handle
the error reported by the datastore quietly, so switching the logging the error to
debug and logging full stack trace at trace level.

Change-Id: I3c118765dca7f4a50d26c8dd50eee96c65de1871
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Introduce message bus models"

Merge "BUG-2573: mark CompositeNode-based RPC APIs obsolete"

Merge "Marked as deprecated all classes within protocol-framework."

Migrate to MoreObjects.ToStringHelper

Objects.ToStringHelper has been deprecated and moved to MoreObjects.
Adjust to this change.

Change-Id: Ibcaaebfe8e2cbbd77e624a53fc153d857b373a81
Signed-off-by: Robert Varga <rovarga@cisco.com>

Refactor LeaderTest

Removed the remaining Within blocks in tests.

Changed each test to use the leaderActor and followerActor class members for
consistency. The actors are killed on tearDown. The creation of a
JavaTestKit block is no longer necessary and was removed from each test.

Added a shorcut method createActorContextWithFollower that creates the
leader context and adds a peer follower. This eliminates some duplicate code
in the tests.

Added an expectFirstMatching method to MessageCollector that waits for
the message in contrast to getFirstMatching.

Added some more assertions in some tests.

Change-Id: Id4ee0291352999b31e40abd9895e3d0237acf432
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug-2692:Real snapshots should use the replicatedToAllIndex for clearing in-mem log

Similar to fake snapshots, real snapshots should also be using the replicatedToAllIndex.

replicatedToAllIndex is part of the RaftActorBehavior.

A performSnapshotWithoutCapture helper method is part of the AbstractRaftActorBehavior.

On CaptureSnapshotReply, we clear the log based on replicatedToAllIndex and the corresponding term.

Many of the existing tests seem to test out this changes and some were added and enhanced.

Bug-2715: Fix in-mem log cleanup for an Inactive follower

In case if one of the follower is down, rely on the memory usage to clear the log.

This is done in CaptureSnapshotReply

Change-Id: Ifb3ca19691f20735e3f84b968a7adf01398c20e0
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug-2692 : Eliminate InitiateInstallSnapshot"

Marked as deprecated all classes within protocol-framework.

- this part of controller will be removed between M3 and M5
- if you're using it, rewrite your code to use netty directly

Change-Id: I864b914d885e15029bca903829c683306780a69d
Signed-off-by: Dana Kutenicsova <dkutenic@cisco.com>

BUG-2634 Config binding for netconf server

MD-SAL based netconf northbound is activated using feature: odl-netconf-mdsal

Change-Id: I6b0ae0db30bb239fcd073883ffe76ff7c5fc0143
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2633 - Netconf northbound mapping.

Supported operations for now are:
get, get-config - candidate and running datastore, without filtering
edit-config - only on candidate datastore
discard-changes
lock, unlock - supported only for compatibility reasons since we don't support locking of running datastore, and each session has it's own candidate datastore.
commit

Change-Id: Idb0bad09dc1d8925674576290fecb47ccd1e5dbd
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2633 - Added Operation Service Factory Filtering for Netconf.

Since getting services is done by class name, we needed to add additional filtering by
name to not get controller subsystem netconf operations mixed up with md-sal northbound.

Change-Id: I6aeb161ae0ace977f590d73e4fcb98c0898b1956
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Remove source element from get netconf rpc

Change-Id: Ibe30fa36d7cfe86f908a296c7e4f50cc59453c9c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-2692 : Eliminate InitiateInstallSnapshot

Change-Id: I7b8f68dc4a2fab9cc61776fe9ce0c58c8ded5242
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Fix Guava 18 upgrade issue , Objects to MoreObjects

Change-Id: I0792fc09fa18614b84a7b24601b08b8b3c2c1abf
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Fix reading operaional data for netconf mountpoint"

Merge "Do not override odlparent properties"

Merge "Remove xtend.version property"

Fix reading operaional data for netconf mountpoint

Change-Id: I3c273500f0df6cfeed626a917a7039c8fc648fbf
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Do not override odlparent properties

These properties are defined upstream, no need to define them here.

Change-Id: Ieb5e12b74e5d333948410fa5329446ab59ad6967
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove xtend.version property

It is no longer needed, as odlparent has been fixed.

Change-Id: I56b891e6232e074bb5fed56b819312fb1305c4b9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add more context if a config push fails

This adds the current state to the error message.

Change-Id: I3c165d7aae7dcb7dba4a374e17390d643c6ed40b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix neutron implicit osgi import

Neutron northbound requires osgi-core but fails to mention it in
pom.xml. Fix that.

Change-Id: Id73bc2550c10268e30a852fb2dbde19a04c8b24d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1173: ensure compatibility with Guava 17+

This migrates the sole user to the Guava-15+ API, as the API is removed
in version 17.

Change-Id: I3bf52fb89116024e7305a142e6b1f6fec9985488
Signed-off-by: Robert Varga <rovarga@cisco.com>

Define xtend.version until it is remove from odlparent

https://git.opendaylight.org/gerrit/15313 will remove references to it,
but until that happens, we need to provide an override.

Change-Id: Idfc7eef4e194d7011a608392de07813d7cc15113
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1173: ensure compatibility with Guava 17+

This migrates the sole user to the Guava-15+ API, as the API is removed
in version 17.

Change-Id: Ia587465e0289f5d98ec3da83cc3fc6765f8a8b38
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1173: remove explicit guava version

Removes an explicit mention of 14.0.1 in favor of odlparent-provided
version.

Change-Id: Iea11d3a207ae4799ef736ef5804649a11340e3be
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make sure config-api brings in osgi-core

config-api is used in config-generated code, which needs osgi for
compilation. Unfortunately augmenting all current users is prohibitive,
so just make sure all users inherit osgi-core as a compile-time
dependency.

The real fix is to create a parent, which will pull osgi-core into
artifacts which actually invoke yang-jmx-plugin.

Change-Id: I24caf20ea1ab0ce32f9d259ca650f38668a8c7a5
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2573: mark CompositeNode-based RPC APIs obsolete

With the advent of the NormalizedNode-based APIs, the users should be
moving towards implementation of those.

This is a placeholder, to be merged once a reference implementation is
available.

Change-Id: I7e321861d5100554dfde30c31ed47e585573be0a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-2573: create DOMRpcRouter"

Merge "BUG-2626: activate enunciate only on jdk-1.7"

Merge "BUG-2626: Do not override enunciate version"

Merge "Bug-2674 Notification support for netconf testtool"

Merge "BUG-2573: add NormalizedNode-based RPC API"

Bug-2674 Notification support for netconf testtool

Change-Id: Ib301e2cccf85d4eae75629ddf681d9157b0cb585
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "(Fix: Bug 2711) - Match RPC actor system's Netty TCP settings with existing cluster DATA actor system setting to avoid oversized Gossip RPC messages."

Merge "Try to eliminate random failures in RaftActorTest"

Merge "Add slf4j SimpleLogger properties file for unit tests"

Merge "Added LeaderElectionScenariosTest class"

Try to eliminate random failures in RaftActorTest

This patch attempts to add the following enhancements,
1. All test actors get created using a TestActorFactory which when closed
   automatically kills the actors created by it
2. Provide a method to auto generate a friendly actor name/id for cases
   where we need to use such names

Change-Id: Ia1fd81f08baf00dfc614dfa8466be2a62f18952d
Signed-off-by: Moiz Raja <moraja@cisco.com>

(Fix: Bug 2711)
- Match RPC actor system's Netty TCP settings with existing cluster DATA actor system setting to avoid oversized Gossip RPC messages.

Change-Id: I3e2c13cc23aa29052c5ed5096a887c563469d59e
Signed-off-by: mark.mozolewski <mark.mozolewski@hp.com>

Merge "Neutron to return ServiceUnavailable if no providers registered"

Neutron to return ServiceUnavailable if no providers registered

opNFV interwork revealed that neutron returns 200 in error cases
where no SB providers are registered and if there is an error getting
the list of SB providers.  Close both of these holes by returning
Service Unavailable Status

Change-Id: Iefa092a35bdc178f632373eac3b84578028d3768
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Merge "Mark yang generated source location as a source directory."

Merge "Stop scheduling the Install Snapshot check"

Merge "(Bug 2035) - Increasing default Akka config for auto-down of unreachable nodes from 10sec to 5min to avoid locking out nodes during transient network blips, etc. "

Merge "BUG 2705 : No need to ReadData asynchronously in ShardTransaction"

BUG-2626: activate enunciate only on jdk-1.7

The plugin is not supported with JDK8. Create two parent pom.xmls, one
of which defines the activation on JDK7 only and the second one
centralizes the AD-SAL definitions for it.

Change-Id: I791847d6e27dae0f51499b303cbea9163f5f184a
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2626: Do not override enunciate version

The overall version is 1.28, so do not downgrade it.

Change-Id: I4611091ab3c2f9ec58debb3a39ed82992e98338e
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 2705 : No need to ReadData asynchronously in ShardTransaction

Change-Id: I15a065e5fbc67c0c1d82e98e28252dd4ce0c983c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Do not duplicate OSGi dependencyManagement"

Merge "BUG-2673: Introduced new more low-level DOM Data Change APIs"

Merge "BUG-1511 - Datastore: cleanup ListenerTreeAPI"

Merge "BUG-2632 Netconf connector (optionally) reconnects after a schema change is detected"

Merge "BUG-2600 Dynamic schemas in netconf server"

Merge "Bug 2684 - Fixing support for Neutron binding extended attributes"

BUG-1511 - Datastore: cleanup ListenerTreeAPI

- split ListenerTree two static inner classes to ListenerWalker and ListenerNode
- fix refences [ResolvedDataChangeState]
- improve performance of ListenerWalker.close()

Change-Id: Ide82bc6caeaca1aa5c9080f134d570cf7a1571d6
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2673: Introduced new more low-level DOM Data Change APIs

As it turned out abstraction provided by Helium Data Change
API was CPU costly and calculated lot of unnecessary data,
and did not provide necessary navigation for some use-cases.

This new API contract defines more low-level data change
APIs, where application is more in control, how it will
process / consume / decompose Data Change by providing
DataTreeCandidate.

Change-Id: I468c9583c7999bc02101a18a8adf5dc1a084f1d9
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-2627: do not duplicate descriptions"

Merge "BUG-2627: JMX interfaces need to be public"

BUG-2627: do not duplicate descriptions

This class effectively creates a repeateable annotation. Unfortunately
in Java 8, we get twice as many annotations, which leads to duplicate
entries. Instantiate an intermediate Set, so we suppress potential
duplicates.

Change-Id: I0377d439260c2b3793c972c73373f5f6c6a7f119
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2627: JMX interfaces need to be public

Java 8 enforces the specification's required for MXBean interfaces to be
public. The mock interfaces were not public, hence were failing the test
automatically.

Change-Id: I4a358ff750da6c91571847b650ef0746e9da3621
Signed-off-by: Robert Varga <rovarga@cisco.com>