Add slf4j SimpleLogger properties file for unit tests

Added a simplelogger.properties to sal-distributed-datastore and
sal-akka-raft to configure the logging format and to enable trace logging
for the appropriate pacakges.

Change-Id: I08909ad515eae1a782077d8be85d4337fbe0259d
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "BUG 2705 : No need to ReadData asynchronously in ShardTransaction"

BUG 2705 : No need to ReadData asynchronously in ShardTransaction

Change-Id: I15a065e5fbc67c0c1d82e98e28252dd4ce0c983c
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Do not duplicate OSGi dependencyManagement"

Merge "BUG-2673: Introduced new more low-level DOM Data Change APIs"

Merge "BUG-1511 - Datastore: cleanup ListenerTreeAPI"

Merge "BUG-2632 Netconf connector (optionally) reconnects after a schema change is detected"

Merge "BUG-2600 Dynamic schemas in netconf server"

Merge "Bug 2684 - Fixing support for Neutron binding extended attributes"

BUG-1511 - Datastore: cleanup ListenerTreeAPI

- split ListenerTree two static inner classes to ListenerWalker and ListenerNode
- fix refences [ResolvedDataChangeState]
- improve performance of ListenerWalker.close()

Change-Id: Ide82bc6caeaca1aa5c9080f134d570cf7a1571d6
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2673: Introduced new more low-level DOM Data Change APIs

As it turned out abstraction provided by Helium Data Change
API was CPU costly and calculated lot of unnecessary data,
and did not provide necessary navigation for some use-cases.

This new API contract defines more low-level data change
APIs, where application is more in control, how it will
process / consume / decompose Data Change by providing
DataTreeCandidate.

Change-Id: I468c9583c7999bc02101a18a8adf5dc1a084f1d9
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-2627: do not duplicate descriptions"

Merge "BUG-2627: JMX interfaces need to be public"

BUG-2627: do not duplicate descriptions

This class effectively creates a repeateable annotation. Unfortunately
in Java 8, we get twice as many annotations, which leads to duplicate
entries. Instantiate an intermediate Set, so we suppress potential
duplicates.

Change-Id: I0377d439260c2b3793c972c73373f5f6c6a7f119
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2627: JMX interfaces need to be public

Java 8 enforces the specification's required for MXBean interfaces to be
public. The mock interfaces were not public, hence were failing the test
automatically.

Change-Id: I4a358ff750da6c91571847b650ef0746e9da3621
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Initial heartbeats not sent by Leader"

Merge topic 'bug/2676'

* changes:
  Store the datastore type in dataStoreContext
  Refactor DataStoreContext
  BUG 2676 : Apply backpressure when creating transactions

Merge "Run SingleFeatureTest on features/netconf"

Add a diagnostic message to figure out why test fails

Adding a message to figure out why testFakeSnapshotsForLeaderWithInInitiateSnapshots
fails sometimes

Change-Id: I5c6f7d33e429a7497fa28ad99c316be2def59422
Signed-off-by: Moiz Raja <moraja@cisco.com>

Store the datastore type in dataStoreContext

This way we do not need to pass it to DistributedDataStoreFactory,
DistributedDataStore and ShardManager as it is already present in
dataStoreContext

Change-Id: Id9aa1541728f3632a46d67f3bdbacb87fd39783f
Signed-off-by: Moiz Raja <moraja@cisco.com>

Refactor DataStoreContext

It was getting difficult to maintain because we had the same field defined
in the Builder and the DatastoreContext and we were passing the fields along
using the DatastoreContext constructor. This meant that every new setting that
we added required multiple changes to be made to DatastoreContext.

Refactored for the Builder to create the DatastoreContext upfront and directly set
it's fields.

Change-Id: I8060c4ea3dfd02a5cac20e28fb5be2f26b1e1dbd
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 2676 : Apply backpressure when creating transactions

This patch uses a rate limiter to limit the number of write transactions
that can be created on the datastore at any given point of time (within a
second).

We also have added a metric that is trackable using JMX which will show
exactly how much time we take in committing a transaction.

Could this rate limiter have been on the DataBroker? Yes it could have been
but I think we need to go granular on this one. Ideally the ratelimiter would
be for every shard transaction but it's not trivial to do in a way that would
actually block the consumer for now - this is because creating a transaction on
Shard itself is an async operation.

Change-Id: I3d8e3baeb892ba494c0ab0d13a0d6226c1516511
Signed-off-by: Moiz Raja <moraja@cisco.com>

Run SingleFeatureTest on features/netconf

Change-Id: Ibc60948413f633b4954ff603ad6a951658a95132
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-2632 Netconf connector (optionally) reconnects after a schema change is detected

A notification listener is used for schema change detection

Change-Id: Ieab4eaf9e87b2b88dd2dc5429039494c8f9b5731
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2600 Dynamic schemas in netconf server

Netconf server does not preserve snapshots of schema contexts for each netconf session anymore

Every netconf session is using current SchemaContext
+ Use notification manager to notify about capability changes

Change-Id: Ie47125e1eb6851b54b09d5e4afe38fee323850de
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2701: Fixed dependencies for features-netconf.

Change-Id: I2b853145cbcd9a24b6cc029ab4d61d34a32a3dfe
Signed-off-by: Hideyuki Tai <Hideyuki.Tai@necam.com>

Merge "Bug 2669: Use slf4j Logger instead of akka LoggingAdapter"

Merge "BUG-2679 Workaround for wrong nagasena encode/decode with reused transmogrifier"

Merge "BUG-2310 - widen yang model for netconf-node."

Merge "BUG-2599 Netconf notification manager initial API and Impl"

Merge "Fix missing log argument"

Merge "Standardize on pax-exam 4.4.0"

Merge "BUG-2288: implement DOMNotificationRouter"

Merge "BUG-2627: Fix ambiguous lookup in test case"

Merge "Bug-2692:Avoid fake snapshot during initiate snapshot"

BUG-2627: Fix ambiguous lookup in test case

Looking up by java name "stream" matches two potential beans, which
means that the returned value depends on underlying collections. This
breaks when upgrading to Java 8, for example.

Fix by performing an explicit prefix name, which returns the right bean
everytime.

Change-Id: I4c7f7f26bc00cc1b03b9ea99ef84004da46c3caa
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimize install snapshot, by making a call at end of installsnapshotreply"

Merge "Add Distributed DataStore as a dependency of the Simulator"

Merge "Optimized AppendEntries sending to follower by adding AppendEntry call at end of reply, if needed."

Merge "Add signature marker and version to NormalizedNode streaming"

Optimize install snapshot, by making a call at end of installsnapshotreply

Change-Id: I956a6b8653b3a9d27cdaf6a8c8b12287caeffb22
Signed-off-by: Harman Singh <harmasin@cisco.com>

Optimized AppendEntries sending to follower by adding AppendEntry call at end of reply, if needed.

This will help to reduce the lag of a follower and leader does not have to wait for heartbeat time to
send a message to follower. This way, we can tune heartbeat interval in better manner.

Change-Id: I0259ea3691a3ac1245e36afe15b06ed44f377466
Signed-off-by: Harman Singh <harmasin@cisco.com>

Initial heartbeats not sent by Leader

When a Leader instance is created, it immediately sends out heartbeats
to the followers. However recent changes broke this behavior as
sendAppendEntries now checks if the follower's timeSinceLastActivity >=
heartbeat interval. However, in this case, timeSinceLastActivity is 0 so
the initial heartbeats aren't sent out. Also, on replication, it seems
that sendAppendEntries should always send AppendEntries. So we want to
disable this checking in these 2 cases. We only want check
timeSinceLastActivity if it's initiated by a scheduled heartbeat.

To resolve this, I changed the Leader constructor to directly call
sendAppendEntries instead of scheduling SendHeartbeat with delay 0. I
now pass in the interval to sendAppendEntries. The scheduled heartbeat
passes in the actual heartbeat interval and the oher 2 calls pass in 0.

Several unit tests in LeaderTest had to be changed due to the new
behavior.

Change-Id: I138db649b49ca18070a3247312521daf0dabc88e
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug-2692:Avoid fake snapshot during initiate snapshot

When an initiate snapshot is received , we should be setting the snapshot captured flag, in order to avoid a fake snapshot at the same time.

Also a check should be made to avoid another initiate snapshot to occur, in case the capture snapshot takes time.

Change-Id: I6e29c97b8cc71c101504cb3588897a896e107e93
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Do not duplicate OSGi dependencyManagement

Both compendium and core are already defined by odlparent, so we don't
need it here.

Change-Id: I35a39833e8b1bc6f50d0417c6a3e917721d7e066
Signed-off-by: Robert Varga <rovarga@cisco.com>

(Fix: Bug 2529)
- Now ShardTransaction does NOT return CloseTransactionReply for Read-Only transactions.

- Separated ShardTransactionTest cases for RW/WO/RO Shard Transactions to test expected CloseTransactionReply behavior for each.
- Updated ShardTransaction Javadoc since ShardTranactionCreater#create method and ShardTransaction subclasses imply javadoc comment was wrong about applicability to other transaction types.

Change-Id: I46aa6025b0a975c4592344bbee2d917574f2c750
Signed-off-by: mark.mozolewski <mark.mozolewski@hp.com>

Merge "Bug 2410: Use generated serialVersionUID for messages"

Merge "Fix NPE in AbstractLeader#handleInstallSnapshotReply"

Add Distributed DataStore as a dependency of the Simulator

This is because AppendEntries delivers the ModificationPayload from
DDS and without adding a dependency on DDS we get a ClassNotFoundException

Change-Id: Ie4a938ad859db916a0fdbb33d8ce888ae4abf80b
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-2599 Netconf notification manager initial API and Impl

Change-Id: I71569f08aff3738ea7fa4d5f1853079b4a2b0fb5
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2310 - widen yang model for netconf-node.

Netconf datastore is now in topology, added connection state,
resolved/unresolved schemas with failure reasons and host to netconf node.
Deprecated old netconf node in inventory.

Change-Id: Id34a17b82420eaf69d03d72b9a1523210cc87cc2
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "BUG-2599 Add netconf notifications yang models"

BUG-2288: implement DOMNotificationRouter

Implements DOMNotification(Publish)Service using LMAX Disruptor. The
disruptor is used internallly to transfer requests from publishers to
two-stage notification dispatch, where the frist stage takes care of
delivering events to subscribers and the second stage notifies the
futures.

Change-Id: I654d9d044e80b2a2ff6fd5b05ddceed4e79a4ebc
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2599 Add netconf notifications yang models

Change-Id: Ie35cf3c6cdee89f0bd88ba79b974dff529897809
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2669: Use slf4j Logger instead of akka LoggingAdapter

Change-Id: I8ca8d4979448cb158f6fb2dd89124a3b4e6e39e8
Signed-off-by: tpantelis <tpanteli@brocade.com>

Fix missing log argument

Logging format indicates an argument, but it is missing in the method
arguments.

Change-Id: I961088d5534370227e741ee0b1ff9651fbcd3335
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix NPE in AbstractLeader#handleInstallSnapshotReply

The "if" statement checks "followerToSnapshot != null" but the else clause doesn't
causing an NPE. Changed it to check "followerToSnapshot == null"
earlier and return.

Also added some more debug logging and optimized sendAppendEntries and
sendSnapshotChunk to call mapFollowerToSnapshot.get(...) once to elimnate
redundant lookups.

Change-Id: I014cd6ecb47edebb17041433f229eb809ec8689d
Signed-off-by: tpantelis <tpanteli@brocade.com>

Remove unnecessary declaration of <prerequisites> in logback

Bug: 2605
Change-Id: I4c9fbd672bc2b6a9b52163d989fed155695ba3ee
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in netty

Bug: 2605
Change-Id: I3a62789b56a0d5f91e51fa2bc5bcc15e1220f1f4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in threadpool

Bug: 2605
Change-Id: I228eab8e1e90ff7867ac4b850dee7294679aab1b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in yang

Bug: 2605
Change-Id: I08d737f0c123e3f4aa64261c2ec518e1a8a71d80
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in config-subsystem

Bug: 2605
Change-Id: I99ffc16c036324c846383083c5d81822012613f2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in netconf

Bug: 2605
Change-Id: Ibfe6c6329b836361248c6e008be8cd1566bbeec7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in karaf

Bug: 2605
Change-Id: I135ee73839564659b17ab9a902aa2c1993bc2008
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use Maven Enforcer plugin to require Maven version

Using the <prerequisites> configuration in pom files is deprecated and
it is recommended to use the maven-enforcer-plugin to enforce these
rules instead.

See:
http://jira.codehaus.org/browse/MNG-5297
http://jira.codehaus.org/browse/MNG-4840

Bug: 2605
Change-Id: Ie7bac4fc00ba41e1bcdbcbe483e29ca22d40bd1f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in root-pom

Bug: 2605
Change-Id: Ia836f2e59b1edc295f8bc4bfe55388e839f18b7c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove unnecessary declaration of <prerequisites> in config-plugin-parent

Bug: 2605
Change-Id: I095edd9cd818542eafb89cb8a3ca9345c0a9095b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Bug-2590: Clustering : Minimize usage of in-memory journal"

Merge "Fix potential issue with transaction timeouts"

Merge "Added requuired-capabilities to the impl/.../config/default-config.xml and added relativePath statement to avoid maven warnings"

Bug-2590: Clustering : Minimize usage of in-memory journal

In order to minimize the memory usage of the in-memory journal, we can remove the entries from the Leader's journal
once it has been successfully replicated to ALL its followers.
This does not intefere with snapshots, as we capture snapshots on demand.

The followers follow the leader in cleaning the in-memory journal, there by ensuring that all the journals have more or less same entries.
This is done by the leader passing its replicatedToAllIndex as part of the AppendEntries.

Change-Id: I579a1f90d3c4e5d6be4ce699072688788b07bd48
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG-2599 Add base netconf ynag model: ietf-netconf"

Merge "Add (un)lock ops to netconf testtool"

BUG-2599 Add base netconf ynag model: ietf-netconf

Change-Id: I6f9bcdb5517f0c0433a943f99cebde4bc5a273bc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2684 - Fixing support for Neutron binding extended attributes

Change-Id: If2a309af55555253d508428d47b25c1b1d4ea796
Signed-off-by: Wojciech Dec <wdec@cisco.com>

BUG-2681: switch sal-binding-it to sal test models

 - switched to test models:
    - DataServiceTest
    - RoutedServiceTest (unregister path verification failing)
    - Notification Test

Change-Id: I381fd9ad9682f9527bdf8276fae6eb508f0807f7
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Silence an NPE in the DataChangeListenerRegistrationProxyTest

This NPE was happening because the actorContext mock was not setup
to return a DataStoreContext

Change-Id: I433414bc444d7b1fe3c7886cea7ddef2e4b1ccb8
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Improve Shard logging output"

Added requuired-capabilities to the impl/.../config/default-config.xml and added relativePath statement to avoid maven warnings

Change-Id: I2a0d7cd2700b4060cb172b898b6d80b227f0a06c
Signed-off-by: John Burns <johnburn@cisco.com>

Skip install and deploy of aggregator artifact.

Change-Id: I12ef594c27c6376b543eb9bc85843d4eb0b7a3dc
Signed-off-by: Nathan Harmon <nathan.harmon@hp.com>

BUG-2679 Workaround for wrong nagasena encode/decode with reused transmogrifier

Change-Id: I76b94b896e138e778f0a6abd6d42a481347f1a13
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add (un)lock ops to netconf testtool

Change-Id: I48ea8e8ce0edeb9428d87f5bcac5ba8d3a2ede22
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Standardize on pax-exam 4.4.0

The version is implied from odlparent, make sure we use the same
property and not override it.

Change-Id: I6a997f636e862a991f2d5baa73738d6f6fb65b7c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bump pax exam version

Change-Id: I7126f464aa1d55307ca2d9ba0060d3abf600b5f0
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Merge "BUG-2288: remove DOMNotificationListenerRegistration"

Merge "Improve JavaAttribute performance"

Merge "Make sure write transaction cancellation is propagated"

Merge "Dummy Distributed Data Store for testing replication"

Merge "neutron now works with jetty"

Dummy Distributed Data Store for testing replication

To use this run a real instance of the controller on your laptop.
Modify the module-shards.conf to replicate modules to member-2 or
member-2 and member-3 as neccessary.

Then run the dummy datastore.

For example,

   java -jar ./target/sal-dummy-distributed-datastore-1.2.0-SNAPSHOT-allinone.jar -member-name member-2 -cause-trouble -drop-replies -max-delay-millis 500

Runs the dummy datastore as member-2. Will cause failures including dropped replies and when it does reply may cause a random delay of upto
500 millis

This will start of the dummy datastore which will then spawn dummy shard actors which will listen to the RequestVote
and AppendEntries messages. For RequestVote messages it will always respond with a positive vote and for AppendEntries
it will put a sleep for a randomized interval upto the max delay.

Change-Id: Ib618365f12bcc714fcf45e29051f8796f798a361
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 2667 : Handle null value type"

BUG-2288: remove DOMNotificationListenerRegistration

This type is just a capture, and it fails to forward the type of the
listener properly for users. Remove it and be more consistent with the
design of other classes.

Change-Id: Ib8c3db54fc599d6ca194d1667e1a48a98e455180
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug2268: Deprecate legacy Payload classes"

Merge "Bug 2264: Use streaming for snapshots"

Merge "Refactor TransactionProxy"

Add features-restconf to mdsal-artifacts

Change-Id: I1919153b372d2b7323fb1179ad04f9d3a491b29f
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG 2667 : Handle null value type

Modified the code to handle null types in leaf and leafset entries since
they are allowed. This should help avoid atleast some of the issues seen
by GBP.

Change-Id: Id24e03738e9b5490c8221fbf31ec0734c58655bb
Signed-off-by: Moiz Raja <moraja@cisco.com>

neutron now works with jetty

This patch makes the feature neutron-northbound work with
jetty.

It also moves the adsal to port 8282, and the stock
karaf jetty to port 8080 (in additional to 8181).

GET, POST, and PUT for neutron network has been
tested:

GET:

curl -u admin:admin http://127.0.0.1:8080/controller/nb/v2/neutron/networks

POST:

curl -u admin:admin -H "Content-Type: application/json" -d @network.post http://127.0.0.1:8080/controller/nb/v2/neutron/networks

PUT:

curl -u admin:admin -H "Content-Type: application/json" -d @network2.post -X PUT  http://127.0.0.1:8080/controller/nb/v2/neutron/networks/d6220bbb-35f3-48ab-8eae-69c60aef3544

where:

cat network.post
{"network": {"status": "ACTIVE", "subnets": [], "name": "net-dedicated", "provider:physical_network": null, "admin_state_up": true, "tenant_id": "aa902936679e4ea29bfe1158e3450a13", "provider:network_type": "gre", "router:external": false, "shared": false, "id": "d6220bbb-35f3-48ab-8eae-69c60aef3544", "provider:segmentation_id": 1}}

cat network2.post
{"network": {"subnets": [], "name": "net-dedicated", "provider:physical_network": null, "admin_state_up": true, "provider:network_type": "gre", "router:external": true, "shared": false, "provider:segmentation_id": 1}}

This patch should not be merged before 2/1/2015 to allow time for discussion.

Change-Id: I6a003c2868adc5b060f05d228a56a744c092e963
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 2268: Serialize ApppendEntries"

Merge "Mark AD-SAL interfaces as deprecated"