Switch to using protocol buffer serialization for the WriteData message

- This commit also fixes an issues with the NodeToNormalizedNodeBuilder where an empty container node was decode with a leaf node within
- MergeData and WriteData are passed in their serialized forms from the TransactionProxy as well

Change-Id: I22eab6059becd427a9f0fae1a9273c8c4e293ee5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Store schemaContext in ActorContext so that all proxy objects can have access to it

Use it for MergeData and WriteData message construction

Change-Id: I20df92fc77c41016df7cc6f737226368b25b5a0f
Signed-off-by: Moiz Raja <moraja@cisco.com>

Use Protocol Buffers to Serialize DeleteData

Change-Id: I2d96007610a28929e1e046a11726b33bec67394f
Signed-off-by: Moiz Raja <moraja@cisco.com>

Included MergeData and updated WriteData,DeleteData
protobuff messages

Change-Id: Id374c10dd47f725630cf7a92e9b0b5bc9c7764d5
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

ReadData message using protocol buffer
and InstanceIdentifierUtils

Change-Id: I57100033200fc38d69ab6aa04841e8bc7546839c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Pattern for switching from POJO messages to Protocol Buffer messages

Change-Id: I053581bc66cdd2627132af7366e01d8276a7c27e
Signed-off-by: Moiz Raja <moraja@cisco.com>

NormalizedNode serialization using protocol buffer

Utilization of CreateTransactionReply protocol buffer
message in Distributed Datastore

Subsequent commits will utilize other portocol buffer
messages in Distributed Datastore

Change-Id: I64c08d1998bab29a92351fc1fd5897d0faaf4081
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Introduction of XSQL"

Merge "Wiring rest-connector with config subsytem."

Merge "Improve RESTCONF QName parsing speed"

Merge "Updated remote rpc code after integration tests. Rpc execution is failing because of one existing defect"

Wiring rest-connector with config subsytem.

Change-Id: If826bb7352101833acd288b81cbcf7cec2f28b43
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Improve RESTCONF QName parsing speed

SchemaContext provides useful (and optimized) methods for looking up
modules. Eliminate home-grown version of findModuleByName(). Requires
https://git.opendaylight.org/gerrit/#/c/9351/ .

Change-Id: I4c4e07e23a614b46b01a87485965af0c066aa693
Signed-off-by: Robert Varga <rovarga@cisco.com>

Introduction of XSQL

XSQL is SQL wrapper for MD-SAL Data Broker
which provides query capabilities for MD-SAL

YANG model is rendered as set of virtual tables
and where leafs are columns in that table.

For more information see

https://wiki.opendaylight.org/view/OpenDaylight_Controller:MD-SAL:XSQL

Change-Id: I9224c100ffe5e50559fc7181f1c9a79b3f7b2a32
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Merge "BUG-432: migrate users of Registration as appropriate"

Merge "RPC registrations should not throw"

Merge "Deprecating unused get{Provider,Consumer} Functionality"

Merge "Removed BundleContext from Broker.register{Consumer,Provider} (Part 2)"

Merge "Removed BundleContext from Broker.register{Consumer,Provider}"

Merge "Optimize RESTCONF module/node parsing"

Merge "Improve RESTCONF thread safety when reconfiguring"

Merge "Allow getChildNodes() to become a Collection"

Merge "BUG-1381: do not use JavassistUtils.getLock()"

BUG-432: migrate users of Registration as appropriate

This patch adjust all users to the non-generic nator of Registration,
plus migrates a few to ListenerRegistration.

Change-Id: I69c1c61890f866d24a4b50e685bddba32bac7815
Signed-off-by: Robert Varga <rovarga@cisco.com>

RPC registrations should not throw

Change-Id: I7f7f13ea7bdce3db5e833e3532c2e5db873daf74
Signed-off-by: Robert Varga <rovarga@cisco.com>

Enhance code documentation and add TODOs

This commit is based on a code walk through done with Colin Dixon and
Abhishek Kumar.

TODOs and FIXMEs have been added to guide further development.

The major things that need to be completed are,
1. Installing snapshots
2. Adding and removing a new peer with consensus
3. Optimizing AppendEntries (faster synchronization)

Change-Id: Ic788e050fe8fa591176a927906004fd2277e29fa
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix bug in ReplicatedLogImpl#removeFrom and use akka-persistence for removing entries

The way things were coded in removeFrom assumed that when a set of entries was deleted
from the persistent log the sequence number would be reset. This is most likely to not be
the case.

Switched to usage which is more appropriate for akka-persistence namely to persist
the operation to delete entries in the akka-persistence journal and on recovery take the
appropriate action.

Also since now we are using the akka-persistence journal purely for persistence we can safely
add other stuff to the journal and so I added UpdateElectionTerm also to the journal. This
takes care of persisting the election information in the same journal.

Change-Id: I34202535711660f19b4cdd9e71a7b55fde7433ce
Signed-off-by: Moiz Raja <moraja@cisco.com>

Remove the confusion around suggestedState

The code has been refactored so that it is clear how exactly a state is
applied. Earlier the state was being passed around and the decision of which
state was returned was not clear.

Tests were modified as appropriate.

Change-Id: Ifb3d339affcc206d1358119defd4b7400e247f8b
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix issue when adding new peers

- There a couple of cases that were not being handled correctly
in Follower#handleAppendEntries this had to be fixed
- ReplicatedLogImpl#size was not properly reported

Change-Id: I8af214cb46a5bae844d1e20e8788502255ffeab5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test driver and changes related to it

Change-Id: I6f638dd4f4ce56be2ad31f056394568adeba165c
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial implementation of saving and installing snapshots

This commit basically sketches out how creating and installing snapshots would fit into
the overall design. This has not been tested yet.

Change-Id: I0c575049e8dbda6b63e49dab80ff0980546029d3
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test handling of the Replicate message by the Leader

Refactored some code, added comments and a test

Change-Id: I0719dbdb4f1f6da611b090faa6cabc84b85e50df
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test RaftActor using a simple program

Change-Id: Id0a8091c8f6ee89178bf774be398647c60a25d03
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement handling of AppendEntries from a recipient perspective

This commit includes everything that a recipient will do when it receives an AppendEntries
except applying of the state to the state machine

Change-Id: I9131b7b73624527efb1a7cb7f0c999fa03f90dfd
Signed-off-by: Moiz Raja <moraja@cisco.com>

Properly handle RequestVote in all states

Change-Id: I31987824a2219be230e439ecb152e031c749d4ef
Signed-off-by: Moiz Raja <moraja@cisco.com>

Complete Candidate behavior implementation

Change-Id: I483ec7d0a3430e186decda7ac45258b47132694b
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Remove RaftReplicator and move hearbeat logic to the leader"

Merge "Implement behavior common to a RaftActor in all it's states"

Merge "Initial code/design for an Akka Raft implementation"

Optimize RESTCONF module/node parsing

Profiling has shown that the current implementations are still not upto
par with what they should be: 189 invocations of the two consumed 64ms,
with most of the time being spent splitting and iterating.

Given that the parsing operation is really simple, we can do much better
using String.indexOf() and String.substring().

Change-Id: I06ef0403edb2c8d12cbbc3c7909091e9efc5138e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Improve RESTCONF thread safety when reconfiguring

There is a race which could see us without a populated mapping while a
schemacontext change is underway. Use a immutablemap guarded by an
atomicreference to allow proper switching. Note that the fix is
incomplete, as the schema context needs to be replaced at the same time.

Change-Id: I7d64fae99a0bc0f7d1ec19f08450c1954cb7af97
Signed-off-by: Robert Varga <rovarga@cisco.com>

Allow getChildNodes() to become a Collection

Preparatory patch for yangtools change -- getChildNodes() will start
returning a Collection, not a Set.

Change-Id: Ie7255757e3f48465e3acd9e65764f1b79a3a9511
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1417 - Removed extraneous pom dep on flow-management-compatibility"

BUG-1381: do not use JavassistUtils.getLock()

We have it now synchronized through the instance, so there's no need for
getLock().

Change-Id: I3e962f284132b376f77e9e2665b3fbb47f246514
Signed-off-by: Robert Varga <rovarga@cisco.com>

Deprecating unused get{Provider,Consumer} Functionality

Provider.getProviderFunctionality
Consumer.getConsumerFunctionality
interface ProviderFunctionality
interface ConsumerFunctionality

are unused.  They should go away, so this patch marks
them as deprecated.

Change-Id: Icfcbf9f4cfed0186c720eab26405894183b9009f
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1178 - removed unused parameter from checkOdAction() menthod."

Removed BundleContext from Broker.register{Consumer,Provider} (Part 2)

Moved the bodies of the methods around to make the deprecated
methods just call throughs to the new methods.

Removed extra argument from private method newSessionFor

Change-Id: I748662491e6670262ecfad4122bcc7a9f831107d
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Removed BundleContext from Broker.register{Consumer,Provider}

Don't freak out... the old methods are still there, just
deprecated.

Change-Id: I6f37af7d93948bbf0d3b23635c73803645028ec7
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-1381: make users of JavassistUtils.getLock synchronized properly"

Merge "Override TransactionFactor method in DataBroker to return correct TransactionChain."

Make DOMMountPointService listenable

Change-Id: Ic44a4bf214f6f6a6d653627b6a62ab2f47bd9963
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1280: Added option to automaticly create parents"

Bug 1417 - Removed extraneous pom dep on flow-management-compatibility

Change-Id: Ie39e5328b809c4a82b3c971f02392c01cbfb1302
Signed-off-by: jameshall03885 <ghall@brocade.com>

Merge "Bug 1378: Make sure config extender does not block bundle loading."

BUG-1381: make users of JavassistUtils.getLock synchronized properly

As a transition period, use both locking schemes. Once the initial
patches are in, we can then remove the use of getLock().

Change-Id: Ibf4c0ea9f420d81dfe74f7b0c5479f01b45a8d2d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Override TransactionFactor method in DataBroker to return correct TransactionChain.

Change-Id: Ib86159c8faa8ddd729b9abc69ea7708fd4b086f3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 1378: Make sure config extender does not block bundle loading.

Change-Id: Ic706ad9dd41ad951e0517e02b7f1f3b8b25ea9ea
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 279, 1390: Used Guava Cache r for lazy-loading of RPC Routers"

BUG 1144 - response 500 instead of 400

RestconfDocumentedException with error tag INVALID_VALUE (400) was caught and
wrapped to RestconfDocumentedException with error tag OPERATION_FAILED
(500)

Change-Id: I0ad75958e0d8e25d5bf1bdf7cbac5f855cc2b03d
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "BUG 1359:Fixed using option 1"

Merge "NormalizedNode Mount APIs."

Merge "Made config/mdsal/netconf features non-cyclic"

Merge "BUG-692 Fix intermittent failure in NetconfDeviceTest"

NormalizedNode Mount APIs.

Change-Id: Iee3b7101642bde9aa1a38150ee2a62b84c3de1fb
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Optimize netconf capability handling"

Merge "BUG-865: do not use InstanceIdentifier.getPath()"

Merge "API Usability: Introduced type capture for Transaction Factory"

Optimize netconf capability handling

Inefficient splitting, forward scans and similar. This patch
optimizes it as much as possible.

Change-Id: Ibf52b3b8f512c6b4936dca3089e73bbb1671eaa7
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-865: do not use InstanceIdentifier.getPath()

InstanceIdentifier exposes the reverse path via a dedicated method, so
use that rather than home-brewing our own.

Change-Id: I3568bf8fc294e235a9f5bae8a72d6cd89079b348
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1379 - rpcs behind yang-ext:mount aren't always executed

new corrected behavior:
If rpc is from device behing yang-ext:mount and it doesn't exist in
controller then it is ALSO executed.

Change-Id: Ieebf2522b39cd42a8da57b05cf49e528c924f7ba
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-692 Fix intermittent failure in NetconfDeviceTest

Error in NetconfDeviceTest.testNotificationBeforeSchema, verification without timeout was performed before the actual call.

Fixed by adding timeout to all verifications.

Change-Id: I494523036fff456d66398f0d17b0003fe6c083a0
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Flow request containing an invalid action should be rejected"

BUG 1359:Fixed using option 1

Change-Id: Idb744e4c1eab70ee8a3eeaaf8194f33f91aa84d4
Signed-off-by: Vaishali Mithbaokar <vmithbao@cisco.com>

Made config/mdsal/netconf features non-cyclic

We previously had some cross dependency between config-features and
netconf-features.  This is highly undesirable because it
precludes folks being able to simply have a maven dependency for the
one feature they want and requires enumerating *all* the feature
files.

This fixes that by pulling out

features/config-netty
features/config-persister
from
features/config

So the dependency graph is now non-cyclic:

config-netty -> config-persister
config-persister -> (netconf,config)
netconf -> (config,protocol-framework)

Change-Id: Ie662df40bd6985e2ecd4280596ddafc947e5edd0
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Updated remote rpc code after integration tests. Rpc execution is failing because of one existing defect

Change-Id: Ic51bba7088371b4428624da9744e0563abdc4a95
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Change put/merge methods to be type-safe in WriteTransaction"

Change put/merge methods to be type-safe in WriteTransaction

Removed declaration of put/merge methods from the common
AsyncWriteTransaction interface.

Defined put/merge methods in the derived Binding and DOM interfaces.
The Binding methods were made type-safe.

Javadoc usage/examples for the methods was put into the
AsyncWriteTransaction class docs and is linked to by the derived
interfaces.

This change is source-code compatible - no client code needs to change
(unless a client actually is incompatible path and data).

Change-Id: I779f6477f1c98e299c5d559043da612be97bfbe6
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 1352: Added regression test to InMemory Data Store.

Change-Id: Ia3a4e332c275d6dfdf9dafd2dfc433de15dbcb6f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fixed incorrect XML test suites & Usage of removed API

Change in underlying YANG Tools codec, unvereded
that there were test-suites which did string
comparison for testing of XML responses and
any change in XML serialization (valid from
XML point-of-view) triggered this tests to
fail.

Reworked offending tests to use XML W3C Document
for testing instead of string comparison and regexes.

Change-Id: Ib6e35e8d2fe79275666235370d1dda461277a59f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG 1387 - degrade log output from info to debug"

Merge "Bug 1362: New AsyncWriteTransaction#submit method"

BUG 1387 - degrade log output from info to debug

Change-Id: Ia98ab154bb53cc3c43f42270a3bd6c65bd9dee65
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1239 - Clean up and refactor netconf-ssh client"

Remove RaftReplicator and move hearbeat logic to the leader

This makes more sense. The RaftReplicator does not seem to add any value.

Change-Id: Id3cf8ecbd2493b35c1a32382d65876795a78fa30
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement behavior common to a RaftActor in all it's states

The common behavior for a RaftActor is
- Change state to follower when it receives a RaftRPC with a newer term
- Increment the applied state of the commitIndex of the AppendEntries message
  is higher than it's applied state

Change-Id: I1fc0cdcb90368f3c07f555b307ac827286386651
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial code/design for an Akka Raft implementation

Also implements the LeaderBehavior for elections

Change-Id: I629f2cd71717e5d76eae9c1a9a4dc960246070c9
Signed-off-by: Moiz Raja <moraja@cisco.com>

Flow request containing an invalid action should be rejected

When ODL Controller receives a request to install a flow, it is processed
by FlowConfig class in forwardingrulesmanager bundle. There is method
named "validate" which validates the matches and actions specified in
the flow request. If this method encounters an invalid action, it simply
ignores it and moves to the next action. The result of this behavior is that
if flow request contains only one action and it happens to be invalid,
the FlowMod request will be sent to the switch without any action. An
OVS conforming switch will install this flow and set the action to drop.
However, ideally Controller should reject this request (or any request
containing an invalid action).

Few invalid unit test cases were also escaping due to this error, which
have been corrected.

Change-Id: I4df3226d6ec9c663476cae1991c194bc36cb2f99
Signed-off-by: maquresh <maquresh@cisco.com>

Merge "Removed unused private implementation class"

Merge "Changed read to be type-safe in ReadTransaction"

Merge "BUG-1384: YangStoreServiceImpl.refresh() should never block"

Merge "Improve RpcProviderRegistry loading"

Merge "BUG-692 Replace strings with ModifyAction enum"

Merge "Bug-1376 Add caching for premature notifications in netconf connector"

Merge "BUG-1291 Fix executor for netconf-connector rejecting tasks."

Merge "BUG-1365 Check if channel was closed when negotiation fails"

BUG-692 Replace strings with ModifyAction enum

Change-Id: Ie2564240eed76711437afd0428d02af26cb81cff
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-1376 Add caching for premature notifications in netconf connector

If a notification is received before schema context is fully built for device, it is cached and forwarded when schema is present.

Change-Id: Ib21fc0fab9cf83a1102ccbb5c9dc98330aa95577
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1384: YangStoreServiceImpl.refresh() should never block

As descirbed in the bug, we are seeing large amounts of contention on
the monitor when calling refresh(). Rework the safety such that the
refresh path does not block and perform checking for refresh in the
get() path, which is forced to retry should a refresh occur.

With this patch reported contention disappears completely and startup
time is improved by about 8 seconds on stock SP edition.

Change-Id: I4c6109d77324d3d1b700041b54a95dc346e3d372
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Added SingleThreadedExecutors to data store instance."

Merge "Bug 1380 - Fix NullPointerException when match is null"