Ignore generated journal directory

Change-Id: I3557f3d2b3aee5ee553fa9b7b1f63428043ef2b3
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1333: Regression Test suite."

Merge "BUG-732 Detect commit failure (and also put/delete/merge) in netconf-connector"

Merge "Fix xsql compilation failure"

Merge "Bug 1369: Use separate single threadpool for data operations on binding mountpoint."

BUG-732 Detect commit failure (and also put/delete/merge) in netconf-connector

When a failed rpc is detected, issue a discard changes rpc to keep device (candidate) configuration consistant (if candidate is supported).

Change-Id: Ia752ee33043b3159fd71b01eef34e6e79baf18be
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix xsql compilation failure

Change-Id: I89fe87b64dd1377a89caad86d5a3bf91e3e40402
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "ControllerContext.dataNodeChildByQName method refactoring"

Merge "Notificator create stream name method don't remove trailing slash"

Merge "BUG-628 Allow configuration to override module based capabilities from remote netconf device"

Merge "BUG-868: Migrate to SchemaContextListener"

Merge "BUG-190 Simplify reconnect logic in protocol-framework."

Merge "Add XSQL into default compilation"

ControllerContext.dataNodeChildByQName method refactoring

ControllerContext.dataNodeChildByQName() is used only in childByQName()
methods with DataNodeContainer input parameters:
- ContainerSchemaNode
- ListSchemaNode
- Module
Therefore child node of these DataNodeContainers can't be ChoiceCaseNode
(because it can be only child node of ChoiceNode)
and original branch >if (node instanceof ChoiceCaseNode)< couldn't be
executed.
I think that it was typo.

Change-Id: Ieb85ad8acaf047b47813542d8968c399a4e30b50
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix bug in test for distributed datastore

The test compared two normalized nodes using toString representation.
This is wrong since these nodes contain hash map and their order(also toString) changes depending on their content.
THe test compared two normalized nodes that did not contain same values. There was Integer in one and Long in the other.

The test failed for me on (due to hash map ordering):
java version "1.7.0_60"
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

Change-Id: Ib72c871077f79cff8327da9c57cc1faa8677a298
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed for bug : 1171 - issue while creating subnet"

Merge "Fixed for bug 1197"

Merge "Fixed for bug 1168 : Issue while update subnet"

Merge "Add replication capability to Shard"

Adding the wrongly removed module back in pom.xml

Change-Id: I242bc87cbf193ed65b6a7f5ffc8e2d466a48b80e
Signed-off-by: Harman Singh <harmasin@cisco.com>

Adding actor supervisor, more logs and tests

Actor Supervisor will start rpcRegistry and rpcBroker actors and will resume them in case of exception
More logs have been added along with some unit test cases of xmlutil

Change-Id: I30101bd3b8ac6821b58b3e1a2421f7f1af26bcd1
Signed-off-by: Harman Singh <harmasin@cisco.com>

Updating cluster RPC code making it work

Added XMLUtils to serialize and deserialize instance identifier objects and the values insides path arguments with proper object type. This code use Yangtools existing utility, but modify that code to make sure
right type is picked up. We can think of adding it directly in yang tools also and remove it from here
Added Preconditions check for pojos

Change-Id: Ieb73b4ee660d2e058d0a62952799fc6f39d4c6b5
Signed-off-by: Harman Singh <harmasin@cisco.com>

Removing unused org.objectweb.asm from northbound.commons

Change-Id: Ie5789f1574ea5565be66a3a4dd007fa976a920f0
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

Add XSQL into default compilation

This adds XSQL into the default build.

Change-Id: I484f14d2633af5fc1ddc3aeec269757a4dee0dd6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add replication capability to Shard

This commit integrates the distributed data store with our Raft implementation.

Shard now extends RaftActor which provides it the replication capabilities required.

Other notable changes are,
- The FindPrimary algorithm has been changed to find the first replica for a shard.
  The shard then forwards requests to create a transaction or transaction chain to
  the leader
- Changed the package name for Raft internal messages from "internal" to "base" to be
  more BND tool friendly
- Fix some issues with Serialization of Raft messages
- Create a NoOpTransaction when no Primary can be found. The commit for this transaction
  will always fail. The NoOpTransaction returns absent for reads in all cases.
- Add PeerAddressResolution capability to Raft. What this basically does is given a static
  configuration where a shard has 'n' peers, you can pass the names of those peers
  to the shard and resolve their addresses at a later time. This allows the Shard to ensure
  consensus even in a situation where it is the first one to come up but it's peers are still
  not running

Change-Id: I3087deb5eb4418cd629a707ba14f43858db1f463
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "broken build - missing implementation of method getAnyXmlNodeSerializer"

BUG-868: Migrate to SchemaContextListener

SchemaServiceListener is deprecated, SchemaContextListener is its new
name. The class hierarchy allows for incremental migration.

Change-Id: I15d495d805eb7a08c3bcd3ab0cf8b5a8d2797db5
Signed-off-by: Robert Varga <rovarga@cisco.com>

broken build - missing implementation of method getAnyXmlNodeSerializer

Change-Id: Ib7f22015462cb224e11c3c267cfbac7627eeb800
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-628 Allow configuration to override module based capabilities from remote netconf device

Suitable for devices that do not provide module based capabilities in hello message (most likely do not support ietf-netconf-monitoring).
User can place yang files into cache/schema folder and set the capabilities for these modules into config attribute for netconf-connector.

Change-Id: I541ef08bb5c0328e293f9c732353282ffaf0474d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Notificator create stream name method don't remove trailing slash

Change-Id: I512879ce1b39b80b29a167147ef73e2ecef64afa
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-1228: Optimize AbstractForwardedDataBroker a bit

Profiling OFP with datastore backend has revealed that we spend about 9%
of CPU in AbstractForwardedDataBroker$1.compare(). This turns out to be
a comparator, which compares two YangInstanceIdentifiers by their path
length -- and to do that it iterates fully through both of them.

We perform three optimizations:
- make the comparator itself shareable, so we do not instantiate it
  (6000 during the profiling run)
- make the .sortedEntries() smart about empty maps
- teach the comparator to abort iteration as soon as the result is
  known

At the same time we import YangInstanceIdentifier, making the code a bit
more readable.

Change-Id: I38d3629ab33dac9e2e29b092e3a89d0821d09b07
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Make Raft messages serializable"

Merge "Serialization/Deserialization and a host of other fixes"

Merge "Fix the build errors due to the class change of InstanceIdentifier to YangInstanceIdentifier"

BUG-1416 clean up flow statistic models

- duplicate flow model removed from statistics augment
- statistics notification processing adapted
- sal-binding-dom-it fixed

Change-Id: I7ad5bae45b47f5ea8ed918459fc83cbd839b0e3a
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Created Network Service Functions Features"

Make Raft messages serializable

- Make AppendEntries a protocol buffer message
- Create the Payload extension mechanism to be used for AppendEntries by extensions
  of RaftActors to define their custom Payloads
- Modified tests etc as appropriate

Change-Id: I2d5af41b7ca8ad7a8b94515ebc5adaa78803ad15
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Serialization/Deserialization and a host of other fixes

- Hande Cluster MemberUp and MemberRemoved events in ShardManager

- Cohort messages and close listener messages switched
to use protobuff

- Distributed Datastore switch messages to use protobuff
CreateTransaction
CreateTransactionReply
CreateTransactionChain
CreateTransactionChainReply distributed datastore messages
switched to protobuff

- ShardManager messages switch to protobuff

- DataChanged and other messages switch to protobuf in
distributed datastore

- Fixed few things found during testing
1. ShardStrategy - setting of configuration
2. NodeToNormalizedNodeBuilder - leaf node/leafsetentry node checks
3. DataChanged event - passing of scope instanceidentifier used during deserialization

- Introducing JMX MBeans for distributed datastore

-Fixed issues which were preventing remote Shards from talking to each other

- Fixed a number of issues related to deserialization

- Add distributed datastore to the build

- Switch from InstanceIdentifier to YangInstanceIdentifier

Change-Id: I0d15dc482cb2b0fb2170b1344bad9fa3b421e8e0
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fixed unneeded wrapping of guava for karaf"

Fix the build errors due to the class change of InstanceIdentifier to YangInstanceIdentifier

Change-Id: I208aee4e916230ef87053d17f02e5096fbbc8a1d
Signed-off-by: Sharon Aicler <saichler@cisco.com>

BUG-1092: adjust to YangInstanceIdentifier

This is a compation to I1e30a0df93d8bfb891d047c58abcb117d4006c76,
adjusting the components to use the new name.

Change-Id: I615763240581e850f7752f82e44d752c8fceb169
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Modify the FindPrimary implementation so that it works correctly with a configuration"

Merge "Implementation of ModuleShardStrategy"

Merge changes I1d768b2b,I9302e88a

* changes:
  Fix identity-ref serialization in netconf.
  BUG-1083 Netconf connector rework sal facade.

Merge changes Ifd28301d,I38220acb,I9bad24df

* changes:
  WIP: Backwards compatible MountPointService
  Fix children element lookup in XmlElement
  Fix config attributes with same names for different modules.

Merge "BUG-1410 Fix config yang generator parsing dependency containers"

Merge changes I442a0ee9,I11825b90

* changes:
  Fix a typo
  BUG-1281: call static methods

BUG-1410 Fix config yang generator parsing dependency containers

Check if the grouping used is of type service-ref.
Until now, any container containing grouping was considered a dependency.
Add test for this case.

Change-Id: I9299b2b39e393d940c71a41f8d33d737564f2530
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix identity-ref serialization in netconf.

Identity-ref attributes did not contain their namespace.

Change-Id: I1d768b2b59073d9fa322b66b002eddf39270bf17
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

WIP: Backwards compatible MountPointService

Change-Id: Ifd28301ddd08d4edba93dba04a4d38c2ee13078a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1083 Netconf connector rework sal facade.

Change-Id: I9302e88ac3e831e2966e2baec9493a03e0a96be4
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix children element lookup in XmlElement

Change-Id: I38220acbfedf8f1b8554516f6abda4c1a16dd2ee
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix config attributes with same names for different modules.

Yang does not allow attributes in different cases to have the same name.
In yang modules for config, the configuration is located in cases and if 2 cases in same yang module contain child with same name, the transformation of data from CompositeNode to NormalizedNode

NOTE: This might break bgpcep and SP distribution, check.

Change-Id: I9bad24df9ac149da74b745ff648c72345e33deb1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix for -Pintegrationtest profile"

Fix for -Pintegrationtest profile

The -Pintegrationtest profile was not including
the restconf config file.

Change-Id: Ic62da8f4532aeeda19a1836c08214fa795d84b98
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Modify the FindPrimary implementation so that it works correctly with a configuration

Change-Id: Ie41b688adf54de06332bbe5add7aba8107eb4264
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implementation of ModuleShardStrategy

ModuleShardStrategy finds a shard based on a module name only. This will allow it partition a single
large DOM tree into multiple shards based on configuration

Change-Id: I6e287fc48a08da58d261e80b59419d4311164aa3
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial support for multiple-shards

Change-Id: Ic58d2dc9198b88c689143a9d85a612016b6bfa22
Signed-off-by: Moiz Raja <moraja@cisco.com>

Changed RegisterChangeListener and RegisterChangeListenerReply
in distributed datastore to be based on protocol buffer
ListenerRegistrationMessages

Change-Id: Ia1e427ca4d60336bb1cbf774c19fada4a1d0aed1
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

ReadData and ReadDataReply protobuff messages
in distributed datastore
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>
Change-Id: Ia8353fc70d7af8589de855fee82ec79f06c7a36b
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Make CompositeModification serializable using protocol buffers

Change-Id: I3e91452b0244c6adec84c000e83d7f993b2a59b7
Signed-off-by: Moiz Raja <moraja@cisco.com>

Switch to using protocol buffer serialization for the WriteData message

- This commit also fixes an issues with the NodeToNormalizedNodeBuilder where an empty container node was decode with a leaf node within
- MergeData and WriteData are passed in their serialized forms from the TransactionProxy as well

Change-Id: I22eab6059becd427a9f0fae1a9273c8c4e293ee5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Store schemaContext in ActorContext so that all proxy objects can have access to it

Use it for MergeData and WriteData message construction

Change-Id: I20df92fc77c41016df7cc6f737226368b25b5a0f
Signed-off-by: Moiz Raja <moraja@cisco.com>

Use Protocol Buffers to Serialize DeleteData

Change-Id: I2d96007610a28929e1e046a11726b33bec67394f
Signed-off-by: Moiz Raja <moraja@cisco.com>

Included MergeData and updated WriteData,DeleteData
protobuff messages

Change-Id: Id374c10dd47f725630cf7a92e9b0b5bc9c7764d5
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

ReadData message using protocol buffer
and InstanceIdentifierUtils

Change-Id: I57100033200fc38d69ab6aa04841e8bc7546839c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Pattern for switching from POJO messages to Protocol Buffer messages

Change-Id: I053581bc66cdd2627132af7366e01d8276a7c27e
Signed-off-by: Moiz Raja <moraja@cisco.com>

NormalizedNode serialization using protocol buffer

Utilization of CreateTransactionReply protocol buffer
message in Distributed Datastore

Subsequent commits will utilize other portocol buffer
messages in Distributed Datastore

Change-Id: I64c08d1998bab29a92351fc1fd5897d0faaf4081
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix a typo

Just a test name fix.

Change-Id: I442a0ee951475fb247eca4117ad61ed315a39dfc
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: call static methods

This is just a cleanup of warnings.

Change-Id: I11825b90b415c77074ff8684feaba918876e0c95
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Introduction of XSQL"

BUG-190 Simplify reconnect logic in protocol-framework.

- Removed duplicate code from ReconnectPromise (almost the same code in ProtocolSessionPromise)
- ReconnectPromise now only calls ProtocolSessionPromise.connect (once right away to connect initially,
then every time channel is closed by dropped session)
- Removed second ReconnectingStrategyFactory from ReconnectPromise and AbstractDispatcher.createReconnectingClient
(Kept in AbstractDispatcher for backwards compatibility as deprecated). Only one factory needed for reconnecting client
- Added unit tests to ServerTest to test different cases of reconnecting
- Slightly refactored ProtocolSessionPromise to make code more readable

Change-Id: If3af8f468e7d59822c984cf814d15460ab35921f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Wiring rest-connector with config subsytem."

Merge "Improve RESTCONF QName parsing speed"

Merge "Updated remote rpc code after integration tests. Rpc execution is failing because of one existing defect"

Wiring rest-connector with config subsytem.

Change-Id: If826bb7352101833acd288b81cbcf7cec2f28b43
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Improve RESTCONF QName parsing speed

SchemaContext provides useful (and optimized) methods for looking up
modules. Eliminate home-grown version of findModuleByName(). Requires
https://git.opendaylight.org/gerrit/#/c/9351/ .

Change-Id: I4c4e07e23a614b46b01a87485965af0c066aa693
Signed-off-by: Robert Varga <rovarga@cisco.com>

Introduction of XSQL

XSQL is SQL wrapper for MD-SAL Data Broker
which provides query capabilities for MD-SAL

YANG model is rendered as set of virtual tables
and where leafs are columns in that table.

For more information see

https://wiki.opendaylight.org/view/OpenDaylight_Controller:MD-SAL:XSQL

Change-Id: I9224c100ffe5e50559fc7181f1c9a79b3f7b2a32
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Merge "BUG-432: migrate users of Registration as appropriate"

Merge "RPC registrations should not throw"

Merge "Deprecating unused get{Provider,Consumer} Functionality"

Merge "Removed BundleContext from Broker.register{Consumer,Provider} (Part 2)"

Merge "Removed BundleContext from Broker.register{Consumer,Provider}"

Merge "Optimize RESTCONF module/node parsing"

Merge "Improve RESTCONF thread safety when reconfiguring"

Merge "Allow getChildNodes() to become a Collection"

Merge "BUG-1381: do not use JavassistUtils.getLock()"

BUG-432: migrate users of Registration as appropriate

This patch adjust all users to the non-generic nator of Registration,
plus migrates a few to ListenerRegistration.

Change-Id: I69c1c61890f866d24a4b50e685bddba32bac7815
Signed-off-by: Robert Varga <rovarga@cisco.com>

RPC registrations should not throw

Change-Id: I7f7f13ea7bdce3db5e833e3532c2e5db873daf74
Signed-off-by: Robert Varga <rovarga@cisco.com>

Enhance code documentation and add TODOs

This commit is based on a code walk through done with Colin Dixon and
Abhishek Kumar.

TODOs and FIXMEs have been added to guide further development.

The major things that need to be completed are,
1. Installing snapshots
2. Adding and removing a new peer with consensus
3. Optimizing AppendEntries (faster synchronization)

Change-Id: Ic788e050fe8fa591176a927906004fd2277e29fa
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix bug in ReplicatedLogImpl#removeFrom and use akka-persistence for removing entries

The way things were coded in removeFrom assumed that when a set of entries was deleted
from the persistent log the sequence number would be reset. This is most likely to not be
the case.

Switched to usage which is more appropriate for akka-persistence namely to persist
the operation to delete entries in the akka-persistence journal and on recovery take the
appropriate action.

Also since now we are using the akka-persistence journal purely for persistence we can safely
add other stuff to the journal and so I added UpdateElectionTerm also to the journal. This
takes care of persisting the election information in the same journal.

Change-Id: I34202535711660f19b4cdd9e71a7b55fde7433ce
Signed-off-by: Moiz Raja <moraja@cisco.com>

Remove the confusion around suggestedState

The code has been refactored so that it is clear how exactly a state is
applied. Earlier the state was being passed around and the decision of which
state was returned was not clear.

Tests were modified as appropriate.

Change-Id: Ifb3d339affcc206d1358119defd4b7400e247f8b
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix issue when adding new peers

- There a couple of cases that were not being handled correctly
in Follower#handleAppendEntries this had to be fixed
- ReplicatedLogImpl#size was not properly reported

Change-Id: I8af214cb46a5bae844d1e20e8788502255ffeab5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test driver and changes related to it

Change-Id: I6f638dd4f4ce56be2ad31f056394568adeba165c
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial implementation of saving and installing snapshots

This commit basically sketches out how creating and installing snapshots would fit into
the overall design. This has not been tested yet.

Change-Id: I0c575049e8dbda6b63e49dab80ff0980546029d3
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test handling of the Replicate message by the Leader

Refactored some code, added comments and a test

Change-Id: I0719dbdb4f1f6da611b090faa6cabc84b85e50df
Signed-off-by: Moiz Raja <moraja@cisco.com>

Test RaftActor using a simple program

Change-Id: Id0a8091c8f6ee89178bf774be398647c60a25d03
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement handling of AppendEntries from a recipient perspective

This commit includes everything that a recipient will do when it receives an AppendEntries
except applying of the state to the state machine

Change-Id: I9131b7b73624527efb1a7cb7f0c999fa03f90dfd
Signed-off-by: Moiz Raja <moraja@cisco.com>

Properly handle RequestVote in all states

Change-Id: I31987824a2219be230e439ecb152e031c749d4ef
Signed-off-by: Moiz Raja <moraja@cisco.com>

Complete Candidate behavior implementation

Change-Id: I483ec7d0a3430e186decda7ac45258b47132694b
Signed-off-by: Moiz Raja <moraja@cisco.com>