BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas

Change-Id: Ie0fcb6d9ba44207cb14d31d51c1f3068983d514e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1423 Fix distributed datastore error in config schemas(double case child)

Change-Id: I44c220c577f57354a6a1dfd38c08ec2a1a75f9ca
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix test coverage not being reported in Sonar"

Utilize transaction type to create read-only or
write-only or read-write transaction instead of always
creating read-write transaction

patch 2: updated based on review comments

Change-Id: I36390ab348c5774cf4bf180ea1608fe04f75d073
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Created sal-clustering-commons and moved sal-protobuff-encoding files to sal-clustering-commons"

Merge "Remove old dependencies"

Created sal-clustering-commons and moved
sal-protobuff-encoding files to sal-clustering-commons

updated sal-distributed-datastore pom with the above change

removed sal-clustering-commons as part of distribution as it is embedded currently as part of distributed-datastore

Note - after this is merged we need to move
 out the .proto from  akka-raft to sal-clustering-commons
and add dependency of sal-akka-raft on sal-clustering-commons
and embed the same
rebased
Change-Id: I7d4ac51628cef96ffb16acfcfd596dfd3129e0fa
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Bug 1386: Avoid commit deadlock"

Fix test coverage not being reported in Sonar

Change-Id: Id8ff02a986b1bfdab01a481fcb11cef111757de9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimilization the method datastoreNormalizedNodeToCompositeNode"

Merge "A little extra protection against nulls in ConfigPusher"

Merge changes If78d8143,Id8d04f24

* changes:
  BUG-1281: eliminate thread-unsafe lookup
  BUG-1281: make methods static

Optimilization the method datastoreNormalizedNodeToCompositeNode

Origin method used schema context (which isn't necessary) and additionaly
doesn't cover all cases. + fixing of incorrect corresponding tests

Change-Id: Idbead2696de9102a202cad03c78f4a1a14a2d1d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1418 - onDataChange notification is not returning any data to  the getCreatedData and getModifiedData function calls. Data change  notification does not seem to work."

Bug 1418 - onDataChange notification is not returning any data to
the getCreatedData and getModifiedData function calls. Data change
notification does not seem to work.

* Changed normalized to binding data change event translation call to
include event listener path. This path is then used to decode leaf or
mixin only augmentation because it can't be injected through children.
* Added verification tests.

Change-Id: Ia9d936f17b30b94fe4878e343cff7babb8d29d0f
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

A little extra protection against nulls in ConfigPusher

Change-Id: I4aab592b028b8336370c23924fcbf69858b7a6bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1386: Avoid commit deadlock

Changed the executor in DOMDataCommitCoordinatorImpl to a new
class DeadlockDetectingListeningExecutorService added to yangtools util.
This detects deadlock if another blocking commit is done by a client
notified from the single commit thread.

Change-Id: Icdc2b835fd336a1bbc37953828126b57253929c0
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-1281: eliminate thread-unsafe lookup

The URI/name lookup map was not safe when context was reloaded. Get rid
of it for now, as SchemaContext can maintain reasonably-fast lookups. At
the same time make sure we share codepaths as much as possible.

Change-Id: If78d8143e94446fe9b38da894611b1c8b61f57f3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: make methods static

As it turns out ControllerContext has a few methods which do not touch
instance state -- make those static and fixup callers.

Change-Id: Id8d04f2426435528ee754f56b34f91d25a49d3ee
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove old dependencies

- Remove stale dependencies that prevent releasing of artifacts
- Remove unused flow-management-compatibility and
inventory-topology-compatibility modules
- Make sure that if a dependency is on module with a version defined
by a variable, lets specify the version in the dependency management
in common pom
- Replace in netconf-cli the reference from yang-data-json to
yang-data-composite-node because yang-data-json has been removed
- Removed whitespaces in config-netty-config that would cause
checkstyle issues downstream otherwise

Change-Id: I866e4b36e71c004b925bd181412ff4df91b3091f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Migrate to junit 4.11 - failing test

Corrected test which caused problems in
https://git.opendaylight.org/gerrit/#/c/9670/

Change-Id: Ife89b83bbc1d2df4dc34327e5f27ed47509a8b48
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Fix failing IT tests"

Merge "Adding remoterpc connector to distribution and Updating actor system creation"

Fix failing IT tests

- Binding Test Helper did not spefied object-cache as dependency
  and it was already part of distribution
- API Doc plugin was using invalid YANG files for positive
  test scenario.

Change-Id: I06c174408df6073d887f5c307cf1b70c34c442b1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed namespace of yang testing file."

Merge "Bug 1354: Fixed rpc request/result transformation."

Adding remoterpc connector to distribution and Updating actor system creation

Actor system will be created with in bundle class loader now. This change has been made to avoid any conflict with other actor systems.
We faced one class cast exception earlier and this fixes that

Change-Id: Iad55e60ee950fdcff8698270445f0da31bc39c5e
Signed-off-by: Harman Singh <harmasin@cisco.com>

Fixed typo in restconf, which caused classcast in datastore.

Change-Id: I51eb1fc2e4056dc84feb3b720c3ee844ee4ffdea
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Downgraded to hamcrest 1.1 to fix the build

Change-Id: I5dc385ed61e8290eb81c50973417bd6ceb1c7508
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG 1162 - ensure data for all path arguments in datastore."

BUG 1162 - ensure data for all path arguments in datastore.

Fixes
1) It is possible to specify path to data (including lists with
keys) via unexisting nodes and store payload data to this path.
Missing nodes in datastore are created before storing payload data.
2) InstanceIdentifier is now correctly created via
DataNormalizer.toNormalized()

Change-Id: If795a930015fef39a0029e808355d51357e2d5d5
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fixed namespace of yang testing file.

This test used 2 different yang files with same namespace, which is incorrect and can cause test fail later.

Change-Id: I87a78e36d1d8812bb92f71c82722f87559907423
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1354: Fixed rpc request/result transformation.

This commit is dependent on https://git.opendaylight.org/gerrit/9232 commit in Yangtools project.
Fixed proper data transformation in toRpcRequest method in NetconfMessageTransformer.
Now every rpc request (edit-config, get and get-config) will be transformed for given Schema Context.

Change-Id: I08da9200c0ba680b36a445978e7de748e94b654d
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Return a NoOpTransactionContext when the Primary for a shard is not found

A NoOpTransactionContext is returned when a request to create a transaction
results in the primary not being found or when the request times out.

A CanCommit on the NoOpTransaction will always false. A read
will always return an empty result. The consumer will need to deal with this situation.

Change-Id: Id6f7d0688921acac718b9bb06fbf03d5e345d7ac
Signed-off-by: Moiz Raja <moraja@cisco.com>

Keep DataChange registrations and notifications local

Here is how it works
--------------------
When a consumer registers for a datachange notification we first check if the Shard
to which this registration needs to be sent is local. If it is then we send the
registration to it. If it is not then we simply return a NoOpRegistration to the consumer.
This ensures that a DataChange registration stays local to a cluster member.

Now let's say we have 3 replicas and in all those replicas we do find a local shard for a
given module and we have 3 listener registrations. At this time we do not want all 3 members
to be notified of the change. We only want the node which is the Leader to notify it's listeners
of the change. To restrict that the DataChangeListener will only forward events to the listener
if the Shard sends it a message enabling notifications

Change-Id: I035bbdf34e2509047f4bcb475c443a761b08e68d
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix a couple of issues with replication

- First the data that was being sent from the primary was not being deserialized on the followers
- The state on the followers was not being applied correctly
- Add sal-distributed-datastore to the distribution

Added a test for CompositeModificationPayload to ensure that serialization works correctly
Also added a set of integration test programs to test the serialization

Change-Id: Id67d2c4fe471003d9dd3b42a8376c90fd23492ce
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1473: update model.util.InstanceIdentifier users

Companion patch to https://git.opendaylight.org/gerrit/9622, updates
users to use the new name. Also make the code a tiny bit more readable.

Fixed conversion to checked Future.

Change-Id: If8da3639e656214713d3680951cd9ae724c5ad6f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1392: Change ReadTransaction#read to return CheckedFuture"

Merge "BUG-1281: share filters between instances"

Merge "BUG-1281: use SchemaContext lookups"

Merge "BUG 1082 Migrate sal-rest-connector to Async Data Broker API"

BUG-1281: share filters between instances

The filters are invariants, so lets share them accross instances and not
instantiate them each time we need them.

Change-Id: Ib632efe758c22bd782fca0536c2fe7e9c6e831c3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: use SchemaContext lookups

SchemaContext provides efficient module lookup services. Use those
instead of homegrown versions.

Change-Id: I4406438b137c8742a5265036f84a66d7f0f441c0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Added test cases for each .proto file to ensure
that test case fail in case incompatible version
of the protocol buffer is utilized.

New Patch: Updated with copyright header

Change-Id: Ib7fe9e212c6319f46202506d96544d149da28004
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "OS Neutron FWaaS api/jaxrs and associated bindings"

OS Neutron FWaaS api/jaxrs and associated bindings

Patch#2:
-Removed and cleaned up some comments.
-Fixed null check on Firewall Rules

Patch#1:
The Neutron v2.0 API document can be viewed at:
http://docs.openstack.org/api/openstack-network/2.0/content/

Sample API calls that can be imported into Postman
are located in the OVSDB directory at:
Directory: [ovsdb] / resources / openstack /
File: Neutron-v2.0-API-Examples.json.postman_collection

Change-Id: If37a0dd702aa02db9e94811c9a414718d25f42a7
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Merge "Created Sample Feature Test Class for Base Feature Repository"

Merge "added feature topology manager shell"

Merge "Added hosttracker shell for karaf (rebased)"

Merge "Ignore generated journal directory"

Merge "Configuration Interface for Raft"

Merge "Snapshot changes"

Merge "Adding a constant file for actor names and paths."

Configuration Interface for Raft

A default implementation for the ConfigParams is provided.

The client can override and provide an impl of ConfigParams.

For now only 4 parameters have been introduced. More can be added.

ExampleActor and TestDriver provide examples.

Change-Id: I42a46a521ad9364d535de479c58873dc70740c9f
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

added feature topology manager shell

The shell is installed when odl-nsf-managers is installed

Change-Id: I460c71231ed54342983271304356737a1cb6c377
Signed-off-by: Jonathan Fok Kan <jfokkan@inocybe.com>

Added hosttracker shell for karaf (rebased)

Change-Id: I6c8eec9fddcd1a7d82e12e27f232fdaad65607b2
Signed-off-by: Gabriel Robitaille-Montpetit <grmontpetit@inocybe.com>

BUG 1082 Migrate sal-rest-connector to Async Data Broker API

Rework of sal-rest-connector project to support Async Data Broker API

Change-Id: I73804418a04445b236d12693e493a11850dd94dd
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Ignore generated journal directory

Change-Id: I3557f3d2b3aee5ee553fa9b7b1f63428043ef2b3
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Added configfile to config-netty feature.

Change-Id: Id5fea6efd0c65f4391e2c3e772611db74f6bc71c
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Moved all config subsystem config files to mvn projects.

Change-Id: I98f4ab29fd57b800d5c9272e866ead3519e09264
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1333: Regression Test suite."

Merge "BUG-732 Detect commit failure (and also put/delete/merge) in netconf-connector"

Merge "Fix xsql compilation failure"

Merge "Bug 1369: Use separate single threadpool for data operations on binding mountpoint."

BUG-732 Detect commit failure (and also put/delete/merge) in netconf-connector

When a failed rpc is detected, issue a discard changes rpc to keep device (candidate) configuration consistant (if candidate is supported).

Change-Id: Ia752ee33043b3159fd71b01eef34e6e79baf18be
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix xsql compilation failure

Change-Id: I89fe87b64dd1377a89caad86d5a3bf91e3e40402
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "ControllerContext.dataNodeChildByQName method refactoring"

Merge "Notificator create stream name method don't remove trailing slash"

Merge "BUG-628 Allow configuration to override module based capabilities from remote netconf device"

Merge "BUG-868: Migrate to SchemaContextListener"

Merge "BUG-190 Simplify reconnect logic in protocol-framework."

Merge "Add XSQL into default compilation"

ControllerContext.dataNodeChildByQName method refactoring

ControllerContext.dataNodeChildByQName() is used only in childByQName()
methods with DataNodeContainer input parameters:
- ContainerSchemaNode
- ListSchemaNode
- Module
Therefore child node of these DataNodeContainers can't be ChoiceCaseNode
(because it can be only child node of ChoiceNode)
and original branch >if (node instanceof ChoiceCaseNode)< couldn't be
executed.
I think that it was typo.

Change-Id: Ieb85ad8acaf047b47813542d8968c399a4e30b50
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix bug in test for distributed datastore

The test compared two normalized nodes using toString representation.
This is wrong since these nodes contain hash map and their order(also toString) changes depending on their content.
THe test compared two normalized nodes that did not contain same values. There was Integer in one and Long in the other.

The test failed for me on (due to hash map ordering):
java version "1.7.0_60"
Java(TM) SE Runtime Environment (build 1.7.0_60-b19)
Java HotSpot(TM) 64-Bit Server VM (build 24.60-b09, mixed mode)

Change-Id: Ib72c871077f79cff8327da9c57cc1faa8677a298
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed for bug : 1171 - issue while creating subnet"

Merge "Fixed for bug 1197"

Merge "Fixed for bug 1168 : Issue while update subnet"

Snapshot changes

Fixed adjusted index logic.
Added tests
Added Reinstate Node in TestDriver.
Changes related to recovery from snapshot
Review changes
Rebased with latest

Tasks to be done:
1. Snapshot capture criteria
2. Handling Snapshot failure
3. Configuration Interface
4. Install snapshot

Change-Id: Ie0d8341f501fef87f48e8ea6f5d6b6e878d1abe3
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Reinstate from snapshot + review changes

Change-Id: Ie0d8341f501fef87f48e8ea6f5d6b6e878d1abe3
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
TestDriver changes

Change-Id: Ie0d8341f501fef87f48e8ea6f5d6b6e878d1abe3
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Log interpolation change

Change-Id: Ie0d8341f501fef87f48e8ea6f5d6b6e878d1abe3
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Rebased.

Change-Id: Ie0d8341f501fef87f48e8ea6f5d6b6e878d1abe3
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Adding a constant file for actor names and paths.

Easier to change the names in future if we have to

Change-Id: Ic57bab8b817e5367d694be12cef0e04aa23fd175
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Add replication capability to Shard"

Adding the wrongly removed module back in pom.xml

Change-Id: I242bc87cbf193ed65b6a7f5ffc8e2d466a48b80e
Signed-off-by: Harman Singh <harmasin@cisco.com>

Adding actor supervisor, more logs and tests

Actor Supervisor will start rpcRegistry and rpcBroker actors and will resume them in case of exception
More logs have been added along with some unit test cases of xmlutil

Change-Id: I30101bd3b8ac6821b58b3e1a2421f7f1af26bcd1
Signed-off-by: Harman Singh <harmasin@cisco.com>

Updating cluster RPC code making it work

Added XMLUtils to serialize and deserialize instance identifier objects and the values insides path arguments with proper object type. This code use Yangtools existing utility, but modify that code to make sure
right type is picked up. We can think of adding it directly in yang tools also and remove it from here
Added Preconditions check for pojos

Change-Id: Ieb73b4ee660d2e058d0a62952799fc6f39d4c6b5
Signed-off-by: Harman Singh <harmasin@cisco.com>

Removing unused org.objectweb.asm from northbound.commons

Change-Id: Ie5789f1574ea5565be66a3a4dd007fa976a920f0
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

Add XSQL into default compilation

This adds XSQL into the default build.

Change-Id: I484f14d2633af5fc1ddc3aeec269757a4dee0dd6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add replication capability to Shard

This commit integrates the distributed data store with our Raft implementation.

Shard now extends RaftActor which provides it the replication capabilities required.

Other notable changes are,
- The FindPrimary algorithm has been changed to find the first replica for a shard.
  The shard then forwards requests to create a transaction or transaction chain to
  the leader
- Changed the package name for Raft internal messages from "internal" to "base" to be
  more BND tool friendly
- Fix some issues with Serialization of Raft messages
- Create a NoOpTransaction when no Primary can be found. The commit for this transaction
  will always fail. The NoOpTransaction returns absent for reads in all cases.
- Add PeerAddressResolution capability to Raft. What this basically does is given a static
  configuration where a shard has 'n' peers, you can pass the names of those peers
  to the shard and resolve their addresses at a later time. This allows the Shard to ensure
  consensus even in a situation where it is the first one to come up but it's peers are still
  not running

Change-Id: I3087deb5eb4418cd629a707ba14f43858db1f463
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "broken build - missing implementation of method getAnyXmlNodeSerializer"

BUG-868: Migrate to SchemaContextListener

SchemaServiceListener is deprecated, SchemaContextListener is its new
name. The class hierarchy allows for incremental migration.

Change-Id: I15d495d805eb7a08c3bcd3ab0cf8b5a8d2797db5
Signed-off-by: Robert Varga <rovarga@cisco.com>

broken build - missing implementation of method getAnyXmlNodeSerializer

Change-Id: Ib7f22015462cb224e11c3c267cfbac7627eeb800
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-628 Allow configuration to override module based capabilities from remote netconf device

Suitable for devices that do not provide module based capabilities in hello message (most likely do not support ietf-netconf-monitoring).
User can place yang files into cache/schema folder and set the capabilities for these modules into config attribute for netconf-connector.

Change-Id: I541ef08bb5c0328e293f9c732353282ffaf0474d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Notificator create stream name method don't remove trailing slash

Change-Id: I512879ce1b39b80b29a167147ef73e2ecef64afa
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-1228: Optimize AbstractForwardedDataBroker a bit

Profiling OFP with datastore backend has revealed that we spend about 9%
of CPU in AbstractForwardedDataBroker$1.compare(). This turns out to be
a comparator, which compares two YangInstanceIdentifiers by their path
length -- and to do that it iterates fully through both of them.

We perform three optimizations:
- make the comparator itself shareable, so we do not instantiate it
  (6000 during the profiling run)
- make the .sortedEntries() smart about empty maps
- teach the comparator to abort iteration as soon as the result is
  known

At the same time we import YangInstanceIdentifier, making the code a bit
more readable.

Change-Id: I38d3629ab33dac9e2e29b092e3a89d0821d09b07
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Make Raft messages serializable"

Created Sample Feature Test Class for Base Feature Repository

Change-Id: I9553bc264080abd013c9c9ef8c6a29356e2ac7fd
Signed-off-by: Mathieu Lemay <mlemay@inocybe.com>

Merge "Serialization/Deserialization and a host of other fixes"

Merge "Fix the build errors due to the class change of InstanceIdentifier to YangInstanceIdentifier"

BUG-1416 clean up flow statistic models

- duplicate flow model removed from statistics augment
- statistics notification processing adapted
- sal-binding-dom-it fixed

Change-Id: I7ad5bae45b47f5ea8ed918459fc83cbd839b0e3a
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Created Network Service Functions Features"

Make Raft messages serializable

- Make AppendEntries a protocol buffer message
- Create the Payload extension mechanism to be used for AppendEntries by extensions
  of RaftActors to define their custom Payloads
- Modified tests etc as appropriate

Change-Id: I2d5af41b7ca8ad7a8b94515ebc5adaa78803ad15
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Serialization/Deserialization and a host of other fixes

- Hande Cluster MemberUp and MemberRemoved events in ShardManager

- Cohort messages and close listener messages switched
to use protobuff

- Distributed Datastore switch messages to use protobuff
CreateTransaction
CreateTransactionReply
CreateTransactionChain
CreateTransactionChainReply distributed datastore messages
switched to protobuff

- ShardManager messages switch to protobuff

- DataChanged and other messages switch to protobuf in
distributed datastore

- Fixed few things found during testing
1. ShardStrategy - setting of configuration
2. NodeToNormalizedNodeBuilder - leaf node/leafsetentry node checks
3. DataChanged event - passing of scope instanceidentifier used during deserialization

- Introducing JMX MBeans for distributed datastore

-Fixed issues which were preventing remote Shards from talking to each other

- Fixed a number of issues related to deserialization

- Add distributed datastore to the build

- Switch from InstanceIdentifier to YangInstanceIdentifier

Change-Id: I0d15dc482cb2b0fb2170b1344bad9fa3b421e8e0
Signed-off-by: Moiz Raja <moraja@cisco.com>