Bug-1520 Config subsystem:config-api tests

Change-Id: Iefb8b8ac1a5099c276ab200a3a6337cb8befefe7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-1520 Config subsystem:config modules tests

Change-Id: I2ad29ce1eb8ba0d5286c426ab3e61627d8e7a8dc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug-1338: Create a grouping for order to help create generic OrderComparator in OFP"

Merge "BUG-997 Use shared schema context factory in netconf-connector"

Merge "Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction"

Merge "Better handle remove interface from router for unknown port uuid"

Better handle remove interface from router for unknown port uuid

When doing "Remove interface from router" and only port uuid is
provided; the lookup in hash map may return null. If so, there
needs to be a check against NPE.

Change-Id: Ibaea49ac3fdfc08e92c95e818e5ec82628822f3f
Ref: http://docs.openstack.org/api/openstack-network/2.0/content/PUT_removeRouterInterface__v2.0_routers_remove_router_interface_router_ext.html
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Merge "Bug #1532 Neutron Port bindings missing Security Group List"

Merge "Optimizations, Monitoring and Logging"

Bug #1532 Neutron Port bindings missing Security Group List

Neutron Port calls are returning empty SecGroup lists. The
bindings are there, just not the return.

Change-Id: I882f0921af35e690672ee3a728cc2c029c4739fa
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Merge "Fixed remove rpc api in rpc registry"

Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction

Introducing this API does not impact clients as it is mostly internal.

One reason for adding this API is because of ensureParentsByMerge used in a couple of places
which keeps checking if a parent node exists by reading a node to figure out if it exists. This is
fine for the InMemoryDataStore but it can be terrible in a distributed data store where the shard
which contains the data is remote. All sorts of overhead is associated with a remote read including
serialization which can actually be pretty expensive.

Change-Id: Ib5be5f6dc60be683d7a04c81dad08c56cd5681f4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Working md-sal features, including restconf, toaster, flow-services"

Merge "Fix to topology-lldp-discovery to allow for clean karaf feature"

Merge "config-persister-feature-adapter to push configs from karaf features"

Merge "Minor changes to config-persister to allow for karaf"

Fixed remove rpc api in rpc registry

Added tests

Change-Id: Ib5204f5226d11a1d8cdec7cf99809333bd1f1457
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Updated RpcRegistry to accept a list of route identifiers while adding or removing routes."

Optimizations, Monitoring and Logging

- Made identifiers type-safe
- Changed logging so that most of it is done at debug level instead of info
- Make cluster logging configurable via logback.xml
- Add Bean for looking at the local shards on shard manager
- Add Preconditions in a places where it matters

Change-Id: Ie2b17e89bd88edde1366d0a4d23abf9fb97e6e55
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Missing capability in 10-rest-connector.xml file"

BUG-997 Use shared schema context factory in netconf-connector

+ Fix disconnect by netconf-connector. Until now, the connection to remote device was still open even if initialization failed.

Change-Id: I23ee999c7898665498519abf19610deef3d410a3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Handling ShardTransaction Failure Scenarios
and corresponding test cases

Note: Cohort failures handling is being worked on
and will be taken care in separate commit

Change-Id: I7ef165b9cb8c91088b4f20ae6c19418f92edb37c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Updated RpcRegistry to accept a list of route identifiers while
adding or removing routes.

Removed few redundant defensive null checks.

Change-Id: I24310d2a3871a4bff2afa5a06b3657f4d2709794
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Include lastCommittedTransactionTime in Shard JMX
MBean
Changed the maximum-frame-size to a larger value

patch 2: rebased
patch 3: merge with other changes
patch 4: commit not returning if cohort was null, included failedTransactionsCount
patch 5/patch6: updated with review comments
patch 7: reformatted based on comment

Change-Id: I85218131dc8edb51f4c2c9fcbb34be79b547789c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Working md-sal features, including restconf, toaster, flow-services

Note: DO NOT MERGE until
https://git.opendaylight.org/gerrit/9847 (yangtools)
is merged as it is needed for this change.

Change-Id: Iad975cfb63b62930465edcd9e415856873b5acde
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix to topology-lldp-discovery to allow for clean karaf feature

Change-Id: Ife3388610a2d816f7bb8e5214cc98d123c4b604b
Signed-off-by: Ed Warnicke <eaw@cisco.com>

config-persister-feature-adapter to push configs from karaf features

Change-Id: I66063a44210d1a6d7804903f17bc8fc0b2995af8
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Minor changes to config-persister to allow for karaf

These minor changes expose a ConfigPusher service for use
by a config-persister-feature-adapter (to follow) that
can push configs attached to features.

Change-Id: I382d2ab578d19ea9c24afa521a9a5a047360fc50
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Fix broken 05-clustering.xml"

Merge " Expose more information about a Shard via JMX"

Merge "Bug 1430: Off-load notifications from single commit thread"

Merge "BUG 907 distinguish augmented nodes"

Merge "BUG-1511: add FIXME markers"

BUG 907 distinguish augmented nodes

All nodes and their child contains also information about module from
which they comes from (module_name:node_name)

Change-Id: I7b146e820da1b5d3bdb62510a48e6845a78c80a2
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Missing capability in 10-rest-connector.xml file

This missing capability could probably cause problem and restconf isn't
started.

Change-Id: I6ea2dc6236948c7e77b9cddf7d015fcf4e5b7357
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG 1162 - problem to post list data

If last path arguments of instance identifier are list with keys then in
POST operation it is necessary to append it to instance identifier as
nodeWithKey.

This code was part of RestconfImpl but it was probably deleted
accidentaly.

Change-Id: I117cbcc39dcb97e8bc5ecc852ce2e9e7da7070cf
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix broken 05-clustering.xml

Change-Id: Id9a08202816836ab55ffb1510db66316b0ab74cb
Signed-off-by: Moiz Raja <moraja@cisco.com>

 Expose more information about a Shard via JMX

Change-Id: I4185cbf9d1399b90aa7b635bdbb4a82bce122a1a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1511: add FIXME markers

Fixes a simple typo and drops marker FIXMEs for future implementation.

Change-Id: Ic4f67afd978f4bb43314d161afcfe1e56c831be6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix usage of StringBuilder when getting parent path in PathUtils Making constants final timing encode/decode in a test case"

Merge "Neutron LBaaS v2.0 API support"

Fix usage of StringBuilder when getting parent path
in PathUtils
Making constants final
timing encode/decode in a test case

Change-Id: Ia552163dfe35dcd268bd8a0620c6b34c910f47b2
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Adding SLF4J logging

Change-Id: I0dbb80f947d44846dc0ee2b340e06aed94630490
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Gossip based eventually consistent RPC Registry.

There are 2 main components
1. Bucket Store:
   Stores data in buckets. Each cluster node gets a bucket. These buckets are sync'ed
   across nodes using Gossip protocol.
   Bucket Store uses a Gossiper that implements the protocol to sync data.

2. Rpc Registry:
   This uses the bucket store to store routing table. Routing table maintains mapping of
   RPC <--> Node
   Rpc Broker uses this regitry to route rpc requests to remote nodes.

Change-Id: Ifaf8955dbf6e3074d4d2951d6f503ecc0624d141
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Fix config-manager activator"

Fix config-manager activator

Change-Id: Ic81c28e100c0ec334f66376392c02d6fb6d7d01a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1495: fail future when no local RPC is found"

Bug-1338: Create a grouping for order to help create generic OrderComparator in OFP

Change-Id: I1a2a2df249b244081e45097afbc41c71e6ff2f76
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas"

Merge "BUG-1423 Fix distributed datastore error in config schemas(double case child)"

Merge "BUG-868: migrate ListenerRegistry"

Merge "Bug 1308 - Unable to publish NodeUpdated message via NotificationService"

Merge "Migrate to junit 4.11"

Merge "BUG-1493: do not instantiate HashSet"

Migrate to junit 4.11

Removes the version override and drags tests into 4.11. Also reverts
29ad7ba749eac80e6514b1ca37aa850c30649b55 for a proper fix.

Change-Id: I981163ee2c1d036ab04331eeba36f24a7e6f8002
Signed-off-by: Robert Varga <rovarga@cisco.com>

Expose the Raft State of a Shard and the name of it's Leader via JMX

Change-Id: Id8b57706902e93e0021db44533622fde283d82b4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Tune replication and stabilize tests

Made following changes for replication
- Increased Heartbeat timeout to 500 milliseconds.
- Send only one entry from the replicated log to the follower in append entries

Both of these tweaks have been made to prevent election timeouts and frequent switching of leaders

Changes to tests
- Added a duration when constructing an ExpectMsg. This prevents ExpectMsg from waiting forever when
  and expected event does not occur
- Removed all Thread.sleep from the tests and replace them with waiting for a specific LogEvent this is
  a more deterministic.

Change-Id: Ie9ce0c9c73bf1b170a78879b1e2dab76f1de64df
Signed-off-by: Moiz Raja <moraja@cisco.com>

Do not encode/decode DataChange registrations and notifications

DataChange notifications are never sent over the wire so they do not need
to be proto-buf encoded/decoded

Change-Id: Ief591bb2a2a17039c9b3ae21379eea3d562f4d98
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fixed issue where a shard for a defined module is not found

Change-Id: I5f6c82ce39f900a55519ec04a739a83ccb834e59
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial Configuration for Clustering

To try out clustering do the following,

1. Rename configuration/initial/05-clustering.xml.conf to configuration/initial/05-clustering.xml
2. Run the controller with these options

    ./run.sh -XX:MaxPermSize=512m

Change-Id: I61ede6cc083ce5fc722c44f0c127f4a03e2869d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1495: fail future when no local RPC is found

Instead of checking state, we return a failed future, which will have a
RpcImplementationUnavailableException as its cause. The current call
site is the remote broker, which is the provider of last resort and it
throws it when it has no foreign system available.

Change-Id: Ib9d8534ca75e60f1867a7c275ee653a70dbd7a00
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1493: do not instantiate HashSet

This HashSet is used to track processed nodes -- but the parent node is
already giving us a method, which checks if it contains a particular
node ID. Let's use that instead of maintaining the set.

Based on traces, this should speed the datastore up by about 4.8%.

Change-Id: I09e1135f51c8967b9fe8c520a0e166918472de7d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas

Change-Id: Ie0fcb6d9ba44207cb14d31d51c1f3068983d514e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1423 Fix distributed datastore error in config schemas(double case child)

Change-Id: I44c220c577f57354a6a1dfd38c08ec2a1a75f9ca
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix test coverage not being reported in Sonar"

Bug 1430: Off-load notifications from single commit thread

Modified the InMemoryDOMDataStore to use the new
QueuedNotificationManager class added to yangtools common util for
DataChangeListener notifications.

Modified DOMDataCommitCoordinatorImpl's ListeningExecutorService to one
that off-loads ListenableFuture Runnable callbacks on a separate
executor.

Change-Id: I31f2fb002131c6d91b205d33255dd1bbc6433d9b
Signed-off-by: tpantelis <tpanteli@brocade.com>

Utilize transaction type to create read-only or
write-only or read-write transaction instead of always
creating read-write transaction

patch 2: updated based on review comments

Change-Id: I36390ab348c5774cf4bf180ea1608fe04f75d073
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Created sal-clustering-commons and moved sal-protobuff-encoding files to sal-clustering-commons"

Merge "Remove old dependencies"

Created sal-clustering-commons and moved
sal-protobuff-encoding files to sal-clustering-commons

updated sal-distributed-datastore pom with the above change

removed sal-clustering-commons as part of distribution as it is embedded currently as part of distributed-datastore

Note - after this is merged we need to move
 out the .proto from  akka-raft to sal-clustering-commons
and add dependency of sal-akka-raft on sal-clustering-commons
and embed the same
rebased
Change-Id: I7d4ac51628cef96ffb16acfcfd596dfd3129e0fa
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Bug 1386: Avoid commit deadlock"

Fix test coverage not being reported in Sonar

Change-Id: Id8ff02a986b1bfdab01a481fcb11cef111757de9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimilization the method datastoreNormalizedNodeToCompositeNode"

Merge "A little extra protection against nulls in ConfigPusher"

Merge changes If78d8143,Id8d04f24

* changes:
  BUG-1281: eliminate thread-unsafe lookup
  BUG-1281: make methods static

Optimilization the method datastoreNormalizedNodeToCompositeNode

Origin method used schema context (which isn't necessary) and additionaly
doesn't cover all cases. + fixing of incorrect corresponding tests

Change-Id: Idbead2696de9102a202cad03c78f4a1a14a2d1d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1418 - onDataChange notification is not returning any data to  the getCreatedData and getModifiedData function calls. Data change  notification does not seem to work."

Bug 1418 - onDataChange notification is not returning any data to
the getCreatedData and getModifiedData function calls. Data change
notification does not seem to work.

* Changed normalized to binding data change event translation call to
include event listener path. This path is then used to decode leaf or
mixin only augmentation because it can't be injected through children.
* Added verification tests.

Change-Id: Ia9d936f17b30b94fe4878e343cff7babb8d29d0f
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

A little extra protection against nulls in ConfigPusher

Change-Id: I4aab592b028b8336370c23924fcbf69858b7a6bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1386: Avoid commit deadlock

Changed the executor in DOMDataCommitCoordinatorImpl to a new
class DeadlockDetectingListeningExecutorService added to yangtools util.
This detects deadlock if another blocking commit is done by a client
notified from the single commit thread.

Change-Id: Icdc2b835fd336a1bbc37953828126b57253929c0
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-1281: eliminate thread-unsafe lookup

The URI/name lookup map was not safe when context was reloaded. Get rid
of it for now, as SchemaContext can maintain reasonably-fast lookups. At
the same time make sure we share codepaths as much as possible.

Change-Id: If78d8143e94446fe9b38da894611b1c8b61f57f3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: make methods static

As it turns out ControllerContext has a few methods which do not touch
instance state -- make those static and fixup callers.

Change-Id: Id8d04f2426435528ee754f56b34f91d25a49d3ee
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove old dependencies

- Remove stale dependencies that prevent releasing of artifacts
- Remove unused flow-management-compatibility and
inventory-topology-compatibility modules
- Make sure that if a dependency is on module with a version defined
by a variable, lets specify the version in the dependency management
in common pom
- Replace in netconf-cli the reference from yang-data-json to
yang-data-composite-node because yang-data-json has been removed
- Removed whitespaces in config-netty-config that would cause
checkstyle issues downstream otherwise

Change-Id: I866e4b36e71c004b925bd181412ff4df91b3091f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

BUG-868: migrate ListenerRegistry

yangtools.concepts.util is being migrated to yangtools.util, so adjust
users to lower the number of warnings.

Change-Id: I652f0131a59fdb2481d779c181861f7ed7674b03
Signed-off-by: Robert Varga <rovarga@cisco.com>

Migrate to junit 4.11 - failing test

Corrected test which caused problems in
https://git.opendaylight.org/gerrit/#/c/9670/

Change-Id: Ife89b83bbc1d2df4dc34327e5f27ed47509a8b48
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Fix failing IT tests"

Merge "Adding remoterpc connector to distribution and Updating actor system creation"

Fix failing IT tests

- Binding Test Helper did not spefied object-cache as dependency
  and it was already part of distribution
- API Doc plugin was using invalid YANG files for positive
  test scenario.

Change-Id: I06c174408df6073d887f5c307cf1b70c34c442b1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed namespace of yang testing file."

Merge "Bug 1354: Fixed rpc request/result transformation."

Neutron LBaaS v2.0 API support

Patch#2:
-Changed Pool Memebers to its own CRUD interface.

Patch#1
-Added LBaaS support per the v2.0 API Doc
http://docs.openstack.org/api/openstack-network/2.0/content/

-There are four root API members as defined by the API spec:
Load Balancer, LB Pools, LB Listeners and Health Monitors.

-Members are nested underneath LB Pools. The URL API path
is defined in the patch but needs to be wired into the binding.
That work wouldnt change the API just the implementation.

-The patch is getting huge so unloading for review. LBaaS
will have a lot of moving parts o0. The postman collection
for testing this is at:
[ovsdb.git] / resources / openstack
/ Neutron-v2.0-API-Examples.json.postman_collection

Change-Id: I6acb234e7f246a98c57a9cab97af405c028b708d
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Adding remoterpc connector to distribution and Updating actor system creation

Actor system will be created with in bundle class loader now. This change has been made to avoid any conflict with other actor systems.
We faced one class cast exception earlier and this fixes that

Change-Id: Iad55e60ee950fdcff8698270445f0da31bc39c5e
Signed-off-by: Harman Singh <harmasin@cisco.com>

Fixed typo in restconf, which caused classcast in datastore.

Change-Id: I51eb1fc2e4056dc84feb3b720c3ee844ee4ffdea
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Downgraded to hamcrest 1.1 to fix the build

Change-Id: I5dc385ed61e8290eb81c50973417bd6ceb1c7508
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG 1162 - ensure data for all path arguments in datastore."

BUG 1162 - ensure data for all path arguments in datastore.

Fixes
1) It is possible to specify path to data (including lists with
keys) via unexisting nodes and store payload data to this path.
Missing nodes in datastore are created before storing payload data.
2) InstanceIdentifier is now correctly created via
DataNormalizer.toNormalized()

Change-Id: If795a930015fef39a0029e808355d51357e2d5d5
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fixed namespace of yang testing file.

This test used 2 different yang files with same namespace, which is incorrect and can cause test fail later.

Change-Id: I87a78e36d1d8812bb92f71c82722f87559907423
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1354: Fixed rpc request/result transformation.

This commit is dependent on https://git.opendaylight.org/gerrit/9232 commit in Yangtools project.
Fixed proper data transformation in toRpcRequest method in NetconfMessageTransformer.
Now every rpc request (edit-config, get and get-config) will be transformed for given Schema Context.

Change-Id: I08da9200c0ba680b36a445978e7de748e94b654d
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Return a NoOpTransactionContext when the Primary for a shard is not found

A NoOpTransactionContext is returned when a request to create a transaction
results in the primary not being found or when the request times out.

A CanCommit on the NoOpTransaction will always false. A read
will always return an empty result. The consumer will need to deal with this situation.

Change-Id: Id6f7d0688921acac718b9bb06fbf03d5e345d7ac
Signed-off-by: Moiz Raja <moraja@cisco.com>

Keep DataChange registrations and notifications local

Here is how it works
--------------------
When a consumer registers for a datachange notification we first check if the Shard
to which this registration needs to be sent is local. If it is then we send the
registration to it. If it is not then we simply return a NoOpRegistration to the consumer.
This ensures that a DataChange registration stays local to a cluster member.

Now let's say we have 3 replicas and in all those replicas we do find a local shard for a
given module and we have 3 listener registrations. At this time we do not want all 3 members
to be notified of the change. We only want the node which is the Leader to notify it's listeners
of the change. To restrict that the DataChangeListener will only forward events to the listener
if the Shard sends it a message enabling notifications

Change-Id: I035bbdf34e2509047f4bcb475c443a761b08e68d
Signed-off-by: Moiz Raja <moraja@cisco.com>