Optimizations, Monitoring and Logging

- Made identifiers type-safe
- Changed logging so that most of it is done at debug level instead of info
- Make cluster logging configurable via logback.xml
- Add Bean for looking at the local shards on shard manager
- Add Preconditions in a places where it matters

Change-Id: Ie2b17e89bd88edde1366d0a4d23abf9fb97e6e55
Signed-off-by: Moiz Raja <moraja@cisco.com>

Handling ShardTransaction Failure Scenarios
and corresponding test cases

Note: Cohort failures handling is being worked on
and will be taken care in separate commit

Change-Id: I7ef165b9cb8c91088b4f20ae6c19418f92edb37c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Include lastCommittedTransactionTime in Shard JMX
MBean
Changed the maximum-frame-size to a larger value

patch 2: rebased
patch 3: merge with other changes
patch 4: commit not returning if cohort was null, included failedTransactionsCount
patch 5/patch6: updated with review comments
patch 7: reformatted based on comment

Change-Id: I85218131dc8edb51f4c2c9fcbb34be79b547789c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Fix broken 05-clustering.xml"

Merge " Expose more information about a Shard via JMX"

Merge "Bug 1430: Off-load notifications from single commit thread"

Merge "BUG 907 distinguish augmented nodes"

Merge "BUG-1511: add FIXME markers"

BUG 907 distinguish augmented nodes

All nodes and their child contains also information about module from
which they comes from (module_name:node_name)

Change-Id: I7b146e820da1b5d3bdb62510a48e6845a78c80a2
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG 1162 - problem to post list data

If last path arguments of instance identifier are list with keys then in
POST operation it is necessary to append it to instance identifier as
nodeWithKey.

This code was part of RestconfImpl but it was probably deleted
accidentaly.

Change-Id: I117cbcc39dcb97e8bc5ecc852ce2e9e7da7070cf
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix broken 05-clustering.xml

Change-Id: Id9a08202816836ab55ffb1510db66316b0ab74cb
Signed-off-by: Moiz Raja <moraja@cisco.com>

 Expose more information about a Shard via JMX

Change-Id: I4185cbf9d1399b90aa7b635bdbb4a82bce122a1a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1511: add FIXME markers

Fixes a simple typo and drops marker FIXMEs for future implementation.

Change-Id: Ic4f67afd978f4bb43314d161afcfe1e56c831be6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix usage of StringBuilder when getting parent path in PathUtils Making constants final timing encode/decode in a test case"

Merge "Neutron LBaaS v2.0 API support"

Fix usage of StringBuilder when getting parent path
in PathUtils
Making constants final
timing encode/decode in a test case

Change-Id: Ia552163dfe35dcd268bd8a0620c6b34c910f47b2
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Adding SLF4J logging

Change-Id: I0dbb80f947d44846dc0ee2b340e06aed94630490
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Gossip based eventually consistent RPC Registry.

There are 2 main components
1. Bucket Store:
   Stores data in buckets. Each cluster node gets a bucket. These buckets are sync'ed
   across nodes using Gossip protocol.
   Bucket Store uses a Gossiper that implements the protocol to sync data.

2. Rpc Registry:
   This uses the bucket store to store routing table. Routing table maintains mapping of
   RPC <--> Node
   Rpc Broker uses this regitry to route rpc requests to remote nodes.

Change-Id: Ifaf8955dbf6e3074d4d2951d6f503ecc0624d141
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Fix config-manager activator"

Fix config-manager activator

Change-Id: Ic81c28e100c0ec334f66376392c02d6fb6d7d01a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1495: fail future when no local RPC is found"

Merge "BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas"

Merge "BUG-1423 Fix distributed datastore error in config schemas(double case child)"

Merge "BUG-868: migrate ListenerRegistry"

Merge "Bug 1308 - Unable to publish NodeUpdated message via NotificationService"

Merge "Migrate to junit 4.11"

Merge "BUG-1493: do not instantiate HashSet"

Migrate to junit 4.11

Removes the version override and drags tests into 4.11. Also reverts
29ad7ba749eac80e6514b1ca37aa850c30649b55 for a proper fix.

Change-Id: I981163ee2c1d036ab04331eeba36f24a7e6f8002
Signed-off-by: Robert Varga <rovarga@cisco.com>

Expose the Raft State of a Shard and the name of it's Leader via JMX

Change-Id: Id8b57706902e93e0021db44533622fde283d82b4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Tune replication and stabilize tests

Made following changes for replication
- Increased Heartbeat timeout to 500 milliseconds.
- Send only one entry from the replicated log to the follower in append entries

Both of these tweaks have been made to prevent election timeouts and frequent switching of leaders

Changes to tests
- Added a duration when constructing an ExpectMsg. This prevents ExpectMsg from waiting forever when
  and expected event does not occur
- Removed all Thread.sleep from the tests and replace them with waiting for a specific LogEvent this is
  a more deterministic.

Change-Id: Ie9ce0c9c73bf1b170a78879b1e2dab76f1de64df
Signed-off-by: Moiz Raja <moraja@cisco.com>

Do not encode/decode DataChange registrations and notifications

DataChange notifications are never sent over the wire so they do not need
to be proto-buf encoded/decoded

Change-Id: Ief591bb2a2a17039c9b3ae21379eea3d562f4d98
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fixed issue where a shard for a defined module is not found

Change-Id: I5f6c82ce39f900a55519ec04a739a83ccb834e59
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial Configuration for Clustering

To try out clustering do the following,

1. Rename configuration/initial/05-clustering.xml.conf to configuration/initial/05-clustering.xml
2. Run the controller with these options

    ./run.sh -XX:MaxPermSize=512m

Change-Id: I61ede6cc083ce5fc722c44f0c127f4a03e2869d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1495: fail future when no local RPC is found

Instead of checking state, we return a failed future, which will have a
RpcImplementationUnavailableException as its cause. The current call
site is the remote broker, which is the provider of last resort and it
throws it when it has no foreign system available.

Change-Id: Ib9d8534ca75e60f1867a7c275ee653a70dbd7a00
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1493: do not instantiate HashSet

This HashSet is used to track processed nodes -- but the parent node is
already giving us a method, which checks if it contains a particular
node ID. Let's use that instead of maintaining the set.

Based on traces, this should speed the datastore up by about 4.8%.

Change-Id: I09e1135f51c8967b9fe8c520a0e166918472de7d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas

Change-Id: Ie0fcb6d9ba44207cb14d31d51c1f3068983d514e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1423 Fix distributed datastore error in config schemas(double case child)

Change-Id: I44c220c577f57354a6a1dfd38c08ec2a1a75f9ca
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix test coverage not being reported in Sonar"

Bug 1430: Off-load notifications from single commit thread

Modified the InMemoryDOMDataStore to use the new
QueuedNotificationManager class added to yangtools common util for
DataChangeListener notifications.

Modified DOMDataCommitCoordinatorImpl's ListeningExecutorService to one
that off-loads ListenableFuture Runnable callbacks on a separate
executor.

Change-Id: I31f2fb002131c6d91b205d33255dd1bbc6433d9b
Signed-off-by: tpantelis <tpanteli@brocade.com>

Utilize transaction type to create read-only or
write-only or read-write transaction instead of always
creating read-write transaction

patch 2: updated based on review comments

Change-Id: I36390ab348c5774cf4bf180ea1608fe04f75d073
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Created sal-clustering-commons and moved sal-protobuff-encoding files to sal-clustering-commons"

Merge "Remove old dependencies"

Created sal-clustering-commons and moved
sal-protobuff-encoding files to sal-clustering-commons

updated sal-distributed-datastore pom with the above change

removed sal-clustering-commons as part of distribution as it is embedded currently as part of distributed-datastore

Note - after this is merged we need to move
 out the .proto from  akka-raft to sal-clustering-commons
and add dependency of sal-akka-raft on sal-clustering-commons
and embed the same
rebased
Change-Id: I7d4ac51628cef96ffb16acfcfd596dfd3129e0fa
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Bug 1386: Avoid commit deadlock"

Fix test coverage not being reported in Sonar

Change-Id: Id8ff02a986b1bfdab01a481fcb11cef111757de9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimilization the method datastoreNormalizedNodeToCompositeNode"

Merge "A little extra protection against nulls in ConfigPusher"

Merge changes If78d8143,Id8d04f24

* changes:
  BUG-1281: eliminate thread-unsafe lookup
  BUG-1281: make methods static

Optimilization the method datastoreNormalizedNodeToCompositeNode

Origin method used schema context (which isn't necessary) and additionaly
doesn't cover all cases. + fixing of incorrect corresponding tests

Change-Id: Idbead2696de9102a202cad03c78f4a1a14a2d1d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1418 - onDataChange notification is not returning any data to  the getCreatedData and getModifiedData function calls. Data change  notification does not seem to work."

Bug 1418 - onDataChange notification is not returning any data to
the getCreatedData and getModifiedData function calls. Data change
notification does not seem to work.

* Changed normalized to binding data change event translation call to
include event listener path. This path is then used to decode leaf or
mixin only augmentation because it can't be injected through children.
* Added verification tests.

Change-Id: Ia9d936f17b30b94fe4878e343cff7babb8d29d0f
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

A little extra protection against nulls in ConfigPusher

Change-Id: I4aab592b028b8336370c23924fcbf69858b7a6bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1386: Avoid commit deadlock

Changed the executor in DOMDataCommitCoordinatorImpl to a new
class DeadlockDetectingListeningExecutorService added to yangtools util.
This detects deadlock if another blocking commit is done by a client
notified from the single commit thread.

Change-Id: Icdc2b835fd336a1bbc37953828126b57253929c0
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-1281: eliminate thread-unsafe lookup

The URI/name lookup map was not safe when context was reloaded. Get rid
of it for now, as SchemaContext can maintain reasonably-fast lookups. At
the same time make sure we share codepaths as much as possible.

Change-Id: If78d8143e94446fe9b38da894611b1c8b61f57f3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: make methods static

As it turns out ControllerContext has a few methods which do not touch
instance state -- make those static and fixup callers.

Change-Id: Id8d04f2426435528ee754f56b34f91d25a49d3ee
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove old dependencies

- Remove stale dependencies that prevent releasing of artifacts
- Remove unused flow-management-compatibility and
inventory-topology-compatibility modules
- Make sure that if a dependency is on module with a version defined
by a variable, lets specify the version in the dependency management
in common pom
- Replace in netconf-cli the reference from yang-data-json to
yang-data-composite-node because yang-data-json has been removed
- Removed whitespaces in config-netty-config that would cause
checkstyle issues downstream otherwise

Change-Id: I866e4b36e71c004b925bd181412ff4df91b3091f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

BUG-868: migrate ListenerRegistry

yangtools.concepts.util is being migrated to yangtools.util, so adjust
users to lower the number of warnings.

Change-Id: I652f0131a59fdb2481d779c181861f7ed7674b03
Signed-off-by: Robert Varga <rovarga@cisco.com>

Migrate to junit 4.11 - failing test

Corrected test which caused problems in
https://git.opendaylight.org/gerrit/#/c/9670/

Change-Id: Ife89b83bbc1d2df4dc34327e5f27ed47509a8b48
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Fix failing IT tests"

Merge "Adding remoterpc connector to distribution and Updating actor system creation"

Fix failing IT tests

- Binding Test Helper did not spefied object-cache as dependency
  and it was already part of distribution
- API Doc plugin was using invalid YANG files for positive
  test scenario.

Change-Id: I06c174408df6073d887f5c307cf1b70c34c442b1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed namespace of yang testing file."

Merge "Bug 1354: Fixed rpc request/result transformation."

Neutron LBaaS v2.0 API support

Patch#2:
-Changed Pool Memebers to its own CRUD interface.

Patch#1
-Added LBaaS support per the v2.0 API Doc
http://docs.openstack.org/api/openstack-network/2.0/content/

-There are four root API members as defined by the API spec:
Load Balancer, LB Pools, LB Listeners and Health Monitors.

-Members are nested underneath LB Pools. The URL API path
is defined in the patch but needs to be wired into the binding.
That work wouldnt change the API just the implementation.

-The patch is getting huge so unloading for review. LBaaS
will have a lot of moving parts o0. The postman collection
for testing this is at:
[ovsdb.git] / resources / openstack
/ Neutron-v2.0-API-Examples.json.postman_collection

Change-Id: I6acb234e7f246a98c57a9cab97af405c028b708d
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Adding remoterpc connector to distribution and Updating actor system creation

Actor system will be created with in bundle class loader now. This change has been made to avoid any conflict with other actor systems.
We faced one class cast exception earlier and this fixes that

Change-Id: Iad55e60ee950fdcff8698270445f0da31bc39c5e
Signed-off-by: Harman Singh <harmasin@cisco.com>

Fixed typo in restconf, which caused classcast in datastore.

Change-Id: I51eb1fc2e4056dc84feb3b720c3ee844ee4ffdea
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Downgraded to hamcrest 1.1 to fix the build

Change-Id: I5dc385ed61e8290eb81c50973417bd6ceb1c7508
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG 1162 - ensure data for all path arguments in datastore."

BUG 1162 - ensure data for all path arguments in datastore.

Fixes
1) It is possible to specify path to data (including lists with
keys) via unexisting nodes and store payload data to this path.
Missing nodes in datastore are created before storing payload data.
2) InstanceIdentifier is now correctly created via
DataNormalizer.toNormalized()

Change-Id: If795a930015fef39a0029e808355d51357e2d5d5
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fixed namespace of yang testing file.

This test used 2 different yang files with same namespace, which is incorrect and can cause test fail later.

Change-Id: I87a78e36d1d8812bb92f71c82722f87559907423
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1354: Fixed rpc request/result transformation.

This commit is dependent on https://git.opendaylight.org/gerrit/9232 commit in Yangtools project.
Fixed proper data transformation in toRpcRequest method in NetconfMessageTransformer.
Now every rpc request (edit-config, get and get-config) will be transformed for given Schema Context.

Change-Id: I08da9200c0ba680b36a445978e7de748e94b654d
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Return a NoOpTransactionContext when the Primary for a shard is not found

A NoOpTransactionContext is returned when a request to create a transaction
results in the primary not being found or when the request times out.

A CanCommit on the NoOpTransaction will always false. A read
will always return an empty result. The consumer will need to deal with this situation.

Change-Id: Id6f7d0688921acac718b9bb06fbf03d5e345d7ac
Signed-off-by: Moiz Raja <moraja@cisco.com>

Keep DataChange registrations and notifications local

Here is how it works
--------------------
When a consumer registers for a datachange notification we first check if the Shard
to which this registration needs to be sent is local. If it is then we send the
registration to it. If it is not then we simply return a NoOpRegistration to the consumer.
This ensures that a DataChange registration stays local to a cluster member.

Now let's say we have 3 replicas and in all those replicas we do find a local shard for a
given module and we have 3 listener registrations. At this time we do not want all 3 members
to be notified of the change. We only want the node which is the Leader to notify it's listeners
of the change. To restrict that the DataChangeListener will only forward events to the listener
if the Shard sends it a message enabling notifications

Change-Id: I035bbdf34e2509047f4bcb475c443a761b08e68d
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fix a couple of issues with replication

- First the data that was being sent from the primary was not being deserialized on the followers
- The state on the followers was not being applied correctly
- Add sal-distributed-datastore to the distribution

Added a test for CompositeModificationPayload to ensure that serialization works correctly
Also added a set of integration test programs to test the serialization

Change-Id: Id67d2c4fe471003d9dd3b42a8376c90fd23492ce
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1473: update model.util.InstanceIdentifier users

Companion patch to https://git.opendaylight.org/gerrit/9622, updates
users to use the new name. Also make the code a tiny bit more readable.

Fixed conversion to checked Future.

Change-Id: If8da3639e656214713d3680951cd9ae724c5ad6f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1392: Change ReadTransaction#read to return CheckedFuture"

Merge "BUG-1281: share filters between instances"

Merge "BUG-1281: use SchemaContext lookups"

Merge "BUG 1082 Migrate sal-rest-connector to Async Data Broker API"

BUG-1281: share filters between instances

The filters are invariants, so lets share them accross instances and not
instantiate them each time we need them.

Change-Id: Ib632efe758c22bd782fca0536c2fe7e9c6e831c3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: use SchemaContext lookups

SchemaContext provides efficient module lookup services. Use those
instead of homegrown versions.

Change-Id: I4406438b137c8742a5265036f84a66d7f0f441c0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Added test cases for each .proto file to ensure
that test case fail in case incompatible version
of the protocol buffer is utilized.

New Patch: Updated with copyright header

Change-Id: Ib7fe9e212c6319f46202506d96544d149da28004
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "OS Neutron FWaaS api/jaxrs and associated bindings"

OS Neutron FWaaS api/jaxrs and associated bindings

Patch#2:
-Removed and cleaned up some comments.
-Fixed null check on Firewall Rules

Patch#1:
The Neutron v2.0 API document can be viewed at:
http://docs.openstack.org/api/openstack-network/2.0/content/

Sample API calls that can be imported into Postman
are located in the OVSDB directory at:
Directory: [ovsdb] / resources / openstack /
File: Neutron-v2.0-API-Examples.json.postman_collection

Change-Id: If37a0dd702aa02db9e94811c9a414718d25f42a7
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Merge "Created Sample Feature Test Class for Base Feature Repository"

Merge "added feature topology manager shell"

Merge "Added hosttracker shell for karaf (rebased)"

Merge "Ignore generated journal directory"

Merge "Configuration Interface for Raft"

Merge "Snapshot changes"

Merge "Adding a constant file for actor names and paths."

Configuration Interface for Raft

A default implementation for the ConfigParams is provided.

The client can override and provide an impl of ConfigParams.

For now only 4 parameters have been introduced. More can be added.

ExampleActor and TestDriver provide examples.

Change-Id: I42a46a521ad9364d535de479c58873dc70740c9f
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

added feature topology manager shell

The shell is installed when odl-nsf-managers is installed

Change-Id: I460c71231ed54342983271304356737a1cb6c377
Signed-off-by: Jonathan Fok Kan <jfokkan@inocybe.com>

Added hosttracker shell for karaf (rebased)

Change-Id: I6c8eec9fddcd1a7d82e12e27f232fdaad65607b2
Signed-off-by: Gabriel Robitaille-Montpetit <grmontpetit@inocybe.com>

BUG 1082 Migrate sal-rest-connector to Async Data Broker API

Rework of sal-rest-connector project to support Async Data Broker API

Change-Id: I73804418a04445b236d12693e493a11850dd94dd
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Ignore generated journal directory

Change-Id: I3557f3d2b3aee5ee553fa9b7b1f63428043ef2b3
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Added configfile to config-netty feature.

Change-Id: Id5fea6efd0c65f4391e2c3e772611db74f6bc71c
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Moved all config subsystem config files to mvn projects.

Change-Id: I98f4ab29fd57b800d5c9272e866ead3519e09264
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1333: Regression Test suite."

Merge "BUG-732 Detect commit failure (and also put/delete/merge) in netconf-connector"