bug 537 - Node Reconciliation

https://wiki.opendaylight.org/view/OpenDaylight_OpenFlow_Plugin:Backlog:Node_Status_Reconciliation

* FRM Reconciliation Notify Listener (DataChangeScope.BASE for FlowCapableNode in DataStore/OPERATIONAL)
* FlowCookieProducer - MapHolder for an unique relation flow_cookie to flow_id via FRM
* FlowStatTracker changes
        * search flow_id by flow_cookie for exist flow
* add flow_id - flow_cookie for new Flow
* FRM migration for new DataBroker API
* merge with new DataStore/OPERATIONAL hierarchy (Flow vs. FlowStatistics)
* fixed flow delete - generated cookie is bypassed with mask=0

In additional commit has fixed Bug 282 - Pre-configuration of flows causes exception
+ remove the transaction validators - not needed for now

Change-Id: Iadc2b111780524b9a8fd86cfc248e5fa194e6638
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "write /nodes/node/table/0 with ensure parents when node first appears"

Merge "Bug-1520 Config subsystem:config-impl tests"

write /nodes/node/table/0 with ensure parents when node first appears

Change-Id: Ic30ee64e7f1c53de7902aa322fc2de20bcf5b9b8
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Bug-1520 Config subsystem:config-api tests"

Merge "Bug-1520 Config subsystem:config modules tests"

Removing additional plugin, not required for config files

Change-Id: I7da3ac25b4d19a91ed7bf198125c597cb0473c56
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Akka config change"

Merge "Move the CompositeModificatoinPayload message to proper package The package of protobuff generated code is excluded from sonar testing"

Bug 948 : Inventory and topology manager  shifted to new DataStore API

Change-Id: I1a3f2fb47742da0622a096bd6305e7a848a59a36
Signed-off-by: Martin Bobak <mbobak@cisco.com>

hotfix Bug 1499 - deleted flow still present

StatisticManager needs to delete the statistics and the flows too.
* fix a path to delete whole flow (no only statistics)

Note: bugfix could help for bug 1345 too.

Change-Id: I8a8bee995d42daa9f1832cc8e26cc2c02b2e64c1
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Merge "Add additional fields to Neutron Router"

Merge changes I162c84f7,Iffa37d3f

* changes:
  BUG-1425: Integrated new Binding to Normalized Node codec for write path
  BUG-1425: package binding-data-codec

Add additional fields to Neutron Router

This adds additional fields to the Neutron Router object that can assist
with providing Distributed L3

Change-Id: I71dabe323a55a9028e54b1b46e923a7e4614f46d
Signed-off-by: Dave Tucker <djt@redhat.com>

Move the CompositeModificatoinPayload message to proper
package
The package of protobuff generated code is
excluded from sonar testing

Change-Id: I4eeae429febe32a8a347c319f6dec60cd0df5946
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

BUG-1425: Integrated new Binding to Normalized Node codec for write path

Integrated binding to normalized node codec for write path to datastore,
for deserialization legacy codecs are still used.

This patch requires https://git.opendaylight.org/gerrit/9795
to be merged in YANGTools before.

Removed private dead data broker code from MD-SAL.

Change-Id: I162c84f7da8330d94992122de3af19e76c1e41d2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Akka config change

Renamed host name from localhost to 127.0.0.1
Some jenkins slaves are unable to resolve localhost

Change-Id: I4079dccc33616eea135a516f4cf6f8335f3df50d
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

BUG-1425: package binding-data-codec

Preparatory patch, which includes the codec in the base package.

Change-Id: Iffa37d3fb2d0604db0250f6c9c48845042925d15
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix comparison logic in neutron floating ip rest implementation

* Detect when external network has no subnets (in addition to more than one)
* Fix compare after looking up NeutronFloatingIP singleton

Change-Id: Id84360fc9d984e9815de56b90be4a1c753fdbcd8
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Bug-1520 Config subsystem:config-impl tests

Change-Id: I8c09cbf90585e179f84e3ac1e83e5946379be66f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-1520 Config subsystem:config-api tests

Change-Id: Iefb8b8ac1a5099c276ab200a3a6337cb8befefe7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-1520 Config subsystem:config modules tests

Change-Id: I2ad29ce1eb8ba0d5286c426ab3e61627d8e7a8dc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug-1338: Create a grouping for order to help create generic OrderComparator in OFP"

Merge "BUG-997 Use shared schema context factory in netconf-connector"

Merge "Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction"

Merge "Better handle remove interface from router for unknown port uuid"

Better handle remove interface from router for unknown port uuid

When doing "Remove interface from router" and only port uuid is
provided; the lookup in hash map may return null. If so, there
needs to be a check against NPE.

Change-Id: Ibaea49ac3fdfc08e92c95e818e5ec82628822f3f
Ref: http://docs.openstack.org/api/openstack-network/2.0/content/PUT_removeRouterInterface__v2.0_routers_remove_router_interface_router_ext.html
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Merge "Bug #1532 Neutron Port bindings missing Security Group List"

Merge "Optimizations, Monitoring and Logging"

Bug #1532 Neutron Port bindings missing Security Group List

Neutron Port calls are returning empty SecGroup lists. The
bindings are there, just not the return.

Change-Id: I882f0921af35e690672ee3a728cc2c029c4739fa
Signed-off-by: Brent Salisbury <brent.salisbury@gmail.com>

Merge "Fixed remove rpc api in rpc registry"

Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction

Introducing this API does not impact clients as it is mostly internal.

One reason for adding this API is because of ensureParentsByMerge used in a couple of places
which keeps checking if a parent node exists by reading a node to figure out if it exists. This is
fine for the InMemoryDataStore but it can be terrible in a distributed data store where the shard
which contains the data is remote. All sorts of overhead is associated with a remote read including
serialization which can actually be pretty expensive.

Change-Id: Ib5be5f6dc60be683d7a04c81dad08c56cd5681f4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Working md-sal features, including restconf, toaster, flow-services"

Merge "Fix to topology-lldp-discovery to allow for clean karaf feature"

Merge "config-persister-feature-adapter to push configs from karaf features"

Merge "Minor changes to config-persister to allow for karaf"

Fixed remove rpc api in rpc registry

Added tests

Change-Id: Ib5204f5226d11a1d8cdec7cf99809333bd1f1457
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Updated RpcRegistry to accept a list of route identifiers while adding or removing routes."

Optimizations, Monitoring and Logging

- Made identifiers type-safe
- Changed logging so that most of it is done at debug level instead of info
- Make cluster logging configurable via logback.xml
- Add Bean for looking at the local shards on shard manager
- Add Preconditions in a places where it matters

Change-Id: Ie2b17e89bd88edde1366d0a4d23abf9fb97e6e55
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Missing capability in 10-rest-connector.xml file"

BUG-997 Use shared schema context factory in netconf-connector

+ Fix disconnect by netconf-connector. Until now, the connection to remote device was still open even if initialization failed.

Change-Id: I23ee999c7898665498519abf19610deef3d410a3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Handling ShardTransaction Failure Scenarios
and corresponding test cases

Note: Cohort failures handling is being worked on
and will be taken care in separate commit

Change-Id: I7ef165b9cb8c91088b4f20ae6c19418f92edb37c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Updated RpcRegistry to accept a list of route identifiers while
adding or removing routes.

Removed few redundant defensive null checks.

Change-Id: I24310d2a3871a4bff2afa5a06b3657f4d2709794
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Include lastCommittedTransactionTime in Shard JMX
MBean
Changed the maximum-frame-size to a larger value

patch 2: rebased
patch 3: merge with other changes
patch 4: commit not returning if cohort was null, included failedTransactionsCount
patch 5/patch6: updated with review comments
patch 7: reformatted based on comment

Change-Id: I85218131dc8edb51f4c2c9fcbb34be79b547789c
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Working md-sal features, including restconf, toaster, flow-services

Note: DO NOT MERGE until
https://git.opendaylight.org/gerrit/9847 (yangtools)
is merged as it is needed for this change.

Change-Id: Iad975cfb63b62930465edcd9e415856873b5acde
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix to topology-lldp-discovery to allow for clean karaf feature

Change-Id: Ife3388610a2d816f7bb8e5214cc98d123c4b604b
Signed-off-by: Ed Warnicke <eaw@cisco.com>

config-persister-feature-adapter to push configs from karaf features

Change-Id: I66063a44210d1a6d7804903f17bc8fc0b2995af8
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Minor changes to config-persister to allow for karaf

These minor changes expose a ConfigPusher service for use
by a config-persister-feature-adapter (to follow) that
can push configs attached to features.

Change-Id: I382d2ab578d19ea9c24afa521a9a5a047360fc50
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Fix broken 05-clustering.xml"

Merge " Expose more information about a Shard via JMX"

Merge "Bug 1430: Off-load notifications from single commit thread"

Merge "BUG 907 distinguish augmented nodes"

Merge "BUG-1511: add FIXME markers"

BUG 907 distinguish augmented nodes

All nodes and their child contains also information about module from
which they comes from (module_name:node_name)

Change-Id: I7b146e820da1b5d3bdb62510a48e6845a78c80a2
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Missing capability in 10-rest-connector.xml file

This missing capability could probably cause problem and restconf isn't
started.

Change-Id: I6ea2dc6236948c7e77b9cddf7d015fcf4e5b7357
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG 1162 - problem to post list data

If last path arguments of instance identifier are list with keys then in
POST operation it is necessary to append it to instance identifier as
nodeWithKey.

This code was part of RestconfImpl but it was probably deleted
accidentaly.

Change-Id: I117cbcc39dcb97e8bc5ecc852ce2e9e7da7070cf
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix broken 05-clustering.xml

Change-Id: Id9a08202816836ab55ffb1510db66316b0ab74cb
Signed-off-by: Moiz Raja <moraja@cisco.com>

 Expose more information about a Shard via JMX

Change-Id: I4185cbf9d1399b90aa7b635bdbb4a82bce122a1a
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1511: add FIXME markers

Fixes a simple typo and drops marker FIXMEs for future implementation.

Change-Id: Ic4f67afd978f4bb43314d161afcfe1e56c831be6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix usage of StringBuilder when getting parent path in PathUtils Making constants final timing encode/decode in a test case"

Merge "Neutron LBaaS v2.0 API support"

Fix usage of StringBuilder when getting parent path
in PathUtils
Making constants final
timing encode/decode in a test case

Change-Id: Ia552163dfe35dcd268bd8a0620c6b34c910f47b2
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Adding SLF4J logging

Change-Id: I0dbb80f947d44846dc0ee2b340e06aed94630490
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Gossip based eventually consistent RPC Registry.

There are 2 main components
1. Bucket Store:
   Stores data in buckets. Each cluster node gets a bucket. These buckets are sync'ed
   across nodes using Gossip protocol.
   Bucket Store uses a Gossiper that implements the protocol to sync data.

2. Rpc Registry:
   This uses the bucket store to store routing table. Routing table maintains mapping of
   RPC <--> Node
   Rpc Broker uses this regitry to route rpc requests to remote nodes.

Change-Id: Ifaf8955dbf6e3074d4d2951d6f503ecc0624d141
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

Merge "Fix config-manager activator"

Fix config-manager activator

Change-Id: Ic81c28e100c0ec334f66376392c02d6fb6d7d01a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1495: fail future when no local RPC is found"

Bug-1338: Create a grouping for order to help create generic OrderComparator in OFP

Change-Id: I1a2a2df249b244081e45097afbc41c71e6ff2f76
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas"

Merge "BUG-1423 Fix distributed datastore error in config schemas(double case child)"

Merge "BUG-868: migrate ListenerRegistry"

Merge "Bug 1308 - Unable to publish NodeUpdated message via NotificationService"

Merge "Migrate to junit 4.11"

Merge "BUG-1493: do not instantiate HashSet"

Migrate to junit 4.11

Removes the version override and drags tests into 4.11. Also reverts
29ad7ba749eac80e6514b1ca37aa850c30649b55 for a proper fix.

Change-Id: I981163ee2c1d036ab04331eeba36f24a7e6f8002
Signed-off-by: Robert Varga <rovarga@cisco.com>

Expose the Raft State of a Shard and the name of it's Leader via JMX

Change-Id: Id8b57706902e93e0021db44533622fde283d82b4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Tune replication and stabilize tests

Made following changes for replication
- Increased Heartbeat timeout to 500 milliseconds.
- Send only one entry from the replicated log to the follower in append entries

Both of these tweaks have been made to prevent election timeouts and frequent switching of leaders

Changes to tests
- Added a duration when constructing an ExpectMsg. This prevents ExpectMsg from waiting forever when
  and expected event does not occur
- Removed all Thread.sleep from the tests and replace them with waiting for a specific LogEvent this is
  a more deterministic.

Change-Id: Ie9ce0c9c73bf1b170a78879b1e2dab76f1de64df
Signed-off-by: Moiz Raja <moraja@cisco.com>

Do not encode/decode DataChange registrations and notifications

DataChange notifications are never sent over the wire so they do not need
to be proto-buf encoded/decoded

Change-Id: Ief591bb2a2a17039c9b3ae21379eea3d562f4d98
Signed-off-by: Moiz Raja <moraja@cisco.com>

Fixed issue where a shard for a defined module is not found

Change-Id: I5f6c82ce39f900a55519ec04a739a83ccb834e59
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial Configuration for Clustering

To try out clustering do the following,

1. Rename configuration/initial/05-clustering.xml.conf to configuration/initial/05-clustering.xml
2. Run the controller with these options

    ./run.sh -XX:MaxPermSize=512m

Change-Id: I61ede6cc083ce5fc722c44f0c127f4a03e2869d0
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1495: fail future when no local RPC is found

Instead of checking state, we return a failed future, which will have a
RpcImplementationUnavailableException as its cause. The current call
site is the remote broker, which is the provider of last resort and it
throws it when it has no foreign system available.

Change-Id: Ib9d8534ca75e60f1867a7c275ee653a70dbd7a00
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1493: do not instantiate HashSet

This HashSet is used to track processed nodes -- but the parent node is
already giving us a method, which checks if it contains a particular
node ID. Let's use that instead of maintaining the set.

Based on traces, this should speed the datastore up by about 4.8%.

Change-Id: I09e1135f51c8967b9fe8c520a0e166918472de7d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997 Consult QNames of yang modules with ietf-netconf-monitoring/netconf-state/schemas

Change-Id: Ie0fcb6d9ba44207cb14d31d51c1f3068983d514e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1423 Fix distributed datastore error in config schemas(double case child)

Change-Id: I44c220c577f57354a6a1dfd38c08ec2a1a75f9ca
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix test coverage not being reported in Sonar"

Bug 1430: Off-load notifications from single commit thread

Modified the InMemoryDOMDataStore to use the new
QueuedNotificationManager class added to yangtools common util for
DataChangeListener notifications.

Modified DOMDataCommitCoordinatorImpl's ListeningExecutorService to one
that off-loads ListenableFuture Runnable callbacks on a separate
executor.

Change-Id: I31f2fb002131c6d91b205d33255dd1bbc6433d9b
Signed-off-by: tpantelis <tpanteli@brocade.com>

Utilize transaction type to create read-only or
write-only or read-write transaction instead of always
creating read-write transaction

patch 2: updated based on review comments

Change-Id: I36390ab348c5774cf4bf180ea1608fe04f75d073
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Created sal-clustering-commons and moved sal-protobuff-encoding files to sal-clustering-commons"

Merge "Remove old dependencies"

Created sal-clustering-commons and moved
sal-protobuff-encoding files to sal-clustering-commons

updated sal-distributed-datastore pom with the above change

removed sal-clustering-commons as part of distribution as it is embedded currently as part of distributed-datastore

Note - after this is merged we need to move
 out the .proto from  akka-raft to sal-clustering-commons
and add dependency of sal-akka-raft on sal-clustering-commons
and embed the same
rebased
Change-Id: I7d4ac51628cef96ffb16acfcfd596dfd3129e0fa
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Bug 1386: Avoid commit deadlock"

Fix test coverage not being reported in Sonar

Change-Id: Id8ff02a986b1bfdab01a481fcb11cef111757de9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimilization the method datastoreNormalizedNodeToCompositeNode"

Merge "A little extra protection against nulls in ConfigPusher"

Merge changes If78d8143,Id8d04f24

* changes:
  BUG-1281: eliminate thread-unsafe lookup
  BUG-1281: make methods static

Optimilization the method datastoreNormalizedNodeToCompositeNode

Origin method used schema context (which isn't necessary) and additionaly
doesn't cover all cases. + fixing of incorrect corresponding tests

Change-Id: Idbead2696de9102a202cad03c78f4a1a14a2d1d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1418 - onDataChange notification is not returning any data to  the getCreatedData and getModifiedData function calls. Data change  notification does not seem to work."

Bug 1418 - onDataChange notification is not returning any data to
the getCreatedData and getModifiedData function calls. Data change
notification does not seem to work.

* Changed normalized to binding data change event translation call to
include event listener path. This path is then used to decode leaf or
mixin only augmentation because it can't be injected through children.
* Added verification tests.

Change-Id: Ia9d936f17b30b94fe4878e343cff7babb8d29d0f
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

A little extra protection against nulls in ConfigPusher

Change-Id: I4aab592b028b8336370c23924fcbf69858b7a6bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1386: Avoid commit deadlock

Changed the executor in DOMDataCommitCoordinatorImpl to a new
class DeadlockDetectingListeningExecutorService added to yangtools util.
This detects deadlock if another blocking commit is done by a client
notified from the single commit thread.

Change-Id: Icdc2b835fd336a1bbc37953828126b57253929c0
Signed-off-by: tpantelis <tpanteli@brocade.com>