BUG 1735 Registering a data change listener should be asynchronous

Change-Id: I1a819976afe6ca44ac811ee30d305fbe76bb8acf
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 1734 - Applying a recovered journal to Shard does not happen during recovery

This patch applies the state in the journal to the in-memory state immediately
on recovery

Change-Id: I0b97f146d31a38cd103d16cde97aaf1c6ce97b07
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG 1712  - Distributed DataStore does not work properly with Transaction Chains

The fix is as follows,

1. When Creating a trasaction chain create a unique identifier for the transaction chain
   using the member name and the current timestamp

2. When a transaction is created using the transaction chain pass the transaction chain id
   along to the remote shard

3. If the remote shard receives a transaction with a valid transaction chain (one which is
   not empty) then it creates a new transaction chain if one does not exist. If one does exist
   then the Shard just creates a new transaction on the existing transaction chain.
   This way if a single transaction chai was used to create transactions on multiple
   different shards the a transaction chain would  be created on each one of those shards.

4. When a transaction chain is closed a Close Transaction Chain message is broadcast to all
   the Shards in the system. If those shards had a transaction chain with the specified id
   then the transaction chain would be closed. The sender does not care about receiving a
   response

5. When a state change occurs on a Shard we check if the Shard is not a leader. If that is
   the case we automatically close all existing transaction chains on that shard and clear
   the map which tracks the transaction chains for that shard

Change-Id: I6bcfb9de3d0ec666e4152afb69c702dda4f38171
Signed-off-by: Moiz Raja <moraja@cisco.com>

Metrics and Configuration

1. Adds a new abstract class AbstractMeteredUntypedActored that
   extends AbstractUntypedActor. This adds metrics capture
   capability which can be turned on using Config Subsystem.
   By default its turned off.

2. Updates Shard actor; adds metrics capture capability which can be
   turned on via Config Subsystem.

3. In remote-rpc-connector module, we can now pass configuration
   obtained from config subsystem to actor system so that its
   available to all actors. This obviates the need to manually pass
   the configuration via constructors or other *Constant or *Util
   classes. It brings all configuration items in the module at one
   place and makes it easier to move them to config subsystem, if
   its required.

4. In spirit of DRY, moves common code to clustering-commons

5. Minor code inspection fixes.

6. Makes mailbox-capacity configurable via config subsystem.

Patch 9:
Adds a new behaviour (MeteringBehavior.java).
AbstractUntypedActorWithMetering and Shard actor exhibit this
behavior current.
This patch also refactors unified configuration (config subsystem
+ typesafe config) pieces.

Note that in subsequent commits distributed-datastore will have
its configuration added to actor system configuration. Also few
more configuration items in remote-rpc-connector will go to
config subsystem. I wanted to limit the amount of changes going
into this already large commit.

Change-Id: I383ec813c16ed09ed0e68ee59179f454c0d174cf
Signed-off-by: Abhishek Kumar <abhishk2@cisco.com>

BUG-1704: do not emit separator

When reusing JSONNormalizedNodeStreamWriter, it retains enough state to
know to emit a separator, so if we do it here, we will break the output.

Change-Id: Ie7acc269b4546230fad532f0abf14c0ba6c4121a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Allowed Jolokia to use HttpService"

Merge "BUG-1521 Add missing unit tests for config-persister-impl"

Merge "BUG-650: allocation-free ResolveDataChangeState.needsProcessing()"

Merge "BUG-650: optimize subtree listener collection"

Merge "BUG-650: squash maps to Collections.emptyMap()"

Merge "BUG-650: ResolveDataChangeState.inheritedOne should be a Collection"

Merge "BUG-650: speed up ResolveDataChangeState.needsProcessing()"

Allowed Jolokia to use HttpService

Removed the flag in custom.properties that was preventing Jolokia
from registering to the HttpService. This was ported from previous
distribution but should not be used in karaf-based distros.

Change-Id: I54d143abe9ae6378683b22d83110814b13225fa2
Signed-off-by: Mathieu Lemay <mlemay@inocybe.com>

BUG-650: allocation-free ResolveDataChangeState.needsProcessing()

Critical path optimization. Based on logic introduced in previous
patches, we now know that when the inherited subtree listener iterable
is not a Collection, it is by definition non-empty. Use this knowledge
to elide Iterables.isEmpty() which is (relatively) costly due to
object allocation.

With this patch, ResolveDataChangeState.needsProcessing() does not
allocate any objects and relies on readily-available state to determine
whether additional processing is required.

Change-Id: I0322e0a8f58165f695f2284116057d03e2d4cb45
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: optimize subtree listener collection

This further optimizes passing of subtree listeners by retaining the
first collection of subtree listeners rather than immediately skipping
to interable concatenation.

Change-Id: I08fd63b092043ef814a47daba67744042d5c29be
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1740: add missing features/mdsal/pom.xml dependencies"

BUG-650: squash maps to Collections.emptyMap()

If possible, we do not retain mutable maps, but rather short-cut to
emptyMap(). This should help us a bit when traversing empty elements.

Change-Id: Iff7eccfcc99c451d11f87cf466c7f09bde63ee10
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: ResolveDataChangeState.inheritedOne should be a Collection

There is no need to demote this to Iterable just to then use
Iterables.isEmpty(), as we are always initializing it with a collection,
which has a quick isEmpty() method. Also promote its order before
interitedSub, so the slow path can be faster a bit.

Change-Id: Ic536e2420cfae98941ec638510c98ec3a8230c09
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: speed up ResolveDataChangeState.needsProcessing()

Checking for empty subBuilders allows us to reuse the parent's
collection. For simple cases with no listeners whis speeds up
needsProcessing() by completely reusing the emptyList and for
non-trivial cases it just omits object instantiation.

Change-Id: Ib3089bca2ec4f7e1ef826bf4192b8154ff154702
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1703: Added debug logging of ignored event to ease debuging."

Merge "Bug 1731: Breaking dependency cycle between features-{mdsal,aaa}"

Bug 1731: Breaking dependency cycle between features-{mdsal,aaa}

Change-Id: I0f7e94bb322b4e54957868e7cc6c65e235e4c9cc
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1740: add missing features/mdsal/pom.xml dependencies

features/mdsal/pom.xml lacks dependencies for the configfiles:

<configfile finalname="configuration/initial/akka.conf">mvn:org.opendaylight.controller/sal-clustering-config/${project.version}/xml/akkaconf</configfile>

<configfile finalname="configuration/initial/module-shards.conf">mvn:org.opendaylight.controller/sal-clustering-config/${project.version}/xml/moduleshardconf</configfile>

<configfile finalname="configuration/initial/modules.conf">mvn:org.opendaylight.controller/sal-clustering-config/${project.version}/xml/moduleconf</configfile>

This patch adds the necessary maven dependencies.

Change-Id: I6e28d4ad8650278fc207f0fb0a22afa4c2ce4bde
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Make generated address configurable for netconf testtool"

Merge "Bug 1699 - FRM: Change data change listener scope from BASE to SUBTREE"

Make generated address configurable for netconf testtool

Change-Id: Ia112bc4108c9d7d8756b755f8e6e660e255a046e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 1699 - FRM: Change data change listener scope from BASE to SUBTREE

* changed data change listener scope from BASE to SUBTREE

Change-Id: Ifbc161c2c709157d5665fae9e49059477053ff82
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG-1521 Add missing unit tests for config-persister-impl

Change-Id: Id9b6f024da20ea71daa6b29353e39fbdb81e0fb2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-997: migrate the global context schema service

This change test-drives the new re-implementation, making sure we have a
user. An immediate advantage should be faster context convergence times.
Requires I3311a3f0251868f91c385d0291365934ccfb9ede in yangtools.

Change-Id: Ic2f07144043f456ab9821013c1d690904c9a791f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1703: Added debug logging of ignored event to ease debuging.

Change-Id: Ic7bcbc249bb35018561d28d757dadca8509b933c
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Enable AD-SAL application to configure OF 1.3 PUSH_VLAN action."

Merge "Bug 1686 - Rework TopologyManager to use transaction chaining in order to not conflict with itself"

Merge "BUG-1690: catch wildcard InstanceIdentifiers"

Merge "Prefer InstanceIdentifier imports"

Merge "BUG-1679: optinally log allocation context"

BUG-1617 Add netconf tcp/ssh to karaf features

Add bouncyCastle security provider to karaf distro

Change-Id: Ia13b1078c62ba39b70ed3d72c29a8e434949d4bb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1446: Add JMX stats for clustered data store"

Enable AD-SAL application to configure OF 1.3 PUSH_VLAN action.

OF 1.3 PUSH_VLAN action takes only one argument, ethernet type,
and its value must be 0x8100 or 0x88a8.

Change-Id: I4d6bcabb430245594b747e31f9edb2034f39acb6
Signed-off-by: Shigeru Yasuda <s-yasuda@da.jp.nec.com>

Implement creating and applying of snapshot for a shard

This commit implements creating and applying of snapshot as per the
RaftActor contract.

There was an issue related to recovery which was occurring because Shard
was created without a schemaContext so there are changes in this commit
which ensure that the Shard is not created before a schemaContext is
received

Change-Id: I45fd64885f09fac57f1f5ff235144064b94ab129
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG 1623 - Clustering : Parsing Error thrown on startup"

Merge "BUG 1595 - Clustering : NPE on startup"

Merge "Bug 1637: Change Rpc actor calls to async"

Merge "Initial clustering feature"

Merge "Install snapshot and Reply"

Merge "OVSDB L3 support: Allow for override of default gateway mac address"

Initial clustering feature

Besides the clustering feature changes a couple of other changes
had to be made to the distributed data store and remote rpc modules
to make the solution work with karaf

1. The akka.conf in sal-clustering-config has now been changed so that
it works in a single node cluster out of the box. Specifically the hostnames
have been set to 127.0.0.1 and the member role has been set to member-1

2. The distributed-data-store and the remote-rpcconnector now load akka
configuration from the configuration/initial folder. The positive thing about
this is that even in a multi-node cluster one does not need to pass the location
of akka.conf on the command line. The negative thing about this is that you
cannot change the location from which the akka configuration can be picked up.
Though this should be ok because we specifically pick modules.conf and
module-shards.conf from the configuration/initial folder as well.

3. The Protobuf bundle has now been wrapped and a Dynamic Import has been
added to it so that it can deserialized specific protocol buffer messages

4. The RestConfProvider was not written to shutdown correctly. While this is
not normally an issue it does become an issue when the clustering feature is
loaded for the first time because in that case the RestConfProvider may need
to be shutdown by the config sub-system

Change-Id: I1701ae8e9508c82779483963fb73b6af91095d7d
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

BUG-1679: optinally log allocation context

Transactions can now print their allocation context.

Change-Id: I801a44d1270f8becd2835cc31b514e2e0fdaee33
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1690: catch wildcard InstanceIdentifiers

Read/write/merge/delete of wildcarded instance identifiers is not
defined, so catch them early on in the binding broker implementation.

Change-Id: I97161f88b8496a78575d6a7bc1b7bab8fee1da5b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Prefer InstanceIdentifier imports

InstanceIdentifier/YangInstanceIdentifier are now separate, so we can
import them at the same time. Do precisely that.

Change-Id: I54a5cd49ef7b8584a5b09a12ab97e132fb92cb57
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1666: Fixing the clustering config file issue"

Merge "Bug 1608: Make ActorContext ASK_DURATION configurable"

OVSDB L3 support: Allow for override of default gateway mac address

With this change we are introducing a new system config that will be used by ovsdb's l3
implementation: ovsdb.l3gateway.mac

Its good to note here that until bug 1705 is fixed, this config will be needed so that
initial implementation is able to route packets to subnets outside the neutron l3
subnets.

Change-Id: Iaca1be3651aeff92b789b451df12e77ba842508e
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Merge changes I9aa41251,Ibd0fb687

* changes:
  Bug 1703: Fixed memory leak in TransactionChain
  Bug 222: Added basic Restconf operational statistics

Merge "Upgrading Apache Tomcat Patch version from 7.0.32 to 7.0.53 for traditional controller distribution (Karaf already upgraded)."

Bug 1686 - Rework TopologyManager to use transaction chaining in order to not conflict with itself

Change-Id: I43c150559141d1cdc1c118cb252e7cae9b138739
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Bug 1637: Change Rpc actor calls to async

Changed RemoteRpcImplementation and RpcBroker to use async calls and
modified/created unit tests.

Added an RpcErrorsException to transfer RpcError info on failure. This
is now used in lieu of ErrorResponse to communicate failures.

Change-Id: Ib0bbda1867caff9b6c584b9b8a9b336f8acf53d7
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 1608: Make ActorContext ASK_DURATION configurable

Made the duration timeout for akka ask operations configurable via the
config system.

Also removed the explicit passing of the duration timeout to
ActorContext#exeucte* methods since all calls previously passed the
static ActorContext.ASK_DURATION.

Change-Id: Ic54e65d8d444110294048348472d1d8d56f0fd44
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 1623 - Clustering : Parsing Error thrown on startup

Change-Id: Ic312d66b300ada8fbe5503cea15cfa5c646c8fe9
Signed-off-by: Moiz Raja <moraja@cisco.com>

Bug 1703: Fixed memory leak in TransactionChain

As it turned out WeakHashMap is not cleared
if value has strong reference to key. This
required to rewrite BindingTransactionChain
to listen on submit futures for each  transaction
in order to receive events mapped to binding transaction.

This actually simplifies code and removes
any need for having canonical mapping from
DOM transaction to Binding transaction.

Change-Id: I9aa4125197b022dd163f85c6965ad1227e771b99
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 222: Added basic Restconf operational statistics

Added basic restconf statistics which counts
incoming requests and exported it via Config subsystem.

Export via config subsystem provides this
statistics via JMX and Netconf. In distribution, where
sal-netconf-connector is present and 99-sal-netconf-connector.xml is enabled,
Restconf statistics are also available via

restconf/operational/opendaylight-inventory:nodes/node/controller-config/yang-ext:mount/config:modules/module/rest-connector-default-impl

Change-Id: Ibd0fb6875104d1a90eeaf62271c9a2f87d2f85f0
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Install snapshot and Reply

1. InstallSnaphot change in Leader
2. Moved Snapshot out of RaftActor
3. Follower ApplySnapshot changes
4. InstallSnapshotReply changes in Leader
5. Installing Snapshot made in chunks
6. Implemented ProtocolBuffer for InstallSnapshots
7. Sanpshots as ByteStrings
8. Create snapshots made aysnc using CaptureSnapshot messages
9. Save Snapshot Failure Rollback
10. LeaderTest for send snapshot and snaphot reply

Change-Id: I16acc20ac7f671e89c5fbdb7aebd6dbe72e5f6e0
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

added an option to pass JVM params (like -verbose:gc) to run.sh

Change-Id: I35a786e50e7604fd4c8abb9a958d550a88d315c1
Signed-off-by: David Goldberg <david.goldberg@contextream.com>

Upgrading Apache Tomcat Patch version from 7.0.32 to 7.0.53 for traditional controller distribution (Karaf already upgraded).

With https://git.opendaylight.org/gerrit/#/c/10110/ merged in odlparent, we have to bring in the patchset4 of
https://git.opendaylight.org/gerrit/#/c/10111/4 (which was removed in patchset 5 due to committer comments).

Using this gerrit to finish the transition for the traditional distribution (where Karaf upgrade is already complete).

Change-Id: I9575678dc5d3bc1e7d4a4f8af6b0a8f168a60df9
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

Merge "Fix build issue due to implicit addition of unneccessary Import-Package"

Merge "Be sure to shutdown instance when destroyed"

Fix build issue due to implicit addition of unneccessary Import-Package

Explicitly excluded *jetty and *sun.security as these are not packages
that remoterpc and distributed-datastore depend on

Change-Id: Ia359f0e901f8c4f4207d157acf9955b0bb82a53d
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Fix netconf testtool after recent changes to auth in netconf"

Merge "Refactor integration tests for netconf in netconf-it"

Merge "Bug 1446: Add JMX stats for in-memory data store"

Merge "Candidate fix for dependency issue in odl-restconf feature"

Candidate fix for dependency issue in odl-restconf feature

Change-Id: Icc44a09b83e17f5bbd96f29eb7133b8a006a8733
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-1520 coverage tests for config-manager"

Merge "Datastore: Reuse successful future"

Merge "Datastore: lower in-memory change tracking overhead"

Fix netconf testtool after recent changes to auth in netconf

Change-Id: I924057380d2a63d062ef33a4d9bc29af61265dc3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Refactor integration tests for netconf in netconf-it

Change-Id: I03c8a9220dc1fa115f6489219df6a45297bbd28e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1664: Fixed JSON/XML serialization of reading mount point root data."

BUG-1520 coverage tests for config-manager

Change-Id: Iec63877296f4dcea2971dee38996b334099c57b9
Signed-off-by: Filip Tehlar <ftehlar@cisco.com>

Bug 1664: Fixed JSON/XML serialization of reading mount point root data.

Change-Id: I3ff08d907abc0c11e4166cc8c70695325df95868
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Hotfix for resolving of remote yang schemas."

Fixed bundle dependencies for features-netconf.

Change-Id: I2bea7548809150d87d57da089cb5f3c5cde7b678
Signed-off-by: Hideyuki Tai <Hideyuki.Tai@necam.com>

Bug 1666: Fixing the clustering config file issue

Issue happened because clustering config was not made available under integration tests maven profile of distribution.
updating that profile

Change-Id: I9760b975f9e92a331f8ce5710c863126ccdf4561
Signed-off-by: Harman Singh <harmasin@cisco.com>

Add getID() to NeutronRouter_Interface

Change-Id: Ie0afb1b2d09521913dc3877be6f92000db0d6cdd
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Merge "Include JMX Counters and resetTransactionCounters"

Bug 1441: Added proper handling of reading JSON list items.

Fixed handling of reading nested data in JSON codec.

Initial integration contained bug, which did use JSON
codec correctly, which ended in 500 for reading list item.

Change-Id: I38ef0b40cea1a22e313d22f64db3806c293d67d6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix missing yang-data-util in IT

Change-Id: I5dae652f9e65a3ec83d048cb30e804bf4e796326
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1617 Add netconf-auth to netconf api feature"

Merge "Improvement to opendaylight-configfile-archetype"

Improvement to opendaylight-configfile-archetype

Change-Id: I9d60ab8b54edd9148e810d7eeb99735d3fd10dc1
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1593 - Flow Statistics manager is updating store with incorrect key Statistics manager cache the metadata related to stats data of all the entities (flow,group, meter,queue) like when was their respective stats were updated in operational data store. If statistics manager see that stats are not being updated from last two stats fetch cycle, it consider it stale and remove it. Object that it uses as keys for hash map cache contains some variant data (counters/durations) that varies in every stats fetch cycle. It creats duplicate entry in the cache for the same entity. After two fetch cycle statistics manager find old entry stale and removes it, but in actual that's not the case. This exception is thrown when it tries to remove the stats related to next duplicate entry (which was already removed ). Fixed it by using invariant key for caching the metadata to avoid the duplication."

Merge "Bug 1569 - [DEV] Too small variable for OF-Port-Number"

Merge "Small fix to xsql dependencies"

BUG-1617 Add netconf-auth to netconf api feature

Change-Id: I9cbe20e1d29c3a7414951945ffb58e65b6a553d6
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "FlowCapableTopologyExporter uses merge instead of push when link discovered"

Datastore: Reuse successful future

ImmediateFuture does not keep any state, so we can reuse a single
instance, preventing garbage buildup just a tiny bit.

Change-Id: I200662a666f4529ea82a2ac3948be9536ca32281
Signed-off-by: Robert Varga <rovarga@cisco.com>

Datastore: lower in-memory change tracking overhead

We needlessly track the reference to notification manager inside the
even tasks. Instead simplify the return to a Map.Entry and pipe the
resulted data into the manager. This reduces the temporary size of a
tracker, lowering the rate at which we produce garbage.

Change-Id: Ib390d0e65ce1583371a2e887525d9b7ee0392396
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-868: migrate ClassLoaderUtils user"

Merge "BUG-1442: integrate XML/JSON Normalized Node writers with Restconf"

BUG-868: migrate ClassLoaderUtils user

Moves to yangtools.util, which is not deprecated.

Change-Id: Ibb69c68e027c4732d8967f44c869bf00797a1785
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1442: integrate XML/JSON Normalized Node writers with Restconf

Integrated XML and JSON NormalizedNodeWriters for returning
data from Restconf. This writers does stream processing
and writes data into input stream without any intermediate
representations.

This will help with larger data sets, since it theoretically
reduces memory footprint of reading data from MD-SAL.

Change-Id: I36564b7a5a1bc50d60e1cb6d5b2b45f92c2caf0b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>