Initial clustering feature

Besides the clustering feature changes a couple of other changes
had to be made to the distributed data store and remote rpc modules
to make the solution work with karaf

1. The akka.conf in sal-clustering-config has now been changed so that
it works in a single node cluster out of the box. Specifically the hostnames
have been set to 127.0.0.1 and the member role has been set to member-1

2. The distributed-data-store and the remote-rpcconnector now load akka
configuration from the configuration/initial folder. The positive thing about
this is that even in a multi-node cluster one does not need to pass the location
of akka.conf on the command line. The negative thing about this is that you
cannot change the location from which the akka configuration can be picked up.
Though this should be ok because we specifically pick modules.conf and
module-shards.conf from the configuration/initial folder as well.

3. The Protobuf bundle has now been wrapped and a Dynamic Import has been
added to it so that it can deserialized specific protocol buffer messages

4. The RestConfProvider was not written to shutdown correctly. While this is
not normally an issue it does become an issue when the clustering feature is
loaded for the first time because in that case the RestConfProvider may need
to be shutdown by the config sub-system

Change-Id: I1701ae8e9508c82779483963fb73b6af91095d7d
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge changes I9aa41251,Ibd0fb687

* changes:
  Bug 1703: Fixed memory leak in TransactionChain
  Bug 222: Added basic Restconf operational statistics

Bug 222: Added basic Restconf operational statistics

Added basic restconf statistics which counts
incoming requests and exported it via Config subsystem.

Export via config subsystem provides this
statistics via JMX and Netconf. In distribution, where
sal-netconf-connector is present and 99-sal-netconf-connector.xml is enabled,
Restconf statistics are also available via

restconf/operational/opendaylight-inventory:nodes/node/controller-config/yang-ext:mount/config:modules/module/rest-connector-default-impl

Change-Id: Ibd0fb6875104d1a90eeaf62271c9a2f87d2f85f0
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Fix netconf testtool after recent changes to auth in netconf"

Merge "Refactor integration tests for netconf in netconf-it"

Fix netconf testtool after recent changes to auth in netconf

Change-Id: I924057380d2a63d062ef33a4d9bc29af61265dc3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Refactor integration tests for netconf in netconf-it

Change-Id: I03c8a9220dc1fa115f6489219df6a45297bbd28e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1664: Fixed JSON/XML serialization of reading mount point root data."

Bug 1664: Fixed JSON/XML serialization of reading mount point root data.

Change-Id: I3ff08d907abc0c11e4166cc8c70695325df95868
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1441: Added proper handling of reading JSON list items.

Fixed handling of reading nested data in JSON codec.

Initial integration contained bug, which did use JSON
codec correctly, which ended in 500 for reading list item.

Change-Id: I38ef0b40cea1a22e313d22f64db3806c293d67d6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1442: integrate XML/JSON Normalized Node writers with Restconf"

BUG-1442: integrate XML/JSON Normalized Node writers with Restconf

Integrated XML and JSON NormalizedNodeWriters for returning
data from Restconf. This writers does stream processing
and writes data into input stream without any intermediate
representations.

This will help with larger data sets, since it theoretically
reduces memory footprint of reading data from MD-SAL.

Change-Id: I36564b7a5a1bc50d60e1cb6d5b2b45f92c2caf0b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Added sal-rest-docgen to features.

Change-Id: I85af2296a1e0c8a1be599a611424418d4297f6a1
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Added AAA AuthN filter to RESTConf web.xml"

Merge "Bug 1636: Config Netconf Connector did not serialize service type"

Merge "BUG-1617 Extract AuthProvider from netconf ssh"

Bug 1636: Config Netconf Connector did not serialize service type

Config Netconf connector did not serialized service type
in list of service dependencies properly, which resulted
in invalid string 'prefix:null'

Change-Id: I02cc56e2069b56737167d9b694f8cb8309bbd74d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1621 Fix reconnecting."

BUG-1621 Fix reconnecting.

Netconf-connector did not reconnect after recent changes (Ssh mina integration)
SshHandler was in pipeline after listener in reconnect, thats why the listener received no event about session down.

Change-Id: Id39062f51bc3a0caf066ca49682a2acc837b06ef
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Added AAA AuthN filter to RESTConf web.xml

Change-Id: I78d57335e805165c99038b4a6f89f8c5229253a5
Signed-off-by: Liem Nguyen <liem_m_nguyen@hp.com>

Merge "Bug 1616: Issues with using container and default values in config yang"

BUG-1617 Extract AuthProvider from netconf ssh

Change-Id: Ib6f47c0dca5b4b3604b639ae8bca3565f8dd934c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1618 Handle pending writes in ssh netconfclient"

BUG-1618 Handle pending writes in ssh netconfclient

Change-Id: If4371860e81cf4153c4baaa8a9b0d3c45334ab5c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1521 Increase test coverage of netconf-netty-util"

Merge "BUG-1568 Remove unused VirtualSocket"

Merge "BUG-1521 Netconf-monitoring test coverage raise"

BUG-1521 Increase test coverage of netconf-netty-util

Change-Id: I962e16da8d4112b4ec6a1c90170be3036041eddd
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1568 Remove unused VirtualSocket

Change-Id: I75682c0ec0b0956ba04060cdbcdee32a53a459c9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1521 Netconf-monitoring test coverage raise

Change-Id: Ibcbcd7df788c75879fa0c9a554125144aa5c1545
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-1568 Remove ganymed Ssh client adapter"

Merge "BUG-1568 Ssh Handler for netconf client Mina implementation"

BUG-1568 Remove ganymed Ssh client adapter

Change-Id: Id4ec6140df3e91fd8a219b03ceabca67732af568
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1568 Ssh Handler for netconf client Mina implementation

This implementation of Ssh Handler is asynchronous and based on Apache Mina SSHD.

+ Add Mina SSHD to distribution.

Change-Id: I51f51e2eb56b5f97a87c3d068ea90f8a44adca09
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix for possible NPE if Bundle is stopped."

Bug 1616: Issues with using container and default values in config yang

Fixed issues as outlined in bug 1616.

Change-Id: I6170a6d25e2fb243d6526d15058057191058bb82
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "Bug 1586: Do not use JaxRS 2.0 unnecessarily"

Merge "BUG-1568 Getting rid of StreamGobller from netconf ssh client."

Merge "BUG-1541 Make EXI and clientConnectTimeout configurable in testtool."

Merge "Fix race condition in SSH NETCONF server"

Bug 1586: Do not use JaxRS 2.0 unnecessarily

As it turned out our container uses jax-rs 1.0 so we removed
unnecessarily call to 2.0 constructor.

Change-Id: I23c38871050c34d721b21369da5b162a18925a9d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1568 Getting rid of StreamGobller from netconf ssh client.

We have another thread in SshClientAdapter that works as StreamGobller
http://www.ganymed.ethz.ch/ssh2/FAQ.html#blocking

Change-Id: I3f61b14cb22396d8b5898028bd83f62d98c6866d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "NETCONF scalability: share instances"

Merge "BUG 932 - Swagger HTTP POST contains incorrect object"

NETCONF scalability: share instances

Scalability testing shows that the netconf session code:
- retains XML document reference
- does not reuse QName instances

Change-Id: I6b58355e3fa74d67872d665d0f8dc2d16abe156c
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1541 Make EXI and clientConnectTimeout configurable in testtool.

Change-Id: I0152a78691b87a2d2674b0ecf0e4844f0ca9b35b
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix race condition in SSH NETCONF server

Change-Id: I205a1670b30dcfad4230418c133fd87e069e15e6
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 932 - Swagger HTTP POST contains incorrect object

POST link now contains specific JSON structure which ends with POST suffix
and contains all containers and lists which are direct subchildren of
current node (URI link). It is list of possible objects which can be used
in POST request. Concretelly are these objects specified below this *POST
JSON object and are also all specified in Parameters section of GUI POST
URI link with ** prefix. Two stars (**) mean that only one of parameters
with ** prefix should be specified.

Change-Id: I3acdfd1f181fbef7cca0060d534b706d934bb1e3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fix for possible NPE if Bundle is stopped.

Change-Id: Iaf1d44f8b600e69392452b74042812b35e8101de
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Modifications to error handling in restconf"

Merge "BUG-1541 Netconf device simulating testtool"

Merge "BUG-1541 Extract AuthProvider interface"

Merge "Fix precondition formatting"

BUG-1541 Netconf device simulating testtool

Produces executable jar file.

The jar can simulate arbitrary number of netconf devices that listen on configured ports
Schemas are loaded from a provided folder
Can also generate ODL initial config files for started simulated devices to support testing with ODL distribution

Change-Id: I8fce73fa7c568a272c29073f26a4e8aafeebfd82
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1541 Extract AuthProvider interface

Change-Id: I8df939b1c712fe85f3cd269df50b01ceee2d9538
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1503: RestconfError "data-missing" is error code 404."

Bug 1503: RestconfError "data-missing" is error code 404.

The base specification listed the error code to be 409, which is in
direct violation on HTTP. The restconf specification will be fixed in
the upcoming draft, meanwhile we are going for the new, sane behavior
regardless.

Change-Id: I7a6cf67a794f8348d746ba94b7de9580d0472a61
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Modifications to error handling in restconf

Modified error handling for read and write Tx to transfer to transfer
RpcError info from ReadFailedException and
TransactionCommitFailedException to the RestconfDocumentedException.

Change-Id: Ifb47f0cdfda5a11d53add9d7ef8fbe50954c0206
Signed-off-by: tpantelis <tpanteli@brocade.com>

Fix precondition formatting

Preconditions take String.format() arguments, not {} placeholders.

Change-Id: I6fe863e3954ccb0c6a861ec969691072933406a2
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-997 Use shared schema context factory in netconf-connector"

Merge "Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction"

Add exists method on DOMStoreReadTransaction and DOMDataReadTransaction

Introducing this API does not impact clients as it is mostly internal.

One reason for adding this API is because of ensureParentsByMerge used in a couple of places
which keeps checking if a parent node exists by reading a node to figure out if it exists. This is
fine for the InMemoryDataStore but it can be terrible in a distributed data store where the shard
which contains the data is remote. All sorts of overhead is associated with a remote read including
serialization which can actually be pretty expensive.

Change-Id: Ib5be5f6dc60be683d7a04c81dad08c56cd5681f4
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Minor changes to config-persister to allow for karaf"

BUG-997 Use shared schema context factory in netconf-connector

+ Fix disconnect by netconf-connector. Until now, the connection to remote device was still open even if initialization failed.

Change-Id: I23ee999c7898665498519abf19610deef3d410a3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Minor changes to config-persister to allow for karaf

These minor changes expose a ConfigPusher service for use
by a config-persister-feature-adapter (to follow) that
can push configs attached to features.

Change-Id: I382d2ab578d19ea9c24afa521a9a5a047360fc50
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG 907 distinguish augmented nodes"

BUG 907 distinguish augmented nodes

All nodes and their child contains also information about module from
which they comes from (module_name:node_name)

Change-Id: I7b146e820da1b5d3bdb62510a48e6845a78c80a2
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG 1162 - problem to post list data

If last path arguments of instance identifier are list with keys then in
POST operation it is necessary to append it to instance identifier as
nodeWithKey.

This code was part of RestconfImpl but it was probably deleted
accidentaly.

Change-Id: I117cbcc39dcb97e8bc5ecc852ce2e9e7da7070cf
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Fix test coverage not being reported in Sonar"

Merge "Remove old dependencies"

Fix test coverage not being reported in Sonar

Change-Id: Id8ff02a986b1bfdab01a481fcb11cef111757de9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Optimilization the method datastoreNormalizedNodeToCompositeNode"

Merge "A little extra protection against nulls in ConfigPusher"

Merge changes If78d8143,Id8d04f24

* changes:
  BUG-1281: eliminate thread-unsafe lookup
  BUG-1281: make methods static

Optimilization the method datastoreNormalizedNodeToCompositeNode

Origin method used schema context (which isn't necessary) and additionaly
doesn't cover all cases. + fixing of incorrect corresponding tests

Change-Id: Idbead2696de9102a202cad03c78f4a1a14a2d1d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

A little extra protection against nulls in ConfigPusher

Change-Id: I4aab592b028b8336370c23924fcbf69858b7a6bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-1281: eliminate thread-unsafe lookup

The URI/name lookup map was not safe when context was reloaded. Get rid
of it for now, as SchemaContext can maintain reasonably-fast lookups. At
the same time make sure we share codepaths as much as possible.

Change-Id: If78d8143e94446fe9b38da894611b1c8b61f57f3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: make methods static

As it turns out ControllerContext has a few methods which do not touch
instance state -- make those static and fixup callers.

Change-Id: Id8d04f2426435528ee754f56b34f91d25a49d3ee
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove old dependencies

- Remove stale dependencies that prevent releasing of artifacts
- Remove unused flow-management-compatibility and
inventory-topology-compatibility modules
- Make sure that if a dependency is on module with a version defined
by a variable, lets specify the version in the dependency management
in common pom
- Replace in netconf-cli the reference from yang-data-json to
yang-data-composite-node because yang-data-json has been removed
- Removed whitespaces in config-netty-config that would cause
checkstyle issues downstream otherwise

Change-Id: I866e4b36e71c004b925bd181412ff4df91b3091f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Migrate to junit 4.11 - failing test

Corrected test which caused problems in
https://git.opendaylight.org/gerrit/#/c/9670/

Change-Id: Ife89b83bbc1d2df4dc34327e5f27ed47509a8b48
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Fix failing IT tests"

Fix failing IT tests

- Binding Test Helper did not spefied object-cache as dependency
  and it was already part of distribution
- API Doc plugin was using invalid YANG files for positive
  test scenario.

Change-Id: I06c174408df6073d887f5c307cf1b70c34c442b1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed namespace of yang testing file."

Fixed typo in restconf, which caused classcast in datastore.

Change-Id: I51eb1fc2e4056dc84feb3b720c3ee844ee4ffdea
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG 1162 - ensure data for all path arguments in datastore."

BUG 1162 - ensure data for all path arguments in datastore.

Fixes
1) It is possible to specify path to data (including lists with
keys) via unexisting nodes and store payload data to this path.
Missing nodes in datastore are created before storing payload data.
2) InstanceIdentifier is now correctly created via
DataNormalizer.toNormalized()

Change-Id: If795a930015fef39a0029e808355d51357e2d5d5
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Fixed namespace of yang testing file.

This test used 2 different yang files with same namespace, which is incorrect and can cause test fail later.

Change-Id: I87a78e36d1d8812bb92f71c82722f87559907423
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-1473: update model.util.InstanceIdentifier users

Companion patch to https://git.opendaylight.org/gerrit/9622, updates
users to use the new name. Also make the code a tiny bit more readable.

Fixed conversion to checked Future.

Change-Id: If8da3639e656214713d3680951cd9ae724c5ad6f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1281: share filters between instances"

Merge "BUG-1281: use SchemaContext lookups"

Merge "BUG 1082 Migrate sal-rest-connector to Async Data Broker API"

BUG-1281: share filters between instances

The filters are invariants, so lets share them accross instances and not
instantiate them each time we need them.

Change-Id: Ib632efe758c22bd782fca0536c2fe7e9c6e831c3
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1281: use SchemaContext lookups

SchemaContext provides efficient module lookup services. Use those
instead of homegrown versions.

Change-Id: I4406438b137c8742a5265036f84a66d7f0f441c0
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1082 Migrate sal-rest-connector to Async Data Broker API

Rework of sal-rest-connector project to support Async Data Broker API

Change-Id: I73804418a04445b236d12693e493a11850dd94dd
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Moved all config subsystem config files to mvn projects.

Change-Id: I98f4ab29fd57b800d5c9272e866ead3519e09264
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "ControllerContext.dataNodeChildByQName method refactoring"

Merge "Notificator create stream name method don't remove trailing slash"

Merge "BUG-868: Migrate to SchemaContextListener"

ControllerContext.dataNodeChildByQName method refactoring

ControllerContext.dataNodeChildByQName() is used only in childByQName()
methods with DataNodeContainer input parameters:
- ContainerSchemaNode
- ListSchemaNode
- Module
Therefore child node of these DataNodeContainers can't be ChoiceCaseNode
(because it can be only child node of ChoiceNode)
and original branch >if (node instanceof ChoiceCaseNode)< couldn't be
executed.
I think that it was typo.

Change-Id: Ieb85ad8acaf047b47813542d8968c399a4e30b50
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "broken build - missing implementation of method getAnyXmlNodeSerializer"