BUG-2801: Added filtering for get and getConfig in netconf mdsal northbound.

Change-Id: I37db2b21712c7b3d16c6b9dafa193a3fb9df4430
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "BUG-2383: make DOMDataBrokers implement DOMDataTreeChangeService"

BUG-2383: make DOMDataBrokers implement DOMDataTreeChangeService

With the datastore support in place, we can now expose the optional
functionality. In order to do so compatibly, we introduce an
experimental API to get access to optional backend features.

Change-Id: I22bf68bd95d98d3c53ee7401442e4812d3615334
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix modules Restconf call for mounted devices"

Merge "Optimize ResolveDataChangeEventsTask object allocation"

Merge "Increase IDLE timeout for ssh netconf server"

Merge "BUG-2739 Fix concurrent metadata cleanup for netconf-connector"

BUG 2412 - Remove CompositeNode from sal-dom-*

* removed CompositeNodes from sal-dom-broker
* removed deprecated services from sal-dom-broker
* removed deprecated services from sal-dom-api
* removed deprecated api calls from sal-binding-broker tests and
sal-dom-spi

Change-Id: Iae44e5c0acd0ad602bf98b9961fcd808657ac07b
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG-2739 Fix concurrent metadata cleanup for netconf-connector

When deleting/closing a netconf-connector, the cleanup came from 2-3 places and
was not properly synchronized resulting in failed transaction with metadata
still present

Change-Id: I91f1c8bf3d5d24cc2cf4fdb02fb1f5cc3f8a8796
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 2412 - remove CompositeNode from sal-binding-dom-it

* removed all CompositeNodes from tests which used it. Tests have to be
rewriten with NormalizedNodes ASAP.

Change-Id: Ib666f9fb9de9fc35e1be554cb630ea5f01f6617e
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG 2412 - remove CompositeNode from sal-clustering-common

* cleaning all help methods from Util classes which are working
with deprecated CompositeNode class

Change-Id: I31397a1379ef541d642acec68542860ac689481e
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG 2412 - remove CompositeNode from sal-remoterpc-connector

* akka remote RPC distribution needs move to new DOM API
* remove all tests which are use CompositeNode. Test has to be
rewriten with NormalizedNodes ASAP.

Change-Id: I8863f5c9657992d23be67acb2f542b0fda81db8c
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG 2412 remove CompositeNode from RestconfImpl codeBase

* remove all references for CompositeNode from Restconf codeBase
* remove all depricated classes from Restconf
* remove all tests which have worked with CompositeNode
 * we would like to fix tests and move to correct place (in yangtools
and controller integration test for JerseyTest suite)

Note: The removed tests are still in git history. A fixes for Test
suite will be realized ASAP (expectation: in next couple of weeks).

Change-Id: I66b423c92e5ff5b34882b92aece54c5f641c070c
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Bug 868: Removed use of CompositeNode Binding Codecs.

Change-Id: Iaaf22bd8bc788f26814e06873b483bf0424ceaf2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG 2799: Migration of Message Bus from deprecated Helium MD-SAL APIs to Lithium API (copyrights corrected)"

Merge "Renamed Binding DOM Adapters to share same naming convention."

Merge "Bug 868: Binding MD-SAL exports new codec factory."

Fix modules Restconf call for mounted devices

Restconf was relying on the remote devices to contain restconf yang model. Now
Restconf relies on the controller's schema context when it serializes the
modules response.

Change-Id: Ib406d0082a5aafb7e894440ee5f75e5032ea35ba
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-2673: deprecate ListenerNode,Tree and Walker"

Increase IDLE timeout for ssh netconf server

We might consider doing unlimitted idle, mina ssh library needs to be checked.

Change-Id: Ia36f61fd89d1d9690e5f6a438247fde0be209404
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Remove RuntimeGeneratedMappingService from config-manager"

Optimize ResolveDataChangeEventsTask object allocation

ResolveDataChangeEventsTask queried before/afterData methods multiple
times. The default implementation in yangtools instantiates an object on
each call, which leads to sub-optimal performance. Cache the returned
object and use it locally, which actually makes the code more readable.

As a further change, perform the same caching with modification type, as
that may end up being computed on access.

Change-Id: I43aa4824c1a5788060035cd419400d86b0116de7
Signed-off-by: Robert Varga <rovarga@cisco.com>

Renamed Binding DOM Adapters to share same naming convention.

Renamed Forwarded* classes to BindingDOM*Adapter which
better describes what implementations are doing.

These are implementation classes and are not part of public
API contract outside of sal-binding-broker-impl, so this
should not affect any users.

Change-Id: I1c3b5f275daa38c82215ca3ba8b8170990e9ac43
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 868: Binding MD-SAL exports new codec factory.

Migrated MD-SAL to export BindingCodecTreeFactory,
which provides access to new codecs, which allows
us to migrate users without need to change initial
configuration.

Change-Id: Icb741dd73e3b22f64f5f538236d36a99e9c05b4e
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-2673: deprecate ListenerNode,Tree and Walker

All of these have been superseded by RegistrationTree and related
classes. Those should offer better performance due to not instantiating
intermediate Optional nodes when searching for nodes.

Change-Id: I1e16bcb045ca5c97ca7f245e44d94d133bbf4eac
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "fixed restconf notification subscription parsing."

Merge "Reenable netconf-notifications-impl xml tests"

BUG 2799: Migration of Message Bus from deprecated Helium MD-SAL APIs
to Lithium API (copyrights corrected)

Change-Id: I2206b4b532e4feead26c166b793966b077f0f26f
Signed-off-by: Igor Bartak <ibartak@cisco.com>

Remove RuntimeGeneratedMappingService from config-manager

Replace with BindingRuntimeContext

Change-Id: I8e3ef881898f6ea7b9c3922a3bfaf3094667c644
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 2841: Fixed missing output element in Restconf RPCs"

Bug 2841: Fixed missing output element in Restconf RPCs

JAXRS Body Writers reused root data container writeout
for RPC outputs, which differed and writed "data"
container instead of rpc "output", refactored writeTo
method, to do this special handling.

Change-Id: Ia6acf671b760c9aa578a02ce803c99a389030260
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Add config classifier to netconf-mdsal-config jar"

Merge "BUG-2836 Workaround"

Bug 868: Introduced DOM ForwardingSession utility classes.

Introduced DOM ForwardingSession abstract classes,
in order to migrate AAA from CompositeNode interfaces,
since they were using it only to forward calls to backing
implementation.

Change-Id: If5ed1a5dadc02c0d7433fd9652a4af9b586a9be7
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-2836 Workaround

Change-Id: Ibcec955562ed72946100512d8f1db294c2cb4ccd
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-2673: make IMDS implement DOMStoreTreeChangePublisher"

Merge "BUG-2673: Introduce AbstractDOMStoreTreeChangePublisher"

Merge "BUG-2673: Create AbstractRegistrationTree and related classes"

Add config classifier to netconf-mdsal-config jar

The jar was included in the features without the config classifier, which caused
the distributions to fail to install md-sal netconf config file (in case the
local m2 repo did not contain pre-built artifacts from controller project)

Change-Id: I1cc3d8f02e55ae9fd30abac706645b879753b2da
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2673: make IMDS implement DOMStoreTreeChangePublisher

This patch makes use of the AbstractDOMStoreTreeChangePublisher to do all
the registration wrangling and forwards all notifications towards a
dedicated publisher. Notifications are offloaded to the background
executor, just as normal DataChangeNotifications are. This initial
implementation does not close the registration listener race also
present in the data change notifications, as the notification manager
lacks the APIs to do that.

Change-Id: I36220b52a7a67df1f340b2b8bf32918de025920b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2673: Introduce AbstractDOMStoreTreeChangePublisher

This is a base class, reusable for various DOMStore implementations,
which want to implement the DOMStoreTreeChangePublisher interface.

Change-Id: I77f2488f3b99d9e9e34c97772df5a157c245f8c7
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2673: Create AbstractRegistrationTree and related classes

This is a generalization of ListenerTree, useful for reusing the
infrastructure for multiple types of registrations.

Change-Id: I715b876d932d0a14ab9a479b1f1d39509a67e30b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2713 Extract capability implementations into util

Identical implementations all over the place are now in 2 classes in
netconf-util

Change-Id: Ibc2aa78edb581654da1ac890d109d2f32cf94738
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Reenable netconf-notifications-impl xml tests

The tests were disabled due to improper configuration for XMLUtil.
The configuration is fine now.

Change-Id: I59fe1081ac927596fc55079e62088cceb5b52811
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2839: remove dependencies on commons-io

Replaces uses of IOUtils methods with guava/JDK equivalents.

Change-Id: I16ece0feec2f4dc84c3be91ec675a0294cffcffb
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge changes I8ad04406,I3ea2166c

* changes:
  BUG-2314 Fix (no-input)rpcs serialization in netconf connector
  Fix Already initialized exception from netconf-connector

BUG-2314 Fix (no-input)rpcs serialization in netconf connector

Rpcs with no input were not wrapped in rpc element correctly

Change-Id: I8ad0440681e83dd3a04a8ba38f49b2d7c4976caa
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix Already initialized exception from netconf-connector

Netconf-connector called initialization code and cleanup code (after capability
changed notification was received) in wrong order. This caused the cleanup

Change-Id: I3ea2166c912e2b6775bf9493a95102d66b5ae8a2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-2596 Workaround for scheduled-threadpool module"

Merge "Change in AbstractRaftBehavior#performSnapshotWithoutCapture"

BUG-2596 Workaround for scheduled-threadpool module

Register the scheduled-threadpool as all available service types in initial
config.

Change-Id: If7929fbb9996f0ea8902d50e2c71875d343f229f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Refactor ShardTest"

Merge "Reduce/enhance logging in AbstractLeader"

Merge "Purge in-memory log when install snapshot is done"

Merge "Use static Procedure callback for ApplyJournalEntries"

Merge "Changes in RaftActor#handleCaptureSnapshotReply"

Merge "Change fields in ShardStats to non-volatile"

Merge "BUG-2314 Expose inventory mountpoint on proper path"

Bug 2845: Temporarily ignore RestPutOperationTest

RestPutOperationTest is frequently failing the verify builds so
setting to Ignore until the issue is fixed.

Change-Id: I134a6d73930cd104225a27880e87867026f35f03
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Bug 2834: Fix Restconf POST to wait for completion

This changeset introduces a blocking mechanism for Restconf POST to ensure that
the transaction completes before a response is returned, as is consistent with
Restconf PUT behavior.  checkedGet() is utilized to ensure write transaction
completion.

Change-Id: I74f68b883f6037ec62644a468d3cbb9370d8d25f
Signed-off-by: Ryan Goulding <ryandgoulding@gmail.com>

Fix bug 2821 - restconf RPC parsing returns http status 500

Note: RpcDefinition is a direct child of SchemaNode and we are not able to
use it as DataSchemaNode or SchemaContext. In next RpcDefinition hasn't any
child except Input & Output ContainerNodes. So we are using RpcDefinition
for SchemaNode as a marker in InstanceIdentfierContext.

* json input read @Provider has to change RpcDefinition SchemaNode
to Input ContainerSchemaNode for a correct parsing RPC input data from stream

* no-payload Rpc - Rpc Call could be without payload, but jersey always does
to parse empty stream to NormalizedNode so we add check for stream.available
before start parsing input NormalizedNode from stream and return NNContext
with null data. All checks for data exist have to be implemented for every
method with NormalizedNodeContext.

* fix RpcOutput NormalzidNodeContext in RestconfImpl - we expect to have
RpcDefinition as reultNodeSchema and data are payloaded inside as Output obj.

* fix NormalizedNodeJsonBodyWriter and NormalizedNodeXmlBodyWriter for RpcDefinition
- RpcDefinition has no child elements so RpcDefinition.output has to be a root
DataSchemaNode for json parser

* add JsonBodyReader/Writer test suite
* add Xml rpc Writer parser test suite

Change-Id: I31273bee937f57fa1551a33fcc4d6c81b984afb6
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Add missing union type builder

This type was missing and should not be generated over and over again.

Change-Id: Ife3e97c2c639e29ca2115429b53e6dec62440db7
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-2314 Expose inventory mountpoint on proper path

The path is updated according to the Normalized nodes API

Change-Id: Ibeb8b98016d0056a703eb97f6e31c6a5507a21ea
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG-2343 Report sideloaded models for nc correctly"

Merge "BUG-2314 Allow rpcs with no input in netconf connector"

Merge "Quick fix nullable RPC input"

BUG-2314 Allow rpcs with no input in netconf connector

Change-Id: I81b05c98032c8bda7b34608c33ddcb5a0888ba67
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2343 Report sideloaded models for nc correctly

The sideloading of models behaved as a merge operation but was reported as
replace. Report the resulting models as a merge.

Change-Id: Id44d077e72ae0ce5f202c5178d5c7e5b825d6deb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

fixed restconf notification subscription parsing.

Change-Id: I7cf7f6fcbe4c45e5a462be6da61907712c4c7784
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Change fields in ShardStats to non-volatile

Most if the fields in ShardStats are volatile or AtomicLong counters.
While volatile guarantees immediate thread visibility, we can live with
eventual consistency to avoid the overhead of volatile writes on the
fast path as reads via JMX will be infrequent.

All of the counters except 1 are updated by Shard so concurrent updates
won't occur. failedReadTransactionsCount is updated by ShardTransaction
so we need to keep that as AtomicLong as it will be updated concurrently.
But it's a failure counter so will be updated infrequently.

Change-Id: I6a0f748bd595379243e0ea31d84f6c8d0989003a
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Add sal-akka-raft test-jar dependency to sal-distributed-store pom"

Use static Procedure callback for ApplyJournalEntries

Optimization in RaftActor to reuse a static Procedure callback instance
when persisting ApplyJournalEntries.

Change-Id: Id4b799b847191f9d7b31aca54d9926638407410e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Changes in RaftActor#handleCaptureSnapshotReply

captureSnapshot.getReplicatedToAllIndex() is usually -1 (in fact I
haven't yet been able to come with a test scenario where it isn't) and
we shouldn't reset the behavior's replicatedToAllIndex history when
we snapshot due to memory threshold exceeded. This prevents log trimming
when a lagging follower is caught up via install snapshot. Eventually
log trimming would catch up on subsequent replicates but I don't see a
reason why we should reset it to -1.

Also made a couple other logging changes.

Change-Id: I6b9eafc84455a88c3bc1fc91608fe257c03b4093
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Change in AbstractRaftBehavior#performSnapshotWithoutCapture

If tempMin isn't present in the log and tempMin is grater
than the current replicatedToAllIndex, then update replicatedToAllIndex
to tempMin. Details are in the code comments.

Change-Id: I373d5c4b7ce9fd2504f2a4fa996b49a6d9ffe5b6
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Reduce/enhance logging in AbstractLeader

If you turn on debug logging for Shard, the "Checking sendAppendEntries
for follower..." message is logged by sendUpdatesToFollower on every
AppendEntriesReply heartbeat even when no data was sent to the follower.
This bombards the karaf.log. To avoid this, we need this only logged if
something changed for the follower. So, I changed the FollwerLogInformation
setMatchIndex and setNextIndex methods to return a boolean if changed
which handleAppendEntriesReply checks to see if either were updated. If
neither changed, it passes true to sendUpdatesToFollower for isHeartbeat
so the message isn't logged.

I also made a few other minor logging changes.

Change-Id: Ib1f2109092b3656c3cc3dfdd2cd7b4641a3f890b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Purge in-memory log when install snapshot is done

In AbstractLeader#handleInstallSnapshotReply, after the last snapshot
chunk has been sent and acknowledged by the follower and, since install
snapshot *should* only happen for a lagging follower, the follower
is most likely caught up at this point so we can be greedy and try
to trim the log and advance replicatedToAllIndex.

Change-Id: Id22dfbcb6e459e3d3f6801d1c6c850bdd42989fa
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Add sal-akka-raft test-jar dependency to sal-distributed-store pom

So we can use the test utilities in sal-akka-raft.

Change-Id: Ibb28522ed49c61c53d3b3296b38c898c7ea5129b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Merge "Fixed testool performance bottleneck due to testtool using NetconfMonitoring from ODL. Added a dummy NetconfMonitoring implementation for testtool."

Merge "Changed NetconfDeviceDatastoreAdapter and NetconfDeviceTopologyAdapter to use TransactionChains instead of Transactions to prevent race condition between init and update when a device is created."

Merge "Remove duplicate dependency declarations"

Merge "Fixed failing tests due to different attribute handling in mdsal netconf northbound."

Merge "Make logger final"

Merge changes Ic1abe2f7,I9b4bc3ad,If347c979

* changes:
  Remove empty javadocs and make strings constant
  Remove unused logger
  Use an ImmutableMap

Make logger final

The logger should be marked as final and also be called LOG, not
_logger.

Change-Id: I75f675eec1ee54d659d93aef3e39204a1f7cc920
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove empty javadocs and make strings constant

Cleans up malformed an empty javadocs and also make string constants
really constant.

Change-Id: Ic1abe2f7c2cb6e6327fde7095742fc0a96ca2e02
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove unused logger

Removes the logger, which is not used anyway. Fixes an eclipse warning.

Change-Id: I9b4bc3ad88107b2b2ba0cd999b89e3105b2b3b65
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use an ImmutableMap

ImmutableMap has better lookup characteristics, so use that instead of
wrapping a regular hashmap.

Change-Id: If347c9790640f9802f438d5fa225978a56186805
Signed-off-by: Robert Varga <rovarga@cisco.com>

Quick fix nullable RPC input

* DOMRpcService is declaring a method invokeRpc like
invokeRpc(@Nonnull SchemaPath type, @Nullable NormalizedNode<?, ?> input)

* add check to null for input in BindingRpcImplementationAdapter and
BindingDOMRpcImplementationAdapter because they are trying to deserialze
input automaticly withou any null check before. It produces next exception
for nopayload rpc:

at com.google.common.base.Preconditions.checkState(Preconditions.java:158)
at org.opendaylight.yangtools.binding.data.codec.impl.ContainerNodeCodecContext
.dataFromNormalizedNode(ContainerNodeCodecContext.java:23)
at org.opendaylight.yangtools.binding.data.codec.impl.BindingNormalizedNodeCodecRegistry
.fromNormalizedNodeRpcData(BindingNormalizedNodeCodecRegistry.java:197)
at org.opendaylight.controller.md.sal.binding.impl.BindingRpcImplementationAdapter
.deserilialize(BindingRpcImplementationAdapter.java:79)
at org.opendaylight.controller.md.sal.binding.impl.BindingRpcImplementationAdapter
.invokeRpc(BindingRpcImplementationAdapter.java:69)

Change-Id: I3970564b9645473eee6c01ab1ea632f323de959a
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Remove duplicate dependency

Fixes a maven warning about duplicate artifacts.

Change-Id: Iccd64ce946ddfbff5b158780d9b29fca7c142521
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Migrate to using odlparent:features-test"

Disable unstable netconf-notifications tests

Comment out unreliable lassertions for XML payload comparison.
Proper fix needs to be provided.

Change-Id: I6e32eefb0ccf95e616dd9c236338593f49ff0af3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Use default SchemaCtx for base netconf ops(if not available)"

Use default SchemaCtx for base netconf ops(if not available)

If remote device does not expose yang model for base netconf operations, use a
default, pre built schema context for these operations e.g. Lock, unlock

Change-Id: I33e89adaa9a151cc236586e75264a907bf45a5df
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1513: migrate users to ChoiceSchemaNode

This migrates all users to the new interface name, cleaning them up as
the data.api and model.api name clash is resolved.

Change-Id: Ibdc317d5ff86c6a895cccdacf6dfea1fb005d9b6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove duplicate dependency declarations

These are declared twice, producing a maven warning. Remove duplicities.

Change-Id: Ica73b9220c5815e45591cd1d4a7600b432adee5d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Migrate to using odlparent:features-test

yangtools features-test is going away, migrate away from it.

Change-Id: Idcf27275fd57868ee1e56656854365ac2dcab907
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 2412: Expose Mountpoints on proper path"

Merge "BUG 2805 - Fixed Restconf RPC calls and POST to create data"

Merge "Bug 2364: Migrated Binding MD-SAL to not use composites nodes"

Bug 2412: Expose Mountpoints on proper path

Lists such as topology, node were not doubled
in the YANG Instance Identifier used as a key for mountpoints,
which prevented Binding compontents from accessing
them.

This patch fixes also bug in restconf, which was
also producing incorrect instance identifiers.

Change-Id: I3122163d00d4c23fcccc4bbffdf3d0113744c98d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>