Optimize netconf capability handling

Inefficient splitting, forward scans and similar. This patch
optimizes it as much as possible.

Change-Id: Ibf52b3b8f512c6b4936dca3089e73bbb1671eaa7
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-865: do not use InstanceIdentifier.getPath()

InstanceIdentifier exposes the reverse path via a dedicated method, so
use that rather than home-brewing our own.

Change-Id: I3568bf8fc294e235a9f5bae8a72d6cd89079b348
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1379 - rpcs behind yang-ext:mount aren't always executed

new corrected behavior:
If rpc is from device behing yang-ext:mount and it doesn't exist in
controller then it is ALSO executed.

Change-Id: Ieebf2522b39cd42a8da57b05cf49e528c924f7ba
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

BUG-692 Fix intermittent failure in NetconfDeviceTest

Error in NetconfDeviceTest.testNotificationBeforeSchema, verification without timeout was performed before the actual call.

Fixed by adding timeout to all verifications.

Change-Id: I494523036fff456d66398f0d17b0003fe6c083a0
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Flow request containing an invalid action should be rejected"

BUG 1359:Fixed using option 1

Change-Id: Idb744e4c1eab70ee8a3eeaaf8194f33f91aa84d4
Signed-off-by: Vaishali Mithbaokar <vmithbao@cisco.com>

Fixed unneeded wrapping of guava for karaf

Change-Id: I69f8dc8dac9ec3c6b2aaa750e52d25d1539bb15e
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Made config/mdsal/netconf features non-cyclic

We previously had some cross dependency between config-features and
netconf-features.  This is highly undesirable because it
precludes folks being able to simply have a maven dependency for the
one feature they want and requires enumerating *all* the feature
files.

This fixes that by pulling out

features/config-netty
features/config-persister
from
features/config

So the dependency graph is now non-cyclic:

config-netty -> config-persister
config-persister -> (netconf,config)
netconf -> (config,protocol-framework)

Change-Id: Ie662df40bd6985e2ecd4280596ddafc947e5edd0
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Updated remote rpc code after integration tests. Rpc execution is failing because of one existing defect

Change-Id: Ic51bba7088371b4428624da9744e0563abdc4a95
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Change put/merge methods to be type-safe in WriteTransaction"

Change put/merge methods to be type-safe in WriteTransaction

Removed declaration of put/merge methods from the common
AsyncWriteTransaction interface.

Defined put/merge methods in the derived Binding and DOM interfaces.
The Binding methods were made type-safe.

Javadoc usage/examples for the methods was put into the
AsyncWriteTransaction class docs and is linked to by the derived
interfaces.

This change is source-code compatible - no client code needs to change
(unless a client actually is incompatible path and data).

Change-Id: I779f6477f1c98e299c5d559043da612be97bfbe6
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 1352: Added regression test to InMemory Data Store.

Change-Id: Ia3a4e332c275d6dfdf9dafd2dfc433de15dbcb6f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fixed incorrect XML test suites & Usage of removed API

Change in underlying YANG Tools codec, unvereded
that there were test-suites which did string
comparison for testing of XML responses and
any change in XML serialization (valid from
XML point-of-view) triggered this tests to
fail.

Reworked offending tests to use XML W3C Document
for testing instead of string comparison and regexes.

Change-Id: Ib6e35e8d2fe79275666235370d1dda461277a59f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG 1387 - degrade log output from info to debug"

Merge "Bug 1362: New AsyncWriteTransaction#submit method"

BUG 1387 - degrade log output from info to debug

Change-Id: Ia98ab154bb53cc3c43f42270a3bd6c65bd9dee65
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Bug 1239 - Clean up and refactor netconf-ssh client"

Remove RaftReplicator and move hearbeat logic to the leader

This makes more sense. The RaftReplicator does not seem to add any value.

Change-Id: Id3cf8ecbd2493b35c1a32382d65876795a78fa30
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement behavior common to a RaftActor in all it's states

The common behavior for a RaftActor is
- Change state to follower when it receives a RaftRPC with a newer term
- Increment the applied state of the commitIndex of the AppendEntries message
  is higher than it's applied state

Change-Id: I1fc0cdcb90368f3c07f555b307ac827286386651
Signed-off-by: Moiz Raja <moraja@cisco.com>

Initial code/design for an Akka Raft implementation

Also implements the LeaderBehavior for elections

Change-Id: I629f2cd71717e5d76eae9c1a9a4dc960246070c9
Signed-off-by: Moiz Raja <moraja@cisco.com>

Flow request containing an invalid action should be rejected

When ODL Controller receives a request to install a flow, it is processed
by FlowConfig class in forwardingrulesmanager bundle. There is method
named "validate" which validates the matches and actions specified in
the flow request. If this method encounters an invalid action, it simply
ignores it and moves to the next action. The result of this behavior is that
if flow request contains only one action and it happens to be invalid,
the FlowMod request will be sent to the switch without any action. An
OVS conforming switch will install this flow and set the action to drop.
However, ideally Controller should reject this request (or any request
containing an invalid action).

Few invalid unit test cases were also escaping due to this error, which
have been corrected.

Change-Id: I4df3226d6ec9c663476cae1991c194bc36cb2f99
Signed-off-by: maquresh <maquresh@cisco.com>

Merge "Removed unused private implementation class"

Merge "Changed read to be type-safe in ReadTransaction"

Merge "BUG-1384: YangStoreServiceImpl.refresh() should never block"

Merge "Improve RpcProviderRegistry loading"

Merge "BUG-692 Replace strings with ModifyAction enum"

Merge "Bug-1376 Add caching for premature notifications in netconf connector"

Merge "BUG-1291 Fix executor for netconf-connector rejecting tasks."

Merge "BUG-1365 Check if channel was closed when negotiation fails"

BUG-692 Replace strings with ModifyAction enum

Change-Id: Ie2564240eed76711437afd0428d02af26cb81cff
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug-1376 Add caching for premature notifications in netconf connector

If a notification is received before schema context is fully built for device, it is cached and forwarded when schema is present.

Change-Id: Ib21fc0fab9cf83a1102ccbb5c9dc98330aa95577
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1384: YangStoreServiceImpl.refresh() should never block

As descirbed in the bug, we are seeing large amounts of contention on
the monitor when calling refresh(). Rework the safety such that the
refresh path does not block and perform checking for refresh in the
get() path, which is forced to retry should a refresh occur.

With this patch reported contention disappears completely and startup
time is improved by about 8 seconds on stock SP edition.

Change-Id: I4c6109d77324d3d1b700041b54a95dc346e3d372
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Added SingleThreadedExecutors to data store instance."

Merge "Bug 1380 - Fix NullPointerException when match is null"

BUG-1291 Fix executor for netconf-connector rejecting tasks.

Flexible threadpool rejected tasks with SynchronousQueue and did not spawn threads with LinkedBlockingQueue.
Added custom Queue that makes the underlying threadpool to spawn threads as expected.

Change-Id: I28d27316cf63b3370aa802bbd31ee976aa54fbf7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1367 - Fix NPE in cors filter"

BUG-1365 Check if channel was closed when negotiation fails

Also set state only if promise is not yet finished.
Replace custom EOM aggregator with implementation provided by netty.

Change-Id: Iffb740fff1512ca14efe58ed5112f74ce5e75c97
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fixed to config,netconf,mdsal features files

This patch requires:
https://git.opendaylight.org/gerrit/#/c/8962/

Things done here (apologies for it all at once
but it was the result of a lot of experimenting):

1) Moved config/mdsal/netconf features projects under
controller/features
2) Created controller/features/pom.xml to make rebuilding
features easier
3) Created netconf features project
4) Created protocol-framework features project
5) Removed 02-clustering.xml as its no longer used.

Note: These features are intentionally done in a lean
manner... very little overinclusion involved.

State of things:
Hit a snag around karaf's new JMX RBAC.
If you do
feature:install odl-config-startup
and wait for a minute or so you will get an error like:

http://pastebin.com/8J886kK9

which looks pretty bad, but is really just telling us that
when the config subsytem went to push features to JMX,
karaf's JMX RBAC blocked us.

I've filed https://bugs.opendaylight.org/show_bug.cgi?id=1359
on this, which describes two possible solutions to the problem.

Further information for onces 1359 is resolved:

The four config files its looking to push are:
ls opendaylight-karaf/target/distribution.opendaylight-karaf-1.4.2-SNAPSHOT/configuration/initial
00-netty.xml 01-md-sal.xml 03-toaster-sample.xml

You can get the requisite capabilities for 00-netty.xml should be installed
by doing
feature:install odl-config-netty
(which depends on odl-config-startup).
For 01-md-sal.xml to be processed you will need to fix up the md-sal
features.  To get 03-toaster-sample.xml processed you will need a feature
for toaster.  I recommend deleting 01-md-sal.xml and 03-toaster-sample.xml
and just playing with 00-netty.xml till you can get past the stuck
places with JMX.

Once you *think* you are past 1359, verify by pointing
jconsole at karaf and looking at MBeans and drilling down under
org.opendaylight until you find the Modules.  You should see more
than 'shutdown' there.

Recommended Next steps:
1)  Fix bug 1359 -  picked option1 to proceed
2)  Fix up the md-sal feature at least enough to get 01-md-sal.xml
working - Done
3)  Get a controller/features/toaster going and get 03-toaster-sample.xml
working. - Toaster is working

********* Had to install in this order to get features installed correctly ********

feature:install yangtools-all

feature:install base-all

feature:install odl-mdsal-commons

feature:install odl-config-api

feature:install odl-config-netty-config-api

feature:install odl-protocol-framework

feature:install odl-netconf-api

feature:install odl-netconf-mapping-api

feature:install odl-netconf-util

feature:install odl-netconf-netty-util

feature:install odl-netconf-impl

feature:install odl-config-core

feature:install odl-config-manager

feature:install odl-config-persister

feature:install odl-config-api

feature:install odl-config-netty-api

feature:install odl-config-netty-config-api

feature:install odl-config-netty

feature:install odl-config-startup

feature:install odl-config-netconf-connector

feature:install odl-mdsal-all

feature:install odl-mdsal-toaster

feature:install yangtools-restconf

feature:install odl-adsal-all

feature:install odl-netconf-misc

feature:install odl-config-dispatcher

feature:install odl-mdsal-misc

********************************************************************

I apologize for the size and complexity of this patch.  But it seemed
important to get it out to folks.  Please feel free to break it down
into more managable pieces if you are so inclined.

Change-Id: I6384d57d4fe623221e9c81d8bfb547277ab0e051
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Surekha Bejgam <sbejgam@cisco.com>

Improve RpcProviderRegistry loading

Profiling monitor usage at startup has shown that we spend about 19s of
CPU time over ~50 second bootup waiting in getRpcService(). Instead of a
home-grown cache, let's use a guava Loading cache, which allows us to
concurrently instantiate multiple rpc services at the same time.

Change-Id: Ieaaedd7da61cd0b03b05a44ee2a6285bc8eb46ac
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1380 - Fix NullPointerException when match is null

Change-Id: I728a90054642302d3157e1da4bfa7df3fb63087d
Signed-off-by: Rob Adams <readams@readams.net>

Merge "Bug 1225: Fixed bug in registration of default RPC implementation."

Merge "Deprecated Rpcs and RpcErrors helper classes"

Merge "Bug 1093: Extracted static inner classes from SchemaAwareRpcBroker."

Added SingleThreadedExecutors to data store instance.

Change-Id: I18900f4db121fe7728ecd3c0aae90cbd6e83fee2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Added comments to the opendaylight-inventory.yang file to help describe the purpose of the various fields"

Removed unused private implementation class

Change-Id: Ie17b82e8f057f8d0da40cd93229149125f668e71
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1093: Extracted static inner classes from SchemaAwareRpcBroker.

Change-Id: I68bc1d3e4a3b279877e5ece19bcc9e1bfcd0c3dc
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Added comments to the opendaylight-inventory.yang file to help describe
the purpose of the various fields

Change-Id: I1e368b94c9b0c030bb8f7d266019fdeaa97abc80
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Bug 1239 - Clean up and refactor netconf-ssh client

Remove commented and dead code in netconf-netty-util.
Move SshHandler to client package in order to make it package private.
Wrap OutputStream in SSHClientHandler with a buffer.
Remove VirtualSocketException as it was a workaround for
passing context without checking whether session was established.

Change-Id: I992d3b8ba2b2a58b69bd2e8be4ad0e4bdfa36c01
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

API Usability: Introduced type capture for Transaction Factory

Change-Id: If74733ce5464e294522abf79f9433849466a1f56
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1225: Fixed bug in registration of default RPC implementation.

Change-Id: I302bd0c9aa75e844864d0b7dd692c1d331a563ed
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 1355: Fixed incorrect input keyword use in rpc"

Fixed class-cast when Netconf registered RPC implementations.

Change-Id: I0803f7ec0d23bcf195c2fbac49e916c4f30110e1
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1355: Fixed incorrect input keyword use in rpc

Fixed incorrect evaluation in method flattenInput in NetconfMessageTransformUtil.
Added test for testing toRpcRequest and flattenInput methods.
Added test model for test.

Change-Id: Id6938b39f0bd06b315f4820a6c1008fa371416d0
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Merge "Bug 1303: BindingIndependentConnector splitted."

Merge "BUG-1317 BUG-1351 Fix duplicate connections from netconf connector"

Merge "Bug 1125: Added regression test"

Bug 1367 - Fix NPE in cors filter

Null was returned by request.getPathInfo, correct method
that decodes relative path to resource is
request.getDecodedRequestURI .

Change-Id: I74964bea07df8fa0e9a37af0effaa2525c6b8b2c
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

BUG-1317 BUG-1351 Fix duplicate connections from netconf connector

Change-Id: I2c3135f3f84ef25f0005744c03003462c96812c1
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 1178 - removed unused parameter from checkOdAction() menthod.

Change-Id: I514650b7a4dac89d24f07a241b0f4c9ebe3cf237
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Bug 1280: Added option to automaticly create parents

Introduced additional variation of put and merge
which allows user to specify if parents nodes
are to be created. Default behaviour is to not
create parent nodes, but users still have
explicit API for creating them if necessary.

Updated documentation accordingly and added note
that auto-create of parents may potentially
create garbage in data store.

Change-Id: Id4a88b015e05b4717e9c393ddf821c7f93e7e541
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 279, 1390: Used Guava Cache r for lazy-loading of RPC Routers

Used Guava Cache for lazy-loading of RPC Routers, which
is thread safe. Guava Loading Cache was not suitable
since we needed to know when RPC was created outside
of Guava load() callback.

Introduced new internal exception type RpcIsNotRoutedException
which is thrown when service type is not routed.

Change-Id: I96b6ff68e300596aa837e21690f8cb92da12112c
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1125: Added regression test

Change-Id: I455134dc95b8af4f4f0c79b11e55fd01b58731e4
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Apply style rules on whole sal-rest-connector

No changes in function of code, just formatting.

Change-Id: I52bf10a3b84fa61ec35c31145acbbc6b9bf349ec
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug 1362: New AsyncWriteTransaction#submit method

- Added new AsyncWriteTransaction#submit and deprecated AsyncWriteTransaction#commit.

- Modified unit tests and current code (in the toaster) in the
  controller using commit.

Change-Id: I92317d01427bf442def8e7217ccb13313a0fd229
Signed-off-by: tpantelis <tpanteli@brocade.com>

Changed read to be type-safe in ReadTransaction

Removed declaration of read method from common
superinterface, which is now only marker interface
for read capabilities.

Defined read method in specialization of interface
for Binding and DOM interfaces, which makes
use of specific features of format.

This change is source-code compatible
and users of read method needs to update
their code appropriatelly as shown in
Toaster example.

Change-Id: I8c783fc5f276722a5a762eea7c769c3f54a31855
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Deprecated Rpcs and RpcErrors helper classes

With the new RpcResultBuilder class, we can deprecate the Rpcs and
RpcErrors classes.

Also migrate all uses of the deprecated classes to RpcResultBuilder in
the controller code.

Change-Id: I86408bba0ce19e70c7d7a41555e94052e54e93f8
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "BUG 1330 - list key counts|values diff in payload and URI"

Bug 1303: BindingIndependentConnector splitted.

Inner private classes in BindingIndependentConnector extracted into standalone package protected classes.
Fixed bug in BindingToDomTransaction class - domOpenedTransactions management.

Change-Id: I69173db2bf4e6746eac4fa67c57f65095f45c603
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Merge "Introducing simple merge strategy for config subsystem"

Bug 1225: Added DataBroker and DataChangeListener test suite.

Change-Id: I53a06845024936253f576e5095b3d00c15a47e99
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1284: Fixed serialization of Augment Instance Identifier

Instance Identifier pointing to Augmentation, which pointed
to augmentation with leafs only, was not properly
serialized to DOM Instance Identifier and this caused
subscription for parent node.

Instance Identifier Codec was updated to detect
this case and use different algorithm to serialize
last argument.

Change-Id: Ie47ec7a5ebc86e10a7e1b3ddbc8921bf089466b2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 1223: Cleaned up BindingTestContext from unsupported components."

Merge "IEEE802.1q Packet returns incorrect header size"

Merge "Bug 1139 Modify cors-config according to request"

Merge "Clarified the AsyncDataChangeEvent message - stated you must not block the thread."

IEEE802.1q Packet returns incorrect header size

IEEE8021Q class uses the Packet.getHeaderSize() which iterates through
header fields to determine the size. .1Q header is fixed in size and
should return the correct value

Change-Id: I4b0123dd943f6e833f14782f2ed7cc0e6e184e87
Signed-off-by: Yevgeny Khodorkovsky <ykhodork@cisco.com>

Merge "Add generic exception mapper"

Clarified the AsyncDataChangeEvent message - stated you must not block the thread.

Change-Id: I311b7c37f5848beb351d59fc830798d10302a3bb
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Bug 1139 Modify cors-config according to request

Change-Id: I6276e6a41c43ffb430f520911cd8366a55dc8930
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Introducing simple merge strategy for config subsystem

MergeEditStrategy wasn't really merging.
Now it is, but only for ObjectName[].
However, since ObjectName[] is 90% of the interesting
cases, this should get us a long way.

This is needed to be able to handle reasonably
extension, with the ability to wire in multiple
extension modules independently, as we need to do
for things like OF extension.

Change-Id: Ieca579cbc6781d77f489f5f754490c8da8f65188
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Bug 1223: Cleaned up BindingTestContext from unsupported components.

Change-Id: I26123a2a9d56c85dcc329fda0727e7e3e664c829
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Add BGPCEP logging configuration"

Merge "Bug 1341 - Make RESTConf websocket port configurable"

BUG 1330 - list key counts|values diff in payload and URI

Adds validation whether list key counts or list key values are different
between payload and URI. It difference occures then
RestconfDocumentedException is raised.

Change-Id: I93aaa352cfb8daee298ebf16375cb70987328dbb
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Deprecate model-flow-management as it was never used and is confusing people."

Extra Features for Controller (Akka, Spray and Scala)

PatchSet14: Cliped out spray as its not used in controller.

Change-Id: I20a9d9efb5e26686d29bed88c732c397258be7a0
Signed-off-by: Jonathan Fok kan <jfokkan@inocybe.ca>
Signed-off-by: Gabriel Robitaille-Montpetit <grmontpetit@inocybe.com>
Signed-off-by: Mathieu Lemay <mlemay@inocybe.com>

Add generic exception mapper

Change-Id: Ia3fbf4bcea6095e5c0eb6e56e8c886b38e66cd65
Signed-off-by: mrajvaid <mrajvaid@cisco.com>

Bug 1341 - Make RESTConf websocket port configurable

Change-Id: I54f4bcadd864eb264b92f00b82b81489e9ebecf0
Signed-off-by: Richard Kosegi <rkosegi@cisco.com>

Merge "Improve documentation of BindingAware{Provider,Consumer}"

Merge "Bug 1293 - Switch packaging of config-util to bundle"

Merge "Re-added config.version to config-module-archetype."

Merge "Bug 1112: Update toaster to use async best practices"

Merge "Implement PortNumberBuilder"

Merge "Bug 1292: Fix for NPE after notification get."

Bug 1292: Fix for NPE after notification get.

Fixed incorrect pass of SchemaContext in toNotification method in NetconfMessageTransformer class.
Added test for proper testing of resolving of notficiation message.
Added test models and test notification xml payload for testing purposes.

Change-Id: I4ada2fdf976003f4a2809d6cef53816ec39be364
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Bug 1339: Added doublecheck for RPC registration

Change-Id: I786934b6cc690817688e60fd3d422293f37056be
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Deprecate model-flow-management as it was never used and is
confusing people.

Change-Id: I29adb62375a814a290635f7ab8cae4a3f41b8069
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1224, Bug 1221: Added Test case scenarios for Data Change Events."

Merge "BUG 1204 - exception if multiple container node occures"