Bug 3067: Enable blocking behaviour

MD-SAL Binding components will block user threads
till schemas for used binding classes is loaded
or 5sec timeout expires.

Change-Id: Ib1280e0d68e7bda979ad0e944b1e7d199a243399
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 67682d67e9b5e80a4d2a9cf117ba615ec4169f6f)

Convert OperationCompleter to OperationLimiter

The completer and limiter functions are related to each other, so
encapsulate them in a single object.

Since a TransactionProxy cannot really do anything without touching the
limiter, make sure we instantiate it in constructor, preventing some
volatile reads in the fast path.

Change-Id: I4cf31ef46c11676611a62db7a794f504712ce5af
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit b2af021ee27b2977961f0fec6f8bb1a4acbcdbd7)

Add missing capabilities declaration to toaster test configuration.

Change-Id: I7055a36adce5e21a80a025f4cf55bdc9224b6879
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 63d26e2faa3082804ced0ca1b7a38289152a1485)

Bug 3039 - PUT augmentNode like last path element

* fixed JsonNormalizedNodeBodyReader error when PUT operation was used
and data were wrapped in augmentation or choice nodes
* fixed bug that allowed XmlNormalizedNodeBodyReader to parse PUT with
incorrect data (when PUT request was written as POST)

note: testet manualy describled scenario + CSIT OFP_test_suite

Change-Id: Ia25b6b45a1154866dea29c763be67cdb17fa0ce1
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

Bug 568 - Websockets: Test & fix data change notifications

* changed WebSocketClient input parameter to accept "ws" protocol
instead of "http"

Change-Id: I2e1673707ca5231552195049024ebcb5e4964908
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit c0b35fcde6bd4dfda88eb8ee507bf20c77644aa3)

Bug 2358 - Decrease Technical Debt

fix compilation eclipse ID error

Change-Id: I39398878338a9c02d6cc8219aa76d1c9e15c8e10
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit d7b5e0619787f99844e19b9ef36f0a1793044f33)

Bug 2358 - Resources for tests nn to xml

Tests of codecs are included in codecs yangtools yang-data-codec-gson and
yang-data-impl but we test codec on input data and also with presentation of Rest path.

* fix and add yang files for tests
* fix xmls files
* rename base folder of cnsn-to-xml to nn-to-xml

Change-Id: I6ad16f4e12c5f79089eda824d7b4879cdff14e6f
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit cfdf1580b9a00e592ef79dc682ca234a97705413)

Bug 3104 - fixed XmlNormalizedNodeBodyReader

Note: add missing key is relevant only for a POST scenario.

Change-Id: Ibe97f83de4411c0fa5e28ced192f69aa65454027
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit 37aa81d301af72a6ea4ddf5e51c3f26f53c66a3d)

Bug 3104 - fixed XmlNormalizedNodeBodyReader bug when data started at
MapEntryNode

Change-Id: I7b19e514846ecfe7a9a29254b6fade8c876247e5
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit f957b6bf9f120d6648b02b9a7624d43db9de7b7d)

Bug 2358 - Resources for tests nn to json

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl
but we test codec on input data and also with presentation of Rest path.

* fix and add yang files for tests
* fix json and xml files
* rename base folder of csns-to-json to nn-to-json

Change-Id: Id1c88f069d259536d34438d7b68666dd3010adc4
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit b0e9c2a7deb5a49e7f964ec1eee06198c0c15f5a)

Bug 3017 - Error messages and logs missing for this or other RPC failures

Note: Restconf doesn't contain logs for more functionality (not only RPC)
so this patch adds better logging for Restconf (BrokerFacade and RestconfImpl).
Administrators are not able to pair user's reports and karaf log without better
logging information and it would help for better problem identify (e.g. bug 3080).

* BrokerFacade - add Logging for lev info for all extra state
* RestconfImpl - add Logging for lev warn for unexpected error state
               - add Logging for lev debug for another extra state

Change-Id: I452dddd4fb9d75a7754be0bc1d92518dcb1eb786
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit f0d174b75247700587557ea548c5638e12287fd1)

Bug 3104 - Sal Rest Connector: Data already exists for path when adding
new item to list in augmentation

* changed XmlNormalizedNodeBodyReader and JsonNormalizedNodeBodyReader
to return YangInstanceIdentifier pointing to root of payload data.
* changed BrokerFacade datastore functions for PUT and POST to use
returned path from reader without modifications
* modified rest connector tests according to new behavior and added
tests for POST when payload is from augment/choice

Change-Id: Iac6a9853ea4c4529d2f484c464bd27123f4fafa2
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit 3d4dc18c01ebca47030284dde81988a44424d821)

Bug 2358 - Changed modifier of method in AbstractBodyReaderTest to protected

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but we test codec on input data and also with presentation of Rest path.

* changed modifier of method getMediaType() to protected
* fix tests with method getMediaType()
* remove additional assertions

Change-Id: I211c2dc43690b663cada31deb3942e10fcc95366
Signed-off-by: ary <jatoth@cisco.com>
(cherry picked from commit 90aed8ac03ee3496178bdc3ec4b46f5c98dd78fc)

Improve BindingDOMRpcImplementationAdapter performance

BindingReflections return a non-shared QNameModule instance, which means
that we may end up using suboptimal lookups when comparing QNames.
Furthermore it is not the QNameModule which we need in the fastpath, but
rather QName of the input statement, hence create a cached reference of
that -- leading to minimal object allocation in the fast path.

Change-Id: I97ceb43d80c50d53d21cc66a31bfaae6ff0193e9
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit c4ee9b293370b81b76cc0e06accf3cde31ac1722)

Instantiate faster RpcServiceInvokers

Now that we have the SchemaPath->Method mapping available and
RpcServiceInvoker can instantiate efficient invokers based on the
QName->Method mapping, switch over to them by creating an intermediate
map.

Change-Id: If5e17924d9deb494045965578cfcec6d321d04d2
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 0aedb207da64e63900e2dbc85ba2a030ea7800e4)

Rework BindingDOMRpcImplementationAdapter instantiation

Move the SchemaPath/Method map closer to where we instantiate invokers.
This has the benefit of speeding up registration code very slightly,
but more importantly it allows instantiating more efficient invokers, as
we have the SchemaPath->Method map readily available.

Change-Id: Iefc0faadcfd7df6c40240ce1f78c7b734f06c618
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 99783448ed6bbcad04b66379db638241c58e3ec8)

Bug 3189: Check consistency of Instance Identifier and Data

Change-Id: If6f5cf8b28eb27cba89faf8a7c9489ed7fdc3dca
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit c567ebbe7ffdb38e88524e710145cab7d3c790bc)

BUG 3067: Added support for blocking if schema is not available.

Codecs are able to send specific exception, which describes
reason of failure for codec failing. If the reason is
missing schema (not yet loaded) we catch it and retry
serialization after schema context is upgraded.

User thread will be blocked maximally for 5 seconds
after that it will be unblocked.

Change-Id: I3494702eae644b495211a1a34c074e268c2f5f46
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 6aba3ef282f86a84920fa5a7ccf21c91d459806b)

Fix archetype compilation

Change-Id: I9217cb78881118c46c81f7c5d4f8c9bafe82d3fd
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 684c48aba29d1c87190679ed1409d506f59f967e)

BUG-3335 Disable keepalives in netconf testtool

Change-Id: I607cd0b11555847a30ca57f339bb7d24fc79368e
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 1e15cd54715a29f17adb847664500a16470cd6a5)

Get rid of netconf session preferences after connect

Memory usage improvement for sal-netconf-connector: The preferences object was
kept inside the data broker during the entire lifetime of a netconf connector.
This is not necessary as it only needs 3 boolean values from it.

+ intern String representation of capabilities written into datastore.

Change-Id: I46363a3dc079350ccb1db4840b31fdd5342798d3
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit ed824b6afc20ad44f0fc0f955747e715d1fc90a0)

BUG 2820: Fix breakage from Import-Package

Change-Id: I41401d4745c2126ccdc7ed9dffee3299aae9ed0c
Signed-off-by: Ed Warnicke <hagbard@gmail.com>
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 6759779bebf8d724f35518c45a114cca2a0da60c)

Tweak notification queue backoff

Local testing seems to indicate that the LMAX dispatch gives better
throughput with 16 switches when configured to go blocking.

Change-Id: Id273cccc2cbb19ae91ca799ccabca65d1cfd93c4
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit d1050e395b46448ae6031389557d9304992f5e6c)

Take advantage of YangInstanceIdentifier methods

YangInstanceIdentifier provides new, fast methods to acquire parent,
check if it empty and size of path arguments. Take advantage of them.

Change-Id: I527ff8cefb2799cb188ffe294c69e3b81a0d6909
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit ad7a6537b709a72e763835cae683b8cc12401ce1)

BUG-2150 Report errors for semantic issues with config snapshots

Change-Id: Ie8cf61e71649f64147a3cff6f92ae67b26454cb9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 2763c33336189a88b1c7ae1cc1c5311709610ee2)

Bug 2521 - Wrong return status code for non-existing mount-point

Note: MountpointService returns Optional object without mountpoint,
so this is the point where we would like to see error code 404.

Change-Id: Id7902e5c80786275c82e279ae0433a011fa486fc
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit 097cf9e9d96e6ad94ab91728ab84c49b0eba5f61)

Fix duplicate dependency declarations

Dumplicate dependencies trigger a maven warning, remove them.

Change-Id: I9eeff5900650e8781bc883f1dea2cc930403123a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Http client for testing restconf

use --help to find out all suported args.

Change-Id: Ib9cae0479d672d4432bbc0fe87dc98a32f524784
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix Subtree filter failing prefix lookup in element.

If element is f.ex a mac adress subtree filter would
try to match a nonexisting prefix.

Change-Id: Id23d78f6c7312f7c7b0b4f92f1cd99d97932de7f
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-3438 Prevent null pointer for keepalives(netconf-connector)

Change-Id: If480ddb8c6a494eca5affc9d93db6f1fd11e5972
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit a8360a605f3f82351e4bacb6898e27e84ec3ca4d)

BUG 3555: disable RC4 in mina-sshd

There are various security problems with RC4, this removes
RC4 from the ciphers used in the netconf ssh server.

Change-Id: I8973daf2dfb3670f0c77ffc9099eab2cc2a6cd05
Signed-off-by: Tomas Cere <tcere@cisco.com>
(cherry picked from commit 598345a6d62c4f0a2cfb55bfbc22b6ddd9c9bab7)

Fix maven-archetype-plugin not pulling its dependencies

commons-lang is needed to run, but it is not pulled automatically. Fix
that.

Change-Id: I95dd2d527eb47d55597bb3d844867f0ca0c50b3f
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 1ad148df405e6cd9e1ebcfe63bd65facb4007941)

Bug 3020: Add leader version to LeaderStateChanged

Added the leader's payload version to the LeaderStateChanged message and
modified the raft code to set it.

Change-Id: I9a34f90641a2962418d234bb56e55f2df5207e5b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 13ba9adfa24716a7b27bc4cfef198b3fa5c577b0)

Check total batched messages sent in ShardCommitCoordinator on tx ready

Added check in the ShardCommitCoordinator to ensure the total number of
batched messages sent equals the total number of messages received as
was done in the ShardWriteTransaction.

Change-Id: I86a67aec7a6a8e8994aee9a2a167972ede1808c7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit eac2d5f506b801fcac619ca2cb7e4dcd85489a08)

Bug 3372: Convert backend DataTree exceptions appropriately

Specifically, convert ConflictingModificationAppliedException to
OptimisticLockFailedException and
DataValidationFailedException to TransactionCommitFailedException.

Change-Id: I7962e80d1fd51e818d17ed29a3e81262a78f9c3d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit aa6342c2982aa30ffbcca6d1212de164041d9477)

Bug 2787: Batch AppendEntries to speed up follower sync

AbstractLeader#sendUpdatesToFollower now attempts to send all entries
to the follower to catch it up with 1 AppendEntries message. However, we
don't want to send too large a message and risk exceeding akka's message
size limit. So I added another param, maxDataSize, to
ReplicatedLog#getFrom. It will attempt to add all entries up to
maxEntries but stops if the accumulated data size exceeds maxDataSize.

For maxDataSize, I reused the existing snapshotChunkSize (default 2M)
defined in ConfigParams. This currently is hard-coded - we may want to
make this configurable.

Change-Id: Ib2c1165c4140a36f4eada8f81b4261260615dd18
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 6065ba82c90e366919a1b78105507b935b91af8e)

Fix clustering-test app rpcs to add new data ensuring parents

The add-person rpc needs to pass true for ensureParents when adding
a person into the datastore. This ensures that it can be called on
an empty model.

Similarly when the CarBought notification is received and we try to
add a car-person to the datastore we need to do it with ensureParents
so that the data can be added to an empty model.

Change-Id: I551038298d635ff6daed0f5dae49a6eda86a24cb
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit c154b24508a991092771901f0ee444e2c4ba096f)

BUG 3566 : Get remote-rpc working again

Some changes to moving from CompositeNode to NormalizedNode had broken
remote rpc. This patch attempts to get it working again.

Verified everything works in a 3 node cluster with the clustering-test-app

Change-Id: I2ec714f1d21d95812bd5b486260be3575df252a2
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 40217346551e20a809df37cd92955cd63c61944f)

BUG 3340 : Log the count of modifications on a given transaction context

This log statement is to give a quick summary count - I found it useful for
debugging

Change-Id: I5ec2cb13fb75182bc94b3728188378fae2e55b43
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 48df31d5e46dd06aa97bb2ab0c0def2d28ed491d)

Switched sal-binding-it to use failsafe.

sal-binding-it contained only integration tests
which should be run using failsafe instead of
surefire.

This tests are sensitive to available performance
and sometimes may timeout if not enough CPU
power is availble thus marking them as optional
instead of dissabling them at all.

Change-Id: Iea8a7f093892587e707d6eccaf29311878a721fd
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Streamline updating out-of-sync follower

The first AppendEntries message a leader sends to a follower contains
the leader's entry at the current commit index as it doesn't know the
follower's next index yet. If the the previous index isn't present
in the follower's log, the follower sends back an unsuccessful reply. The
leader then decrements the prior index it just sent and sends the
next message. This continue's until the next index gets down to the
follower's last index (or -1 if the follower's log is empty). Then
it succeeds on the follower and the leader increments the next index
and sends the rest.

This results in at least twice the number of messages sent to sync the
follower. The follower sends back its lastIndex in the unsuccessful
responses so it seems to make sense for the leader to use that index
instead of decrementing what it thinks might be the next index. This
eliminates the excessive AppendEntries messages. However we should only
do this is the follower's last index is present in the leader's log and
the terms match. Otherwise we fall back to decrementing the index.

Change-Id: If49ed48e8c70cb87b06b48a5ed3e6b0bbb6efc36
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 6e4a2530fbd24f87b47a756bcc281cb825616e2a)

BUG 2970 : Handle SchemaValidationFailedException instead of IllegalArgumentException

Switch to handling the more specific SchemaValidationFailedException.

Change-Id: Id2f07aae4f45bb11257906fcc157e679b7e34948
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 796434267bba9c66f35fbab0648dd06c3d1206fc)

Bug 2970: Remove SchemaContextModules perisistence

Now that the GlobalBundleScanningSchemaServiceImpl has been fixed to
load all schema contexts on startup, we no longer need to persist the
last known schema context modules in the ShardManager.

Change-Id: Ie5d261e3725c680d4365d63fecdb2115772f69ba
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 7e5c1fa516878ee5744e95f784e724381335b21e)

Fix newly-broken javadocs

Self-closing elements are not allowed.

Change-Id: I9d9c655d04c420b575e6ace51aaf2b0af931ecef
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 484a0983ea48160af9a8c79acbed57ee984f5103)

BUG-3436 Fix UNION type leaves resolution in config subsystem

The descriptions for comoposite open types were not included in a reconstructed
open type, which affected resolution of subsequent composite attributes with
leaves of type union. Union leaves rely on description in order to find the
artificial JMX attribute in order to pass union value as string.

Change-Id: If6222e25840cb854e565ae476509d21ebc19ab3c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 10438f09cbbeb252e58a7fb381e9dd723cc14e2e)

Bug 3427 - Websockets: Cannot create stream if path contains predicates
or if target is a leaf

* fixed registration of path containing nodes with predicates
* added abillity to listen on leaves

Change-Id: I2e74aa6bbc50137187a5f7ece8de6ca288a1ebbf
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit 2a5c10374e32ca292466c3a43a120bfc2df0de90)

Set revision of inet-types in ietf-netconf-monitoring

If users introduce new version of inet types into ODL, netconf-monitoring model
fails to load proper class.

Change-Id: I392f160a2fb2cd9ddea3c331b5715fb0694ba391
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 8a5dee49cac5e8560494e533b18c1fe7c4aff2a6)

Minor changes in LibLLDP

- change modifier of emptyTLV field to final
- added cisco header to CustomTLVKey class
- formatting CustomTlvKey and LLDPTest classes

Change-Id: Ic347f549fb3ba3a97e9b6f02883445c852cd3eb8
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
(cherry picked from commit 1bdead40997cbe805630fced64c93e328a354275)

BUG-3335 Add keepalive mechanism to netconf-connector

Invoke harmless RPC (get-config with empty filter) with a fixed delay to check
whether the netconf session is still active. The RPC is postponed if any other
RPC is invoked by a user/application.

This also prevents the remote device to close session due to being idle.

Change-Id: I013d2641c38d4c8adb5d3198795e337b91c4f95d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 3a24446e77478fb68e043cfe16f090adb9fcc72c)

BUG 2610: Delete config:service instance via restconf

Adds support for removing service instances to config subsystem.

Change-Id: I92211a67d1e74ca4421bd0158f2c3600fabc18cc
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 3414 - exposed location header in CORS setings

Change-Id: I74e5f363cb931b2b8a792447b5d5d2fa6e0aa5aa
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit c515ff7c42b487ac5baeb6e3361b6457d1c4b096)

BUG 2596: Use base service name in service serialization.

Serialization of config was incorrectly using derived service name
instead of the name that was configured in xml.

Change-Id: Idf455f62b1ade06a3e52e4936227f485f74c8ef3
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix wiring around sun.reflect

Change-Id: Ief9b9470525e681bded2adeddccde84f8692202b
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

BUG 3121 - destroy topic implementation

   - implementing destroyTopic rpc in EventSourceTopology
   - add rpc dis-join-topic in event-sourec.yang and implement it
   - fixed bugs identified during test with real device
   - revision of code and cleaning up
   - rebased

Change-Id: I0f43ef2ca1f54db5a08c379792a59c3894a77767
Signed-off-by: Marian Adamjak <madamjak@cisco.com>
(cherry picked from commit d039ff1e73202fa815e72db49d63ded711386f07)

BUG 3030 - reconnect netconf event source

   - replay notification
   - publish notification about connection status

(cherry picked from commit 4c147b35d298b281afccb53c7fb8b83b1b96ddfc)
Change-Id: Ia6ead39a2e1a81135dcd86163fb7adb40a3d7d5c
Signed-off-by: Marian Adamjak <madamjak@cisco.com>

Fix intermittent ToasterTest failures

The ToasterTest has been intermittently failing on jenkins for a while.
I repro'ed it locally after 5 tries. An error occurs indicating it
can't find the pingpong-databroker namespace. Not sure why this occurs
intermittently.

The test doesn't need/use the pingpong databroker so I commented it out
in the controller.xml. After this change the test ran successfully 80
times.

Change-Id: Id0cfdd2464218173e91392ac9bb66e60a8f51595
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>

Remove PrimaryShardInfoFutureCache entry on UnreachableMember event

The ShardManager removes the PrimaryShardInfoFutureCache entry when
leadership changes. We should do the same for UnreachableMember events.

Change-Id: I9582450f1c319e6967f43aacd1b0dd668e2654d6
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit fef4101b5a5b2f1d8e3b266662e36a37dd9151d0)

Bug:3260-Recovery misses flows installed on single node

There are 2 bugs which were enountered
1. When akka replays the journal, it replays it from the peristent journal's sequence number present at the time of snapshot success
2. The log entry on which a snapshot capture is triggered does not make it to that snapshot and gets removed from persistent journal as well.
So on recovery, that log entry/data is missing

To fix the first, the snapshotSeqNr() method of UnTypedPersistenActor is overridden, so that akka uses the cached last-sequence-number rather than using its own

To fix the second issue, the capture of snapshot for single node is done after applyState. This ensures that the persistent journal and snapshot are in sync

Also the in-memory journal was replaying all its messages and not honoring the fromSequenceNr, like akka does. So fixed it.

The tests needed to be fixed primarily due to the in-memory journal change.

A new test is added to test out the recovery of single node.

Change-Id: I779d1d6ce9880b19322d831ef5c8696b4c751e3d
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
(cherry picked from commit 1c4abd5ad29d3200929275cf0030c0e4f35c3886)

Address comments in https://git.opendaylight.org/gerrit/#/c/18392/

Patch https://git.opendaylight.org/gerrit/#/c/18392/ was merged with
some minor comments. This follow-up patch addresses them.

Change-Id: I1842a85f35021b598e1ded0b334453fd7751d9f7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 879a3015b313694d8158e9fec151ce467f18a065)

BUG 3340 : Improve logging

- In SimpleShardDataTreeCohort we log the contents of the tree at debug level. This
  makes it impossible to turn on debug for the package org.opendaylight.cluster.datastore
- At some point we seem to have lost the feature to include the chain number in the transaction
 identifier. I added that back in.

Change-Id: Ifd6cd4c9f5c49790dfb045d2800b5a8beef19b37
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit afa53553bd476c625ae137e14c7484ff510fbcc4)

BUG-2453 Enable nested enums in configuration

Nested enums could not be pushed due to an open type issue. Enums had a
composite open type, where the class name of the enum was stored. JMX was
not happy with this open type and expected a SimpleType.STRING.

After the enum is resolved, the open type is changed to SimpleType.

Change-Id: Ifce5bec70c8c3973f560260e93fadba2bd1119fa
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 7d4251f30d145d8b402e206a11fb4a2ff90ac351)

BUG 2970 : Create a PruningDataTreeModification

The PruningDataTreeModification automatically tries to prune the passed
in NormalizedNode if an IllegalArgumentException is thrown when doing
a write or a merge on the DataTreeModification.

*I know* that doing the pruning on IllegalArgumentException is flaky but
that is the best I can do unless we can change the implementation in yangtools
to throw a more specific exception when the data node does not map to a
the schema context

Change-Id: Iea0cea82eda8bd51c1f3f07b063404458798c348
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 759e3c83955458b56d5d3e5a64521e0662b41004)

BUG-2976: Resolve clash between current and feature cfg pusher

Current config pusher now stores list of features present in karaf with the
config snapshot itself. Feature pusher now looks at the list and ignores
features listed in current config in the initial push.

A WARN log message is emitted for each ignored config file + feature.

Change-Id: I6e71e692e56d5219cf02cd704dd78215f4a7f5a2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit fa8b972c6da7e3a24af396ea4bebe6d06f6a8d89)

Bug 3376: Add debug context for CDS transactions

Added a new setting, transaction-context-debug-enabled, to the config yang
to enable/disable debug context that outputs the call site trace for
TransactionProxy instances for failed transactions.

Change-Id: I8b1a393871be4fa076054681c62c14fd68dc74b7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 1ae90cd1a9a8000a66942e38a4d1c13d3630c4f8)

BUG-1135 Improve error reporting in config pusher

Change-Id: I78e9550bf78cf5c5b3d929827f379e9009a4468f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix deadlock in AsyncSshHandlerWriter

Ssh window resize would call write twice, while a write pending was in progress
causing a deadlock because the underlying channelSession was already locked.

Change-Id: I3a1498084327f12b2010744e570644259532b975
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-2453 (De)Serialize enum values as defined in yang

Netconf endpoint for config subsystem did not (de)serialize enum values properly
It assumed the enum constants are identical in yang and in generated binding

Change-Id: If46c770a49653348201cd5d5c9303b5207048252
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 2970 : Create a utility class which can prune a normalized node based on the schema context

This will be used when a data modification operation fails because of a missing schema
failure.

Change-Id: I6e07763051cc2181c0c786a0762cbf6a3c5c4eed
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 9055581e2aabac7478102c6b05f9118b443a9d64)

Bug -3221 : Adding a new DataStoreUnavailableException for external applications.
If cluster member, which is a leader of one or multiple shards becomes unavailable,
Shard re-election happens after certain time period and anyone tries to access datastore,
receives akka.timeout exception. No application can act upon such exception.

DataStoreUnavailableException will help external applications to retry if they see this exception.

Change-Id: Iceb10580bbe73ae91dc8abb4bc6a183cb4fad6f8
Signed-off-by: Harman Singh <harmasin@cisco.com>

Introduce DOMNotificationRejectedException

DOMNotificationPublishService.REJECTED wraps a throwable, which may
cause problems with code which attempts to unwind it, as frameworks tend
to propagate Throwables rather than wrapping them.

Change-Id: I77d7ceeef8213425636dab92f6994fcd3f1443e9
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 12bf820406245feb0285317a88e5c7b3c9829ce6)

Fix intermittent ConfigPersisterTest failure

testSuccessConflictingVersionException fails intermittently on Jenkins
with different errors. I think the problem is that it sets up the
"workingService" which the ConfigPusher is accessing createService on
another thread. In reading Mockito FAQs, you may get strange intermittent
results with multi-threading wrt to stubbing. Mocks can be accessed from
multiple threads but it's recommended that you setup all the stubbed
methods ahead of time. So I changed
testSuccessConflictingVersionException to do so.

After the fix, I ran the ConfigPersisterTest 550 times w/o failure.

Change-Id: Ia22936cfad82416e317935bd40b0eb3ccbdb232c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit e60d699bfe040f3ce570b4e634b0612eadeaca45)

Bug 3234: Do not notify empty Rpc implementation change.

DOMRpcBroker was sending notifications with empty
set of RPC added or removed.

This is possible if registration for RPC already exists
and another one was registered.

Change-Id: Iab92d6f1e5c76a050dc00dee802e1698ca26eccc
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 2b2ee780fded7fca2d2a3e4695e3aec7f6c1bcc2)

Bug 3194: Dynamically update PrimaryShardInfo cache when leader changes

Added a PrimaryShardInfoFutureCache class which maintains the cache of
PrimaryShardInfo Future instances per shard. This code was moved from the ActorContext.

The PrimaryShardInfoFutureCache instance is created by the
DistributedDataStore and passed to the ShardManager, as well as to the
ActorContext. The ActorContext uses the cache as before.

On ShardLeaderChanged message, if the leaderId has changed, the
ShardManager calls remove on the PrimaryShardInfoFutureCache to
invalidate the entry for the shard name.

As part of this patch some refactoring was done which removed ShardInfoListeners.

There are a few miscellaneous changes in this patch as well,
- Create the appropriate type of transaction on the datatree for local transactions
- Tracking only read-only transactions which phantom references

Change-Id: I4c7a3845e311e5130d80f22f7cfb3c82c5ad731d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 7fbe47abd15ea486c69c08f20c4cb21324775c3f)

Migrade junit.frawork.Assert

The new place s org.junit.Assert, migrate imports to squash eclipse
warnings.

Change-Id: I6900b400b32c7b3fd840497fec99159d6ec779db
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 392a8e3b69781c91cc52174dcb0c8132682c13c3)

Introduced Lazy DOM Rpc Result future.

Introduced LazyDOMRpcResultFuture which is used
when Binding Aware app invokes Binding Aware Rpc implementation.

  - This future encapsulates original future which
    is deencapsulated without any processing once returned
    back to Binding RPC implementation.

Change-Id: I4b65bdc884925a128db0ec6697ba84f37527593f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 4a8854a49907eb11952af93f188fa5050729d85b)

Bug 3216 - Restconf GET operations functionality are not supported yet

* missing list of all operations for all modules or for some module

Change-Id: I937890b83fe2bf3198278123373c5d3bad0aa927
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit a59286ee063c90817958e9cef4836e15aec3c7a6)

BUG-3183: Extend notification publisher API

 - offer methods of notificationPublishService now return ListenableFuture
 - added exception for notification rejected outcome

Change-Id: Iff17e1edd754d49e6c53f97e357c34f5eac6a8ef
Signed-off-by: Michal Rehak <mirehak@cisco.com>
(cherry picked from commit 38c80b0fc0c559aabd0a8dce59dd99deab1c3418)

Bug 2150: Feature wrappers now log parse errors better.

getFeatureConfigSnapshotHolders() logging is now similar
to what XmlDirectoryPersister.fromXmlSnapshot() does.

Also, files not ending with .xml (and not available files)
are filtered out as they do not hold configuration snapshots.

Warn level for config load failure.

Change-Id: I7c9d472bbe0ad031aaf7cc8dead1fd1e41d93306
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2838: Trim leading whitespaces from incoming NETCONF messages.

Some network devices (such as Cisco routers) send RPC replies with a leading
newline before the XML declaration. The OpenDaylight controller does not accept
those replies: the XML parsing fails.

This patch fixes the NETCONF messages before they are sent to the XML parser:
it removes all the spurious characters at the beginning of the messages.

Change-Id: Ibc6eb6dc5bad6252a3c9bed73d3db83814aff501
Signed-off-by: Gwenael Lambrouin <gwenael.lambrouin@b-com.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Rename stress-client classifier in netconf-testtool

2 shaded jars with same classifier overwrite each other in nexus

Change-Id: If08d83ccda4c716ef12818fd8eb0da2ae37706b9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2976 Generate hash/equals for config generated DTOs

The DTOs generated by config subsystem did not have hashCode and equals methods
This caused the canReuse instance to return false even if the old module could
be reused.

Change-Id: I11392c2947f570a05d1a5b84fdaaee9e6b89a717
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-3301 Extract additional header properly on each OS

On Windows, the additional header in hello netconf message was no fully
extracted and it left \n byte in front on netconf xml hello message. This
is not allowed as long as the <?xml ... > declaration is present.

Change-Id: I611a5c689e86fb45065e6a9cd3b14cd5718af54f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 3148 - Fixed binding.api.NotificationListener support

Change-Id: I5017e502a23f9cdb7d35dc393e84db7c2989f491
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 9ca4deb2c87a332baefb4b58e264d544362b30f5)

Allow DOMNotificationRouter to be tuneable

The details of how deep is the queue and how the backoff strategy is
applied should be tuneable. Model them and provide the hooks.

Change-Id: I6eda6bebc2cf506d627e09d3949a73e97ed866e4
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 1ef2ed07ea9d7d42963b8b2ce5e99004f6c33274)

Reduce SchemaContext updates on shutdown

The GlobalBundleScanningSchemaServiceImpl sends out a ton (hundreds) of
SchemaContext updates on shutdown. This because the removedBundle method
calls tryToUpdateSchemaContext even for bundles that weren't tracked, ie
bundles w/o yang URLs. So I added a check`for # URLs > 0.

Change-Id: I203047f04ba5761c1927102b3cb0f2e309b6bf77
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit bc312b3f54c8c089fdc2f2f2b8b8bb6903cca038)

BUG-2961 Disable auth and idle timeout for netconf connector

The timeouts appeared in the mina SSHD lib in version 14 and are not suitable
for netconf connector.

Change-Id: I05f0feb58ef30d12a29eefa53ec5ccf300cb3123
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Use TransactionCommitOperationTimeout when commiting a Local transaction

This is to make this similar to how we do a remote transaction. The transaction
commit timeout is much larger than the operation timeout and is more appropriate
for committing because the latencies involved in committing are much larger as
committing involves replication which could sometimes be pretty slow.

Change-Id: Ie76e05bf875b4ea5eee9618519d7167f50671c8f
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 3ca4e8353a32a68ebf71e98fed1954af5c419ca3)

Bug 2970: Fix GlobalBundleScanningSchemaServiceImpl to get RESOLVED bundles correctly

The GlobalBundleScanningSchemaServiceImpl uses a BundleTracker to get
all RESOLVED bundles. When BundleTracker#open() is called
on start(), the BundleTracker will notify addingBundles of all current
bundles that pass the state mask. The OSGi container must resolve all
bundles before activating on startup. So after open() is called we
should have all the current bundles that have yang models and a complete
SchemaContext on startup based on the installed bundles from he last run.
However I was seeing some bundles notified during open() but others notified
later. This why CDS and other components may not see a complete
SchemaContext on startup.

The problem is that GlobalBundleScanningSchemaServiceImpl is passing the
wrong state mask constants. It's referencing constants defined in
BundleEvent but the BundleTracker checks bundle.getState() which
corresponds to constants defined in Bundle. The 2 have slightly
different constants and the values differ. When I change it to use
Bundle constants, it works as expected, ie all current bundles are
notified during open() and we have a complete SchemaContext after start().
I really don't see how this worked before at all using the wrong constants.

I also noticed that start() is being called twice, once in
GlobalBundleScanningSchemaServiceImpl#createInstance and then also in
the Activator after it calls createInstance. So 2 instances of
BundleTracker were being created resulting in double the notifications.
I removed the call to start() in the Activator.

Change-Id: I8c8330f75dd1a779af186688aae4cfaee89bd43b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit cd0eea4a97a6279b801074061dd64f6663e8b837)

Bug 868: Remove AD-SAL components which were deprecated in Lithium

Removes legacy components,which were deprecated in Lithium
and scheduled to be removed Berrylium.

Code is still preserved on stable/lithium branch.

Change-Id: Icef5e39cc59324db203ccb2cb5f9a3aea0e57b21
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Make sure invokeOperation is set once

This clarifies how it is initialized and make it final to ensure it is
initialized exactly once.

Change-Id: Ib05b58dec492870257da2a8653b5b6b010891312
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 37a5dd4bdd5d0eda6afa0762b42b94762e969956)

Bug 3206: CDS - issues with direct commit

Modified RaftActor#persistData to send the ApplyState message instead of
calling applyState directly in case the Shard tries to persist another
entry during the persist callback.

Modified Shard to use the correct sneder to send the
CommitTransactionReply message.

The third fix is to ensure direct commits in a chain aren't committed
before previous coordinated commits. In the ShardCommitCoordinator, I
changed it to enqueue all CohortEntries when they are readied so they
are processed in that order.

I also included the unit test scenario that caused the issues to occur.

Change-Id: I65ffcbbac37d6be28c4e1c2dc17d3b0ca21847dc
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit cf088cc87d5e9c0dfd3fb8e47e0d6d7c5ddc19fd)

Disable failing config persister test

The test needs to be redesigned. BundleContext and Concurrency need to be
removed from the test to make it more stable and readable.

Looks like the failure reported by mockito is caused by "wrongly written
multi-threaded tests".

Change-Id: I85a04194573c500ce9c4c4a8cfc4960e66203545
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix CDS serialization failures due to YangInstanceIdentifier change

YangInstanceIdentifier was recently made an abstract class with 2
implementations which broke CDS serialization as it was looking for
an exact match for the YangInstanceIdentifier class.

Change-Id: Iba94dda9584f65f5c8d76a1514d3f9f09d2f0483
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit bc42ccb9b9bef46de08370e9d958e0e2fe3dda5a)

Value for transactions moved to yang module

Timeout value for blocking operations within
transactions moved from AbstractWriteTx to yang module
odl-sal-netconf-connector-cfg.yang

Change-Id: I4414a613445c914b0b3262705ca5ceae058b51d5
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Bug 3258 : Changed the order of condition for OrderedMap and MapNode,
same for OrderedLeafSet and LeafSet
Added a test to validate it works for OrderedMap

Change-Id: Ifb0375d47668fcc36d824fb33a8b4684e89dccc8
Signed-off-by: Harman Singh <harmasin@cisco.com>

BUG 3249 : Operation Limiter not release on completion of operation

The OperationLimiter uses up one permit and per operation done on a
transaction. When that operation is complete the permit must be
released. For Local transactions this was not happening. Due to this
when a local transaction has more operations than the maximum outstanding
operations we would block for the operation timeout period (5 seconds
by default) this can have all sorts of adverse side effects on
transactions.

This patch ensures that for local transactions those permits are freed
up when the operation is complete.

Change-Id: Id8ba99c6ea081c7e37da0b517860dca818a91218
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 7deb48eedb9aec8230c65237c48679ecca6af919)

Log NetconfServer authentication fail when authProvider is missing.

Change-Id: I43fef075fdf43624f1b83ddec16d77c129f98964
Signed-off-by: Tomas Cere <tcere@cisco.com>

Use callbacks while parsing to NormalizedNodes.

Implemented custom parsing strategies that handle netconf operations
and manipulation of the data tree in NetconfMDSal.

Change-Id: I99d7f049710393743714d90ac3123041e87040cd
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 3213: Add missing netconf-tcp dependency to mdsal-netconf-connector

Change-Id: I6d9839e24e994d28f0059c7dfbd2a9e3ab4b4c05
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 3197: Netconf client not reconnecting due address unresolved

Netconf client not reconnecting, when failed 1st time due
address unresolved. InetSocketAddress remains in state unresolved,
after connection failed first time due address unresolved.
Now recreating InetSocketAddress by each reconnect,
so address is checked by each reconnect attempt.

Change-Id: I29ef130d7bf3f65023a611cee51245a6ae6f9a03
Signed-off-by: Marian Dubai <mdubai@cisco.com>