BUG-2976: Resolve clash between current and feature cfg pusher

Current config pusher now stores list of features present in karaf with the
config snapshot itself. Feature pusher now looks at the list and ignores
features listed in current config in the initial push.

A WARN log message is emitted for each ignored config file + feature.

Change-Id: I6e71e692e56d5219cf02cd704dd78215f4a7f5a2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit fa8b972c6da7e3a24af396ea4bebe6d06f6a8d89)

Bug 3376: Add debug context for CDS transactions

Added a new setting, transaction-context-debug-enabled, to the config yang
to enable/disable debug context that outputs the call site trace for
TransactionProxy instances for failed transactions.

Change-Id: I8b1a393871be4fa076054681c62c14fd68dc74b7
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 1ae90cd1a9a8000a66942e38a4d1c13d3630c4f8)

BUG-1135 Improve error reporting in config pusher

Change-Id: I78e9550bf78cf5c5b3d929827f379e9009a4468f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix deadlock in AsyncSshHandlerWriter

Ssh window resize would call write twice, while a write pending was in progress
causing a deadlock because the underlying channelSession was already locked.

Change-Id: I3a1498084327f12b2010744e570644259532b975
Signed-off-by: Tomas Cere <tcere@cisco.com>

BUG-2453 (De)Serialize enum values as defined in yang

Netconf endpoint for config subsystem did not (de)serialize enum values properly
It assumed the enum constants are identical in yang and in generated binding

Change-Id: If46c770a49653348201cd5d5c9303b5207048252
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 2970 : Create a utility class which can prune a normalized node based on the schema context

This will be used when a data modification operation fails because of a missing schema
failure.

Change-Id: I6e07763051cc2181c0c786a0762cbf6a3c5c4eed
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 9055581e2aabac7478102c6b05f9118b443a9d64)

Bug -3221 : Adding a new DataStoreUnavailableException for external applications.
If cluster member, which is a leader of one or multiple shards becomes unavailable,
Shard re-election happens after certain time period and anyone tries to access datastore,
receives akka.timeout exception. No application can act upon such exception.

DataStoreUnavailableException will help external applications to retry if they see this exception.

Change-Id: Iceb10580bbe73ae91dc8abb4bc6a183cb4fad6f8
Signed-off-by: Harman Singh <harmasin@cisco.com>

Introduce DOMNotificationRejectedException

DOMNotificationPublishService.REJECTED wraps a throwable, which may
cause problems with code which attempts to unwind it, as frameworks tend
to propagate Throwables rather than wrapping them.

Change-Id: I77d7ceeef8213425636dab92f6994fcd3f1443e9
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 12bf820406245feb0285317a88e5c7b3c9829ce6)

Fix intermittent ConfigPersisterTest failure

testSuccessConflictingVersionException fails intermittently on Jenkins
with different errors. I think the problem is that it sets up the
"workingService" which the ConfigPusher is accessing createService on
another thread. In reading Mockito FAQs, you may get strange intermittent
results with multi-threading wrt to stubbing. Mocks can be accessed from
multiple threads but it's recommended that you setup all the stubbed
methods ahead of time. So I changed
testSuccessConflictingVersionException to do so.

After the fix, I ran the ConfigPersisterTest 550 times w/o failure.

Change-Id: Ia22936cfad82416e317935bd40b0eb3ccbdb232c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit e60d699bfe040f3ce570b4e634b0612eadeaca45)

Bug 3234: Do not notify empty Rpc implementation change.

DOMRpcBroker was sending notifications with empty
set of RPC added or removed.

This is possible if registration for RPC already exists
and another one was registered.

Change-Id: Iab92d6f1e5c76a050dc00dee802e1698ca26eccc
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 2b2ee780fded7fca2d2a3e4695e3aec7f6c1bcc2)

Bug 3194: Dynamically update PrimaryShardInfo cache when leader changes

Added a PrimaryShardInfoFutureCache class which maintains the cache of
PrimaryShardInfo Future instances per shard. This code was moved from the ActorContext.

The PrimaryShardInfoFutureCache instance is created by the
DistributedDataStore and passed to the ShardManager, as well as to the
ActorContext. The ActorContext uses the cache as before.

On ShardLeaderChanged message, if the leaderId has changed, the
ShardManager calls remove on the PrimaryShardInfoFutureCache to
invalidate the entry for the shard name.

As part of this patch some refactoring was done which removed ShardInfoListeners.

There are a few miscellaneous changes in this patch as well,
- Create the appropriate type of transaction on the datatree for local transactions
- Tracking only read-only transactions which phantom references

Change-Id: I4c7a3845e311e5130d80f22f7cfb3c82c5ad731d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 7fbe47abd15ea486c69c08f20c4cb21324775c3f)

Migrade junit.frawork.Assert

The new place s org.junit.Assert, migrate imports to squash eclipse
warnings.

Change-Id: I6900b400b32c7b3fd840497fec99159d6ec779db
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 392a8e3b69781c91cc52174dcb0c8132682c13c3)

Introduced Lazy DOM Rpc Result future.

Introduced LazyDOMRpcResultFuture which is used
when Binding Aware app invokes Binding Aware Rpc implementation.

  - This future encapsulates original future which
    is deencapsulated without any processing once returned
    back to Binding RPC implementation.

Change-Id: I4b65bdc884925a128db0ec6697ba84f37527593f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 4a8854a49907eb11952af93f188fa5050729d85b)

Bug 3216 - Restconf GET operations functionality are not supported yet

* missing list of all operations for all modules or for some module

Change-Id: I937890b83fe2bf3198278123373c5d3bad0aa927
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit a59286ee063c90817958e9cef4836e15aec3c7a6)

BUG-3183: Extend notification publisher API

 - offer methods of notificationPublishService now return ListenableFuture
 - added exception for notification rejected outcome

Change-Id: Iff17e1edd754d49e6c53f97e357c34f5eac6a8ef
Signed-off-by: Michal Rehak <mirehak@cisco.com>
(cherry picked from commit 38c80b0fc0c559aabd0a8dce59dd99deab1c3418)

Bug 2150: Feature wrappers now log parse errors better.

getFeatureConfigSnapshotHolders() logging is now similar
to what XmlDirectoryPersister.fromXmlSnapshot() does.

Also, files not ending with .xml (and not available files)
are filtered out as they do not hold configuration snapshots.

Warn level for config load failure.

Change-Id: I7c9d472bbe0ad031aaf7cc8dead1fd1e41d93306
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2838: Trim leading whitespaces from incoming NETCONF messages.

Some network devices (such as Cisco routers) send RPC replies with a leading
newline before the XML declaration. The OpenDaylight controller does not accept
those replies: the XML parsing fails.

This patch fixes the NETCONF messages before they are sent to the XML parser:
it removes all the spurious characters at the beginning of the messages.

Change-Id: Ibc6eb6dc5bad6252a3c9bed73d3db83814aff501
Signed-off-by: Gwenael Lambrouin <gwenael.lambrouin@b-com.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Rename stress-client classifier in netconf-testtool

2 shaded jars with same classifier overwrite each other in nexus

Change-Id: If08d83ccda4c716ef12818fd8eb0da2ae37706b9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2976 Generate hash/equals for config generated DTOs

The DTOs generated by config subsystem did not have hashCode and equals methods
This caused the canReuse instance to return false even if the old module could
be reused.

Change-Id: I11392c2947f570a05d1a5b84fdaaee9e6b89a717
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-3301 Extract additional header properly on each OS

On Windows, the additional header in hello netconf message was no fully
extracted and it left \n byte in front on netconf xml hello message. This
is not allowed as long as the <?xml ... > declaration is present.

Change-Id: I611a5c689e86fb45065e6a9cd3b14cd5718af54f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 3148 - Fixed binding.api.NotificationListener support

Change-Id: I5017e502a23f9cdb7d35dc393e84db7c2989f491
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 9ca4deb2c87a332baefb4b58e264d544362b30f5)

Allow DOMNotificationRouter to be tuneable

The details of how deep is the queue and how the backoff strategy is
applied should be tuneable. Model them and provide the hooks.

Change-Id: I6eda6bebc2cf506d627e09d3949a73e97ed866e4
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 1ef2ed07ea9d7d42963b8b2ce5e99004f6c33274)

Reduce SchemaContext updates on shutdown

The GlobalBundleScanningSchemaServiceImpl sends out a ton (hundreds) of
SchemaContext updates on shutdown. This because the removedBundle method
calls tryToUpdateSchemaContext even for bundles that weren't tracked, ie
bundles w/o yang URLs. So I added a check`for # URLs > 0.

Change-Id: I203047f04ba5761c1927102b3cb0f2e309b6bf77
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit bc312b3f54c8c089fdc2f2f2b8b8bb6903cca038)

BUG-2961 Disable auth and idle timeout for netconf connector

The timeouts appeared in the mina SSHD lib in version 14 and are not suitable
for netconf connector.

Change-Id: I05f0feb58ef30d12a29eefa53ec5ccf300cb3123
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Use TransactionCommitOperationTimeout when commiting a Local transaction

This is to make this similar to how we do a remote transaction. The transaction
commit timeout is much larger than the operation timeout and is more appropriate
for committing because the latencies involved in committing are much larger as
committing involves replication which could sometimes be pretty slow.

Change-Id: Ie76e05bf875b4ea5eee9618519d7167f50671c8f
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 3ca4e8353a32a68ebf71e98fed1954af5c419ca3)

Bug 2970: Fix GlobalBundleScanningSchemaServiceImpl to get RESOLVED bundles correctly

The GlobalBundleScanningSchemaServiceImpl uses a BundleTracker to get
all RESOLVED bundles. When BundleTracker#open() is called
on start(), the BundleTracker will notify addingBundles of all current
bundles that pass the state mask. The OSGi container must resolve all
bundles before activating on startup. So after open() is called we
should have all the current bundles that have yang models and a complete
SchemaContext on startup based on the installed bundles from he last run.
However I was seeing some bundles notified during open() but others notified
later. This why CDS and other components may not see a complete
SchemaContext on startup.

The problem is that GlobalBundleScanningSchemaServiceImpl is passing the
wrong state mask constants. It's referencing constants defined in
BundleEvent but the BundleTracker checks bundle.getState() which
corresponds to constants defined in Bundle. The 2 have slightly
different constants and the values differ. When I change it to use
Bundle constants, it works as expected, ie all current bundles are
notified during open() and we have a complete SchemaContext after start().
I really don't see how this worked before at all using the wrong constants.

I also noticed that start() is being called twice, once in
GlobalBundleScanningSchemaServiceImpl#createInstance and then also in
the Activator after it calls createInstance. So 2 instances of
BundleTracker were being created resulting in double the notifications.
I removed the call to start() in the Activator.

Change-Id: I8c8330f75dd1a779af186688aae4cfaee89bd43b
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit cd0eea4a97a6279b801074061dd64f6663e8b837)

Bug 868: Remove AD-SAL components which were deprecated in Lithium

Removes legacy components,which were deprecated in Lithium
and scheduled to be removed Berrylium.

Code is still preserved on stable/lithium branch.

Change-Id: Icef5e39cc59324db203ccb2cb5f9a3aea0e57b21
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Make sure invokeOperation is set once

This clarifies how it is initialized and make it final to ensure it is
initialized exactly once.

Change-Id: Ib05b58dec492870257da2a8653b5b6b010891312
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 37a5dd4bdd5d0eda6afa0762b42b94762e969956)

Bug 3206: CDS - issues with direct commit

Modified RaftActor#persistData to send the ApplyState message instead of
calling applyState directly in case the Shard tries to persist another
entry during the persist callback.

Modified Shard to use the correct sneder to send the
CommitTransactionReply message.

The third fix is to ensure direct commits in a chain aren't committed
before previous coordinated commits. In the ShardCommitCoordinator, I
changed it to enqueue all CohortEntries when they are readied so they
are processed in that order.

I also included the unit test scenario that caused the issues to occur.

Change-Id: I65ffcbbac37d6be28c4e1c2dc17d3b0ca21847dc
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit cf088cc87d5e9c0dfd3fb8e47e0d6d7c5ddc19fd)

Disable failing config persister test

The test needs to be redesigned. BundleContext and Concurrency need to be
removed from the test to make it more stable and readable.

Looks like the failure reported by mockito is caused by "wrongly written
multi-threaded tests".

Change-Id: I85a04194573c500ce9c4c4a8cfc4960e66203545
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix CDS serialization failures due to YangInstanceIdentifier change

YangInstanceIdentifier was recently made an abstract class with 2
implementations which broke CDS serialization as it was looking for
an exact match for the YangInstanceIdentifier class.

Change-Id: Iba94dda9584f65f5c8d76a1514d3f9f09d2f0483
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit bc42ccb9b9bef46de08370e9d958e0e2fe3dda5a)

Value for transactions moved to yang module

Timeout value for blocking operations within
transactions moved from AbstractWriteTx to yang module
odl-sal-netconf-connector-cfg.yang

Change-Id: I4414a613445c914b0b3262705ca5ceae058b51d5
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Bug 3258 : Changed the order of condition for OrderedMap and MapNode,
same for OrderedLeafSet and LeafSet
Added a test to validate it works for OrderedMap

Change-Id: Ifb0375d47668fcc36d824fb33a8b4684e89dccc8
Signed-off-by: Harman Singh <harmasin@cisco.com>

BUG 3249 : Operation Limiter not release on completion of operation

The OperationLimiter uses up one permit and per operation done on a
transaction. When that operation is complete the permit must be
released. For Local transactions this was not happening. Due to this
when a local transaction has more operations than the maximum outstanding
operations we would block for the operation timeout period (5 seconds
by default) this can have all sorts of adverse side effects on
transactions.

This patch ensures that for local transactions those permits are freed
up when the operation is complete.

Change-Id: Id8ba99c6ea081c7e37da0b517860dca818a91218
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 7deb48eedb9aec8230c65237c48679ecca6af919)

Log NetconfServer authentication fail when authProvider is missing.

Change-Id: I43fef075fdf43624f1b83ddec16d77c129f98964
Signed-off-by: Tomas Cere <tcere@cisco.com>

Use callbacks while parsing to NormalizedNodes.

Implemented custom parsing strategies that handle netconf operations
and manipulation of the data tree in NetconfMDSal.

Change-Id: I99d7f049710393743714d90ac3123041e87040cd
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG 3213: Add missing netconf-tcp dependency to mdsal-netconf-connector

Change-Id: I6d9839e24e994d28f0059c7dfbd2a9e3ab4b4c05
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 3197: Netconf client not reconnecting due address unresolved

Netconf client not reconnecting, when failed 1st time due
address unresolved. InetSocketAddress remains in state unresolved,
after connection failed first time due address unresolved.
Now recreating InetSocketAddress by each reconnect,
so address is checked by each reconnect attempt.

Change-Id: I29ef130d7bf3f65023a611cee51245a6ae6f9a03
Signed-off-by: Marian Dubai <mdubai@cisco.com>

Set weak keys for binding mountpoint cache

Change-Id: Ie3995beb7f2ffe51c882bde411048b2c59780184
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix intermittent RaftActorTest failures

I've seen the following test failure on jenkins several times:

  RaftActorTest.testRealSnapshotWhenReplicatedToAllIndexNotInReplicatedLog:838
expected:<Leader> but was:<Candidate>

This is a result of the short-circuiting of the election timeout scheduling
when there are no peers so it goes from from Follower -> Candidate -> Leader
quickly. The test artificially sets the behavior to Leader but the immediate
ElectionTimeout messages may cause it to switch back to Candidate and
cause assertion failures before the test completes. This didn't happen
before b/c it sets the heartbeat interval really high. To alleviate the
failures, I set a peer to elide the short-circuiting.

Change-Id: I2c086f214baefb826beb898dfe4b11b659cd1eaa
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 2f2dd5376f885a160d3204a407f24e174375a5a5)

hotfix Bug 3226 - unable to configure flows

* NormalizedNodeContainer has NodeIdentifierWithPredicates which
has to contain the map of all node keys
* (new codecs [xml,json] don't populate Attributes)

Change-Id: I5befc6d8ad5a63a04c11ad9102610be9508df672
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
(cherry picked from commit f00c40b510b85a0adbc407ba745a606bb4910a09)

Bug-2704:Clustering: Fix akka-raft TestDriver logging to run with slf4j

Change-Id: I5634914b086d87557afb9a851c47958744301253
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
(cherry picked from commit 864f3c5bb156a7f6f6e2d91a6c7d43e916909e84)

BUG 3232 : Fix intermittent failure in ShardTest

Change-Id: Ia556fe4833614080d891dd1edcfa8878152bc595
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 1b4baa35633543d70488d7b5cd7dd92147b643bc)

BUG 3125 : Set Rate Limit just before acquiring a permit to avoid contention

During perfomance test performance is hampered by the rate limiting code. To
avoid the penalty of possible contention when setting the rate limit in a
separate thread from the one acquiring a rate permit this patch calculates the
new rate limit and sets it on the rate limiter on the same thread which
acquires the rate limit.

Moving the setting of the rate limit into the same thread which does the
acquiring of the permit did not have any discernable effect on performance so
I continued playing around and found that simply calculating the rate limit
can cause issues with performance. This happens because the Coda Hale metrics
Timer that we use to help calculate the rate limit is also synchronized
internally with a read write lock and that causes contention.

To fix the situation with the rate limit calculation I do not calculate the rate
limit everytime someone tries to acquire a permit but only after acquiring about 1/2 of
the last calculated rate limit.

To make it easier to understand/test the rate limiting code I have slightly refactored
the code. All the transaction rate limiting code is now in TransactionRateLimiter.

After making these changes I was able to get the same performance in the dsBenchmark
test as you would get from not using a rate limiter at all.

Change-Id: Ia7639ac3acdc08140fbf5eef03120f857dc44994
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 89e2dda49ea99a79d510a9cc72ebcb09a9d879de)

Bug 3020: Add version to AppendEntries and AppendEntriesReply

To handle backwards compatibility, a leader needs to know the version of
its followers wrt to the derived RaftActor's payload data. This will
enable
the derived RaftActor to translate its payload data to an older version.
So I added a version field to AppendEntriesReply which the leader stores
in the FollowerLogInformation.

In addition, a follower needs to know the version of its leader so we
can handle backwards compatibility wrt to transactions since we no
longer send the CreateTransaction message to the leader (currently only
for write-only). This patch adds a version field to AppendEntries - a
subsequent patch will utilize it.

Change-Id: I41632024a270206153e7c5d363ee1c79800e4200
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 655216a6c75aa29d31c4c56c56a5000db56ba233)

CDS: Implement front-end support for local transactions

Implemented support on the TransactionProxy front-end for optimizations
where the Shard is local to the controller instance. In this mode, the
Shard's DataTree obtained from the FindPrimaryShard message is used to
prepare the modifications completely on the front-end. On ready, the
DataTreeModification instance is passed to the Shard via
the ReadyLocalTransaction message. The Shard then does a direct commit,
eliding the 3PC from the front-end (it's a no-op as it is for remote
write-only txns).

TransactionContext instances are now obtained via an
AbstractTransactionContextFactory passed to TransactionProxy of which
there are 2 kinds: one for single, unchained txns and one for chained
tnxs. Each creates a different DOM transaction instance to handle
preperation of modifications. The DOM transacton is wrapped in a
LocalTransactionContext which the TransactionProxy interfaces with.

Change-Id: I0322b586f394e4b6c7793b8287ac804b41964378
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 2f7c93174d7834a4c4aedacc9b88aa53a5a0422c)

CDS: make sure to assert non-null Exception in test

The exception can be potentially null, make sure we fail the test if it
is.

Change-Id: I6b987e2962abfaa8afa570791e3500fa4916e5c2
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 366726ce5400e77ad813aba0ed1289331093db50)

Add AuthHandler to stresstool

Stop bundling BouncyCastle into strestool uber-jar,
JCE certificate gets wiped this way and Oracle JDK refuses to use it.
Instead export them into target/lib dir and setup stresstool jar classpath to point to this directory.

Change-Id: I3c7ab9ea0f5faba2f02f4e0cfa21adda6bce2e4e
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 2981 - POST mismatching IDs data vs URI possibility

fix forgotten validation for check IDs from data and Uri

Change-Id: I465a3550399c5d2d4fcb546b608a9b47e3d97e63
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>

BUG 3200 : Serialize a child node even when it is UNMODIFIED

Change-Id: If1220cd2a84d770ca02bca6a5f070032188b5e21
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 1c06873f9d31586aa73ba6ca72b1c286887dbd02)

BUG 3156 : Recreating CDS should not fail

When CDS is recreated it can fail because we try to
create actors on a datastore that is already terminated.

To address this issue I have enhanced DistributedDataStoreFactory
as follows,

- Simplified the actor system creation code by synchronizing
  all static methods. Since these methods are anyway not used in
  any fast paths - it is a fair enough solution.
- Added another static field in DistributedDataStoreFactory to
  track the createdInstances. This is so that we can properly
  cleanup the actor system as instances of the data store are destroyed.
- The actor system is now shutdown when there are no datastrore instances.
- Removed actor system shutdown from ActorContext to ensure that we
  use the symmetric method destroyInstance

Now that we do not shutdown actor system till both the data stores
are destroyed it may so happen that we may have a situation where we are
trying to create an actor on the old actor system with an already used name
like shardmnanager-config or shardmanager-operational. To avoid this
I have added a loop when creating shardmanager which catches the thrown
exception and retries 100 times after waiting for 100 milliseconds. This
is to give some time for the actor to properly die.

Change-Id: I3c8b2b3b21a1519610bf2ed5e1af8be93f3120ce
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 35f8cf2335afa8cf87ce565bbb974431ad5008a6)

Bug 3161: Create new UpdateElectionTerm class

Deprecated inner class RaftActor.UpdateElectionTerm and created a new
stand-alone UpdateElectionTerm class with serialVersionUID set.

Change-Id: Idf9a67656f0103e4f8e668e0812a80687423bfdd
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit dc3e8242e7f0a2c937bacad2f2a7d41162d2209e)

Bug 2351 Speed-up Binding-to-Binding routed RPC Invocation.

Current RPC Broker uses LazySerializedContainerNodes
when going thru DOM RPC broker, so in case
RPC is returned it can by-pass deserialization and
use Binding DTO directly.

In case of routed RPCs full serialization to normalized
node was triggered when DOM RPC broker tried to
read RPC route.

This patchset introduces support for LazySerializedContainerNode
to precompute this value and do not use full serialization
when DOM Rpc Broker reads only routing context.

Change-Id: I6d949b5257d40a96ae9edce3bf15c4c3ff932c27
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 313b9c3cdff6c7fbf94583db4b8933aa394bccc0)

Bug 3161: Remove serialVersionUID to maintain backwards compatibility

The serialVersionUID field was added earlier in Lithium for
RaftActor.DeleteEntries and RaftActor.UpdateElectionTerm however it
breaks backwards compatibility. We need to remove serialVersionUID.

DeleteEntries has already been deprecated for a new class that has
serialVersionUID set and is not an inner class. I will do that same for
UpdateElectionTerm in another patch.

Change-Id: I8180de5865d89d3fea190e48ebeb825743af959d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 0dd3756434941ff5635a3a3bc60a2f0b59338c1c)

Bug 1773: Use new Binding Notification Broker by default.

New Binding Notification Broker is required in order
to forward Notifications from Binding producers
to DOM Broker, so these notifications could be exposed
via netconf / restconf or in future releases via
clustering.

Change-Id: I520eb0b31512ec5f2114f0a5ee9492f5d9210679
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

CDS: add backend support for local transactions

Add the message for submitting a DataTreeModification from the frontend
and the logic to apply it to the Shard's DataTree instance. This is
similar to BatchedModifications, except is is always considered ready.

The ReadyLocalTransaction is not directly serializable, but we create a
new serializer, which turns it into BatchedModifications when
serializing to byte stream.

Change-Id: I23a39c7b5997b48a355af73287d19bbf3ab0ae20
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 3135 - Fixed support for InterestListener

InterestListener was one of undocumented beta MD-SAL APIs
which was not intented for public support, but accidentally
was public since Hydrogen and as it turned out other Opendaylight
projects started to using it.

Added support to affected components in order to still support
this API even when using new Notification Broker.

Change-Id: I060474f68a6c37ed05b262a9b46923f668ca3c8b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit 96246098ccbe56af4f688d93dfffc9fdf62713ab)

Fix racecondition in AsyncSshHandlerWriter

Fixed racecondition between releasing of netty ByteBuff and removing the msg from pendingWrites.

Change-Id: I40eff55d9c7858534d105a242d3ec6feb9d950d0
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add NetconfXmlUnitRecursiveQualifier to netconf-util.

XmlUnit's RecursiveElementNameAndTextQualifier has trouble with non-trivial xml's and
element order in bigger depths.
This adds our own qualifier based on XmlUnit's implementation.

Change-Id: Ie89e84813e11cb2af7c9d3c0c6d80377816f79a7
Signed-off-by: Tomas Cere <tcere@cisco.com>

Change http port for NorthBoundIT tests

The NorthBoundIT tests are failing on jenkins due to port http 8080
already in use. I don't know what else would be running on port 8080
on the build machines - maybe a remnant of another test that didn't
cleanup or didn't finish cleaning up in the background. In any event,
I changed the port to 8180 to hopefully avoid the issue so verify
builds can succeed.

Change-Id: Ia11ef1d69c8cd5948063ec6dbfc08fab2492319c
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 0ffa3f90a7546c29165d13b9ff448a82f0af1317)

Fix test to return PrimaryShardInfo when retrieving primary shard

Without these changes the tests log a lot of ClassCastExceptions when
run.

I also removed one method in the test that was unused

Change-Id: I9501dc7cd6be461297052182de79dae831409a8c
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 17787472279e0c04061a1ef1ad2b110b1f77b9b3)

Use MoreExecutors.directExecutor()

Remove open-coded equivalent of the direct executor. We do not need an
ExecutorService, so it is sufficient and does precisely what our class
did.

Change-Id: Ib9424a1b4d3ba56f32ef5aec525de4026be0970a
Signed-off-by: Robert Varga <rovarga@cisco.com>
(cherry picked from commit 335ea558bd22d4b09e4490aed96ddcbe44da6d76)

CDS: Introduce ChainedTransactionIdentifier

Conceptually the identifier of a a transaction is an extension point,
which allows passing of arbitratry, extensible identifier. It can thus
be reused to track the chain identifier as well as the normal source
coordinates.

Introduce ChainedTransactionIdentifier to carry the transaction chain ID
attached to the transaction on the frontend. This is not used in this
commit directly, but rather in the follow-up patch.

Change-Id: Iad24a1b59c6231e003579bb25149b73b11d6db25
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: split TransactionType from TransactionProxy

The type is used outside, too, so split it out into its own file.

Change-Id: I00589bc46b724ae5b0de3852056111a3f1bcb897
Signed-off-by: Robert Varga <rovarga@cisco.com>

CDS: do not propagate SchemaContext

TransactionContext implementations do not need, so remove the
constructor argument and adjust callers.

Change-Id: I7f6644e3e673057586a1ec6cfbe93b6e258ca9ad
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-3095 Add EventTime attribute to DOMNotification from netconf"

Merge "Add missing copyright text"

Merge "BUG 2954 : Thread local DocumentBuilder's for XmlUtil"

Merge "Bug 2983 - POST operation to list only accepts data for keys"

BUG-3095 Add EventTime attribute to DOMNotification from netconf

Introduced new interface DOMEvent and DOMNotifications from
sal-netconf-connector implement this interaface. The eventTime is parsed from
the the notification xml.

Change-Id: I833d86d91f752be55fef3e641a6c8654d2f65a28
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Custom BufferedWriter implementation without newLine()

This BufferedWriter does not provide newLine() method and does not read the
line.separator property via AccessController when its initialized. Whithout this
expensive call, its allocation is much faster. Used in netconf message encoder
to make the netconf serialization faster.

Change-Id: I88a65c7a82ff7c44b9ad3a3adfe7d7482a5fdc70
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2983 - POST operation to list only accepts data for keys

* added catch for ResultAlreadySetException in JsonNormalizedNodeBodyReader

Change-Id: I07d8b8b63e5c2de84b0ee7ec66013d38c58c7b49
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Fixed export package section of sal-binding-broker.

Change-Id: I09a0c50f8c6a96992ccca2648bec6759c85ff02a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
(cherry picked from commit ca7e8c9bbb5c58783153153dc0288cac67b0a17a)

Merge "BUG 2820 - LLDP refactor"

Merge "Bug 2820 - LLDP TLV support and testing"

Merge "Bug 2820 - problem to add second TLV with type 127."

Merge "Remove "Unavailable" properties from ShardStats"

Merge "BUG 3057 - notify added event source by topics created before"

Merge "Bug 3068 - checkRpcResponse - CancellationException"

Merge "Make TCP netconf endpoint configurable"

Merge changes Ibe016728,Ic719c519,I87a81a54

* changes:
  Fix mac address generator in stress client
  Modify multiple physical address atributes in stress-client payload.
  Multiple clients for stresstool

Merge "BUG 3066 : Optimistic lock failed, on NetconfStateUpdate"

Merge "Bug222:Comments incorporated for response based Restconf statistics"

Bug 3068 - checkRpcResponse - CancellationException

* added catch for CancellationException in RestconfImpl

Change-Id: I3ebb2c4fd2a521ed0977075975a1302301b801fa
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Bug 3010: Improve restconf error clarity.

Change-Id: Ib54e96f1a70a187d940f843ed624f4a0f3c4ead0
Signed-off-by: Evan Zeller <evanrzeller@gmail.com>

Merge "BUG 3049 : Upgrade from akka 2.3.9 to 2.3.10"

Remove "Unavailable" properties from ShardStats

There's several property getters in ShardStats that don't apply anymore
and return null. They display as "Unavailable" in JConsole but cause an
NPE when queried via jolokia. We should remove them.

Change-Id: I6da8f331e007246c655a982b9cd335de553195aa
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 63c43e481fe503a3b90c7e6c55ac21514be0f6db)

BUG 3049 : Upgrade from akka 2.3.9 to 2.3.10

akka 2.3.10 has fixes related to the kind of issues reported in BUG
3049.

Cherry picked from stable/lithium

Change-Id: I51c094ff939ca0f4b31d685bae3e195d22ddb518
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug 2853 : Adding Remote RPC MX bean"

BUG 2914 TCP Options incorrect

Obvious - basic use of TCP in a double-buffering environment for command/responce protocols.

Change-Id: I4d5117039bdcdc089adb177972ab9460165d6297
Signed-off-by: Anton Ivanov <aivanov@brocade.com>

Bug 2853 : Adding Remote RPC MX bean

This bean gives three attributes - bucket versions,local registered routed rpc names and global rpc
bucket versions will give information of latest version of remote rpc buckets on all nodes of cluster.
Name of locally registered RPCs can be found in other two attributes.

Two Search operations - findByRpcName and findByRpcRoute helps to search RPCs registered in cluster
via name or route keyword. Search happens in both local and remote bucket.

Change-Id: Ief08eb2e42deafdf2627c61e58c2e2a50f7dcd09
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "BUG-2288: deprecate old binding Notification API elements"

Make TCP netconf endpoint configurable

Allow users to configure netconf endpoint for md-sal to use pure TCP instead/or along with SSH.

Change-Id: I03d067322b0c02ba335d554da51c56db77c22bfb
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Merge "Return local shard tree from FindPrimaryShard"

Merge "Add documentation in akka.conf on how to specify location of persistent data"

Return local shard tree from FindPrimaryShard

Added a new ShardLeaderStateChanged message that includes the Shard's
DataTree as an Optional. If the shard is the leader, it returns it's
local DataTree, oherwise returns absent.

The ShardManager now returns a LocalPrimaryShardFound response to
FindPrimary if the shard's DataTree is present. Otherwise it returns
RemotePrimaryShardFound (renamed from PrimaryFound).

Change-Id: I4413aacfff3d3d2ee89df7c4a3a1d7f7c3d2c486
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit fdddb482b07c3ee2f3ca853d09ee9a6ecdd7eb2a)

Fix mac address generator in stress client

Change-Id: Ibe016728fb2be3693c1b9f7899d0933932c37138
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Modify multiple physical address atributes in stress-client payload.

Change-Id: Ic719c519eb0735d00014e51851dd958db5098ff0
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Multiple clients for stresstool

Added new parameter(--thread-amount) for stresstool that splits edits
between multiple threads.

Change-Id: I87a81a5442e32833c0c49dfd98b6475f8e699a2b
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug222:Comments incorporated for response based Restconf statistics

Added response based restconf statistics which counts
the reponse of get, put, post and delete on the success and
failure response for config and operational datastore.

Change-Id: If423da08e2c5793e68398beb69575b7cf214f57e
Signed-off-by: bhavesh.kumar1 <bhavesh.kumar1@tcs.com>