Bug-1903:On recovery all replicated log entries should not be applied to state

Change-Id: I8b246a813d0e2afb723510cfd187b2d411caab6b
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG-692 Fix major issues reported by sonar for netconf subsystem"

BUG-1521 netconf-util line coverage

Change-Id: I90fc67622d95fa1b1e06fcf3c10a4d0ea40000c4
Signed-off-by: Filip Tehlar <ftehlar@cisco.com>

BUG-692 Fix major issues reported by sonar for netconf subsystem

Change-Id: I2f7cd479a773b7c3edc111c45add8ab5510fb47f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG - 1756  - changed tableId's comparison"

Merge "Bug 1817 - Have the md-sal-broker feature reference the yangmodels feature (which are core yangs)"

Merge "BUG-1542 Remove netconf-ssh|tcp features from netconf-all feature"

Merge "Bug-1928:TestDriver, fix stop and reinstateNode"

Merge "BUG-650: fix benchmark compilation"

Merge "BUG-1933: consult state in subtree modified path"

BUG - 1756
 - changed tableId's comparison

Change-Id: I81caa80c680052faffc54e34cbc33022ee32adf8
Signed-off-by: Timotej Kubas <tkubas@cisco.com>

BUG-650: fix benchmark compilation

The datastore needs a ListeningExecutorService, so wrap the one we have
instantiating here.

Change-Id: I25c0af24839510265b9d5c4d3386a199af287838
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 1659 - non unified returning data default format"

Merge "Bug 1926: fixed features/mdsal/pom.xml dependencies"

Merge "BUG-1842 Fix byte buffer handling for pending messages"

Merge "BUG-1393 Fix ignoring module based capabilities in sal-netconf-connector"

Merge "Bug 1726 : Adding test-case to check Install Snapshot functionality is handled correctly"

BUG-1933: consult state in subtree modified path

resolveSubtreeChangeEvent() was missing a state.needsProcessing() check,
which means change resolution continued down that path eventhough no
listeners were subscribed to it. Add the check and return with a true if
we terminate early.

Change-Id: I7d386f3abd67c1a241ad88b5809236598dc967dd
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1659 - non unified returning data default format

Returning value (errors and data) will be by default in JSON format

Change-Id: I65368da31b1364c3e8153d39ab66e1fd8ecc49d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug-1928:TestDriver, fix stop and reinstateNode

Change-Id: I115da9b5b32b3e1a71f04bc2185df1d15e1ac205
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug 1808: Don't deserialize IPv4 payload in non-first fragments."

Merge "Bug 1805: Fixed 2 bugs in ICMP.computeChecksum()."

Bug 1726 : Adding test-case to check Install Snapshot functionality is handled correctly

Change-Id: Ia130d690f5009a8252e8e78a76e60479ea4fcc1f
Signed-off-by: Debolina Bandyopadhyay <dbandyop@cisco.com>

Bug 1926: fixed features/mdsal/pom.xml dependencies

Change-Id: I40fad4d7140d9c6ebaf60c23bbdb4ac8f7767a40
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-1759: SET_NW_TOS action values"

Merge "Bug 1894: Add LISP configuration options to etc/custom.properties in Karaf"

BUG-1759: SET_NW_TOS action values

- changed adapters in sal-compatibility to switch:
  - AD-SAL to MD-SAL = DSCP to TOS (no ENC present)
  - MD-SAL to AD-SAL = TOS to DSCP (ENC destroyed)

Change-Id: Ie4954f4c76fc19e70f27a41df0a1a65907acade4
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug 1904: Handle null ThreadExecutorStatsMXBeanImpl in ShardStats"

Merge "Bug 1892 - Karaf setenv should use '=' instead of '=='"

BUG-1393 Fix ignoring module based capabilities in sal-netconf-connector

If a capability for yang module was advertised without revision, it was ignored.

Change-Id: I7b6db7efdbec02c2bea3771f39e1d0e81cf9783d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1842 Fix byte buffer handling for pending messages

Change-Id: I54cd873e12d73779e20be280226480d090d9e8c5
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug-1829:Commit index of follower not changed after Snapshot applied on recovery."

Merge "Bug 1875 - Used variables for nexusproxy host, externalized versions"

Bug 1817 - Have the md-sal-broker feature reference the yangmodels feature (which are core yangs)

Change-Id: I771d78b7d03d2b8c45fcf2c00c9701bed7e034e4
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Merge "Bug 1819 - Moved bundle up in features.xml to avoid exception in log   Change-Id: Icbd3d8957d38ca74797c11f2c60683fa017c3246 Signed-off-by: Devin Avery <devin.avery@brocade.com>"

Bug-1829:Commit index of follower not changed after Snapshot applied on recovery.

Change-Id: Id2e30f6756e5d71886ddb8ab3f3b095f03352b0a
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG 1883 - Ensure that all debug logging is done conditionally"

Merge "Bug 1688: Fix IllegalStateEx from FlowCapableTopologyExporter"

BUG 1883 - Ensure that all debug logging is done conditionally

This commit is mostly about conditional logging.

It also sneaks in a couple of other things,
1. Cleanup of ClientRequestTracker
2. Removal of some dead code

Change-Id: I0862f1273e94856e19107d3a4beec4d66452787d
Signed-off-by: Moiz Raja <moraja@cisco.com>
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Bug 1804: the condition was not working correctly to report leader"

Merge "Bug#1854 - Exit command in console causing OOM."

Bug 1804: the condition was not working correctly to report leader

Change-Id: Ie9b4d76f2cf623ecc17e17e3e64e6fe6a98c05be
Signed-off-by: Harman Singh <harmasin@cisco.com>

Bug 1894: Add LISP configuration options to etc/custom.properties in Karaf

Change-Id: I671cdeb71a87144c9acd08cacc7b44b335ea8cf9
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Bug 1892 - Karaf setenv should use '=' instead of '=='

Brings us inline with what hte karaf scripts do and therefore
both karaf and set env script will be compatible.

Change-Id: I98b1e82080b64d785801a6b3f2953ac95dd226be
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Bug#1854 - Exit command in console causing OOM.

Change-Id: I20606d7918b730c6b3d7e77a85227bc6a87a59b0
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Merge "Bug-1828 - Raft apply state missing index log should be of type warn and not error"

Merge "Bug-1830:Move install snapshot messages from akka-raft to sal-commons"

Merge "BUG 1853 : Clustered Data Store causes Out of Memory"

Bug 1819 - Moved bundle up in features.xml to avoid exception in log

Change-Id: Icbd3d8957d38ca74797c11f2c60683fa017c3246
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Merge "BUG-1871: FRM rpc register path (nodeIdent)"

Bug 1875 - Used variables for nexusproxy host, externalized versions

Replaced hardcoded urls to nexus repository with variables.

Change-Id: I168783cd8ffed057ebca030dae04fc682f9cd0af
Signed-off-by: Devin Avery <devin.avery@brocade.com>

BUG-1871: FRM rpc register path (nodeIdent)

- removed FlowCapableNode from the end of provider lookup identifier

Change-Id: I7939a1dd8f2bcef60c3ca18600350515985598c3
Signed-off-by: Michal Rehak <mirehak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: use SameThreadExecutor for commits

Profiling has shown that the cost of performing a forced context switch
in execution path of the data store leads to ~2x performance
degradation (23600 vs. 40000 ops/s), with average of 20 runs:

InMemoryDataStoreWithExecutorServiceBenchmark:                     total      stddev
write100KSingleNodeWithOneInnerItemInCommitPerWriteBenchmark    4227.384 ms   61.172
write100KSingleNodeWithOneInnerItemInOneCommitBenchmark          286.954 ms   14.350
write10KSingleNodeWithTenInnerItemsInCommitPerWriteBenchmark     364.004 ms   12.687
write10KSingleNodeWithTenInnerItemsInOneCommitBenchmark           17.936 ms    0.883
write50KSingleNodeWithTwoInnerItemsInCommitPerWriteBenchmark    1979.140 ms   56.529
write50KSingleNodeWithTwoInnerItemsInOneCommitBenchmark          136.749 ms    6.402

InMemoryDataStoreWithSameThreadedExecutorBenchmark:                total      stddev
write100KSingleNodeWithOneInnerItemInCommitPerWriteBenchmark    2475.137 ms  220.396
write100KSingleNodeWithOneInnerItemInOneCommitBenchmark          267.298 ms    7.063
write10KSingleNodeWithTenInnerItemsInCommitPerWriteBenchmark     180.537 ms    1.337
write10KSingleNodeWithTenInnerItemsInOneCommitBenchmark           19.582 ms    0.200
write50KSingleNodeWithTwoInnerItemsInCommitPerWriteBenchmark    1127.771 ms   87.438
write50KSingleNodeWithTwoInnerItemsInOneCommitBenchmark          134.401 ms    2.110

The analysis is that the underlying component (yang-data-impl's
DataTree) can process operations at a rate exceeding 30K ops/s,
obviously depending on size, which means a transaction is completed
every ~35 microseconds. When we factor in the fact that there is at most
one transaction issued at a particular moment (due to ordering/conflict
resolution), the ill effects of forced context switches become very much
pronounced.

This patch switches the executor service to SameThreadExecutor, which
foregoes queueing and executes the task on the submitting thread (which
is the datastore coordinator thread, not some user thread).

The option to switch the executor service is left intact, but may be
removed in future pending further benchmarks.

Change-Id: Ic1c4c0b1b80aa77c2d85810736bdc370a465eee8
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: allow executor stats to work with other executors

Instead of requiring a threadpool-backed executor, we make the
constructor private and introduce a static factory method.

Change-Id: I904b90a16d3664341e32cb0d982299fca3205f0d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: use an EnumMap for datastore map

EnumMap has better performance characteristics than immutable map -- so
let's use it.

Change-Id: Ib15be015f38841469bccee8c8a1f19266897a5de
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-865: TransactionCommitDeadlockException safety

This patch fixes safety (public non-constant field) and improves
performance by using a shared RpcError instances. Also moves over to use
a Supplier instead of a Function.

Change-Id: Id9d269fe9be6dacea3c216d4ad76efa79bdb27f0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Activate findbugs sonar profile"

Merge "BUG-1521 netconf-client line coverage"

Bug-1830:Move install snapshot messages from akka-raft to sal-commons

Change-Id: I0bc5e68879ce0b7026c8bfda94ad7e2038aedff8
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug 1861 - Adding the missing moxy related bundles to the NSF feature that resulted in Neutron Northbound API failures"

Bug-1828 - Raft apply state missing index log should be of type warn and not error

Change-Id: Iede5050f337fc89e41d5f72c373ace0c2fcce540
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug 1850 - Adding the missing update and delete connectors for LBaaS Pool and PoolMember CRUD. Without this patch state bloats up and causes problems for user."

Merge "Bug 1856 - Fixing the correct cache access for NeutronLoadBalancer northbound. Without this patch, all calls are lost from the cache."

Merge "Bug 1852 - Setting the right type for the XMLelement members in NeutronLoadBalancerPool"

Merge "Bug 1673 - Adding pool_id element to the NeutronLoadBalancerPoolMember and associated get/set functions. Note that the pool_id is not part of the request, but the URI."

BUG 1853 : Clustered Data Store causes Out of Memory

createSnapshotTransaction was not being set to null which caused
snapshots from being created in the future and thus did not compact
the memory ultimately leading to the JVM running out of memory

Switched to using an InMemorySnapshotstore for test to avoid having
to deal with the file system and adding unneccessary sleeps

Change-Id: I0cb4b219a09a9bc736bd47533888999ee543a4e5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG-650: clarify TransactionFactory close state handling"

Merge "Bug 1860: raise MaxMem and MaxPermGen limits for karaf"

Activate findbugs sonar profile

Change-Id: Icdce41aa13b8c2e761630cb67fe9d618e9a855c4
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: clarify TransactionFactory close state handling

getAndSet() translates to a get() + compareAndSet(). We already know the
expected value, so we can skip the first bit. The nice thing is that CAS
will readily give us a boolean, so the code becomes a bit more clear,
too.

Change-Id: Id77dcefb7ba85512fcebbcae7f43f08cd8094fbc
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1850 - Adding the missing update and delete connectors for LBaaS Pool and PoolMember CRUD. Without this patch state bloats up and causes problems for user.

Also renaming the INeutronLoadBalancerPoolMemberRequest to NeutronLoadBalancerPoolMemberRequest for consistency.

Change-Id: I9fb7b051b4b7e53d5c5921e5250c9cd8661764c8
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Bug 1861 - Adding the missing moxy related bundles to the NSF feature that resulted in Neutron Northbound API failures

Change-Id: I8a8947234aab013ff2bcf2e9ae74f2635f2298ac
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

Bug 1860: raise MaxMem and MaxPermGen limits for karaf

Change-Id: Ia3845f16836467e359d61e127e777355468f7885
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1856 - Fixing the correct cache access for NeutronLoadBalancer northbound. Without this patch, all calls are lost from the cache.

Change-Id: I61c8265b7ec4d1b5a0cc5e815e7df9d22c011319
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Bug 1852 - Setting the right type for the XMLelement members in NeutronLoadBalancerPool

Change-Id: I967fc0957de7af939648cdba9ed1db514276ea91
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Bug 1673 - Adding pool_id element to the NeutronLoadBalancerPoolMember and associated get/set functions. Note that the pool_id is not part of the request, but the URI.

Change-Id: I58d9124688f2f0ac9cec3eb6db16264066edbd14
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Merge changes I9b32ab30,Iebe4701f

* changes:
  BUG-650: speed CommitCoordinationTask up
  BUG-650: improve transaction chaining performance

Merge "Created Benchmark for InMemoryDataStore Write Op"

BUG-650: speed CommitCoordinationTask up

Eliminates synchronized block in favor of a compare-and-swap -- the
logic was doing precisely that anyway.

Change-Id: I9b32ab303eb718e8a0af52526857eead65c2b697
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: SnapshotBackedWriteTransaction performance

Remove synchronized block from ready() and cleanup exposed interfaces,
adding some task which need to be fixed still.

Change-Id: Ib1c25819eca60d393a742ab3ebfec6083fe9745d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: improve transaction chaining performance

Transaction chaining has mucked inside SnapshotBackedWriteTransaction to
get its state everytime a new transaction was allocated. Instead we
expose proper lifecycle hooks, so the chain handling logic can keep
track of state itself.

As an added feature, this fixes a bug, where a chain would become
unusable if the user closed a write transaction without actually calling
ready() on it.

Finally it fixes a synchronization bug, where a commit task would not be
properly synchronized with listener registrations.

Change-Id: Iebe4701f1712a95a9316ea8380fe12c8c5fe6b89
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: speedup DOMDataBrokerTransactionChainImpl

The transaction chain implementation does not need to have
synchronization on submit, but rather it needs to check if the chain has
not been closed (implictly or explicitly). Same goes for the close path,
thus this patch speeds things up by downgrading the synchronized
sections to volatile reads and writes.

Change-Id: I57dec6dbfb1933005a9ee0718b666ee102ce7116
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "bug 1827 XSQL hangs when there is an empty dataset + Add Configuration datastore."

BUG-650: optimize DOMDataBrokerImpl chain creation

An EnumMap is better than an immutable map when accessing via the
enumeration value. Also add a check for closed factory.

Change-Id: I208005a2b13c0a16cb594da7c74556f4e9a54e50
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: speedup AbstractDOMForwardedTransactionFactory

Another speedup -- as it turns out we do not have to take the full lock
to close down the transaction factory. A volatile write is enough to do
that -- which means a volatile read is enough to check for it having
been closed.

Change-Id: I3488ccccc4d91d34665b3ff6e70e047407be48bb
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: AbstractDOMForwardedTransactionFactory

ImmutableMap is not really what we want to track datastores -- EnumMap
has constant time lookups for everything, plus its use eliminates a
needless builder object allocation.

Change-Id: I0bea628b82d8366bf14532d3bc321067584a84b5
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1826: moving clustering test application from integration branch to controller"

Merge "BUG-650: speedup getSubtransaction()"

Merge "BUG-650: optimize DOMForwardedWriteTransaction"

Merge "BUG-650: cache translated future"

Merge "Fixed Karaf Distribution Archetype add dependent bundles"

BUG-650: speedup getSubtransaction()

getSubtransaction() is on fast path and it performs two map lookups:
first with containsKey() and then with get(). We know the map cannot
contain null values, so we can perform only the get() and then make
a precondition check on the returned value being non-null.

Change-Id: I477969c8512e3c22e5b7ae5455e0281613a9c752
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: optimize DOMForwardedWriteTransaction

First make sure we get visiblity into cohorts as a collections. This
allows us to optimize allocation of the list where we hold the futures.
We also make it non-immutable -- it is handed off, so there is no reason
to pay the price of an additional allocation.

Second we optimize the transaction state checking by eliminating as
many volatile read/writes as possible. The bottom line is the following:

1) the put/merge/delete paths see only a single volatile read instead of
   two
2) the submit path performs only one volatile get+set and an ordered
   write -- instead of two reads and two writes
3) the cancel path performs a volatile get+set and either an ordered
   write (fast path) or a spin on volatile read (slow path) -- instead of
   a synchronized block, four volatile reads and two volatile writes

Change-Id: I5ec875e65acdee62a4f0daf233617e6af024637f
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: cache translated future

We are instantiating a done future with fixed result -- this is an
invariant, which can readily be shared. do precisely that by retaining a
single global instance.

Change-Id: I0a24adf6f3df4794fda5148c04baed7bbde11c64
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 1758 - Clustering : CompositeModificationPayload ClassNotFoundException"

Merge "Bug 1348 - TopologyCommitHandler NullPointerException on edgeUpdate CHANGED"

Merge "BUG-1521 Unit tests for netconf-util xml package."

BUG-1521 netconf-client line coverage

Change-Id: I44c7d6a627e21aabe9c46ea678a90d81268ef438
Signed-off-by: Filip Tehlar <ftehlar@cisco.com>

BUG-1542 Remove netconf-ssh|tcp features from netconf-all feature

Tcp|Ssh features were moved to features-netconf-connector.

Change-Id: Ic3d15e35e6019963853cd880a0348a48abbecb73
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1521 Unit tests for netconf-util xml package.

Change-Id: Iaafba131555b948130a9916127b808c00016f502
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>