Merge "Bug 1309 - Cannot publish LinkDiscovered event"

Merge "Bug 963 - OSGi error in Topology manager component - After exiting mininet of13 simulation"

Bug 1860: increase max permgen in karaf for windows

Move file to proper place

Change-Id: Ib9da0ac05b8747ae59aa989c131b9f45d82b2495
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Ryan Moats <rmoats@us.ibm.com>

Bug 1025: Fixed incorrect revision in sal-remote-augment, which caused log polution.

Change-Id: I5db5bfb43217d21bad58c913de8dedac5d7cdf23
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1845: implement proper shutdown sequence"

BUG-2017 Fix possible concurrent modification ex in config subsystem

Change-Id: I879118cee8967edf14e24e8af93945d95bbc9fbe
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug 1915: Configuration knob for enabling L3 forwarding in OVSDB"

Merge "Bug 2014: Workaround for karaf listFeatures bug"

Bug 1915: Configuration knob for enabling L3 forwarding in OVSDB

Change-Id: Ic71708b0f4e2dccdfc789d392b8722b68b5ace1f
Signed-off-by: Flavio Fernandes <ffernand@redhat.com>

Bug 2014: Workaround for karaf listFeatures bug

karaf FeatureService.listInstalledFeatures() sometimes
throws a ConcurrentModificationException, this workaround
retries to make sure we succeed.

Change-Id: I4e307d5daba683dfc1b44b6524ce40b3b0e59d1b
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-1520 Set correct factory in ImmediateEventExecutorModuleTest

Change-Id: I664b391e22413514049b55dfb582f3191159a8fc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 1309 - Cannot publish LinkDiscovered event

* added back MD_SAL_TYPE for nodeConnectorId and nodeId for case when
nodeId and NodeConnectorId are not in openflow format (NodeId and
NodeConnector Ids are strings)
* added test that shows

Change-Id: I73438a14b0b32a9fd3b0bc311663ad29b7bd7dd1
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Bug 1850 - The earlier patch missed out on removing the unnecessary call to INeutronLoadBalancerPoolMemberCRUD. This cleans that up."

Merge "Bug 2002 Importing javax.ws.rs.ext explicitly which helps in some cases."

Bug 963 - OSGi error in Topology manager component - After exiting
mininet of13 simulation

* added check in onLinkRemoved() to check if link exists before
atempting to delete it (without check, lots of datastore transaction
errors were displayed on mininet shutdown because links were already
removed with nodes)
* added checks to check if node, connector or link exists before trying
to remove it (reads are cheap and delete exception can break the
transaction chain)
* made reads synchronous
* added illegalState exception handling to operation processor
* made affected links removal to be in the same transaction as
Node/NodeConnector removal(creating and applying snapshot for each link
is expensive)
* updated tests

Change-Id: Icef03a02bbfb88a7cebd0fe35e4b713dcfeb317c
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Bug-1978:Leader initializes commit index to last index"

Bug#1961 - Missing recource in the XSQL Karaf Command

Change-Id: I718dbd67e6478deea4c42b434bbaa74821bdbbac
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Bug 1948: Separate out restconf features.

In order to avoid a maven project cycle in solving
Bug 1948, we need to separate restconf features.

Note, this is a first step, suffixing everything
with -new.  Subsquently, after everywhere using
odl-restconf has been fixed to use this new repo,
we will deprecate the ones in the mdsal features.xml
and rename these to not have the -new.

Change-Id: I80451e055c071b30a1d0a83ec5a5c14c41afb586
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug-1978:Leader initializes commit index to last index

Change-Id: Ic42a14911e8ff4db40fde2a917c8cb2edf412c76
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "BUG-1866: sal-compatibility does not register some services"

Bug 2002 Importing javax.ws.rs.ext explicitly which helps in some cases.

We still are trying to figure out the root-cause & this failure has been very random in different setups.

Change-Id: I38da0e23885c2fc4a39d69048c69459f8ac8fc84
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

BUG-1866: sal-compatibility does not register some services

- fixed service wiring
- involved statistics collected by statisticsManager (instead fresh request)

Change-Id: I9914dd7e9b20c87d77f7b5350abb9f5c8ba02c0f
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Bug 1971 : Removing the bounded queue while actor creation to avoid issues in recovery

Change-Id: I1c423ee0edf2a9b5bc9354f7ddc07150c700d4d3
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "BUG-1953: fix bad values in netconf monitoring test"

BUG-1953: fix bad values in netconf monitoring test

Uses string values which do not match the format prescribed by the
model. Fix them.

Change-Id: I55efcdd87aea24bcfd805a865319fe324e663768
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 2003: CDS serialization improvements

In NormalizedNodeToNodeCodec#encode, significant time was spent
serializing the YangInstanceIdentifier path via PathUtils even though it
wasn't actually needed - the decode method didn't decode it.

This might have been used by WriteModification and MergeModification
originally however they currently serialized/deserialize their
YangInstanceIdentifier path separately from the NormalizedNode via
InstanceIdentifierUtils. It turns out this takes significant time as
well as it's implemented similarly as PathUtils.

So I ended up using NormalizedNodeToNodeCodec to encode/decode the
YangInstanceIdentifier along with the NormalizedNode but changed
InstanceIdentifierUtils to utilize the new PathArgumentSerializer
and the NormalizedNodeSerializer's special QName encoding.

With serializing a 5K batch of WriteModifications with flow data, the
time went down from ~350 ms to ~150 ms. Deserialization was also
improved.

Other smaller optimizations in NormalizedNodeSerializer,
NormalizedNodeType, PathArgumentSerializer and PathArgumentType chopped
another 20-30 ms off the time.

I also changed InstanceIdentifierUtils to serialize/deserialize via the
new PathArgumentSerializer and the NormalizedNodeSerializer's special QName
encoding by default, even when the ID isn't encoded as part of a
NormalizeNode. This seems reasonable to me as a standalone IID will
likely have repeated namespaces and revisions plus we get savings by not
serializing each path arg class name.

Removed the deprecated InstanceIdentifierUtils class in
sal-distributed-datastore bundle.

Change-Id: Iaa29daeaececf4b93065f4d46d0c2796c4d8188f
Signed-off-by: tpantelis <tpanteli@brocade.com>

Merge "bug 1888 - FRM Flow Listener registration fail"

Merge "Bug 1963: Fix missing bundle in xsql feature"

Bug#1955 - Avoid the bug condition in XSQL

Change-Id: I15c8c409ca6bc9aa7c147cdaaa7deca6e640bdcc
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Bug 1970: Disabling NetconfITSecureTest test

Change-Id: Id937c37cd237ee4340a0e8e5bd63561d1e1afe21
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1963: Fix missing bundle in xsql feature

Change-Id: Ieedf3f07bc85110c8c0e4be2d73612311ed5074c
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-1845: implement proper shutdown sequence

The notification chain should only invoke the successful callback once
all transactions have been committed successfully. This patch does
precisely that by tracking the number of outstanding transactions. Since
this requires notification about successful transactions, too, we get
rid of the unneeded DOMDataCommitErrorInvoker/Listener abstraction.

Change-Id: I38534a3fb79a8a461059504de7b0cdd48348afef
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug-1903:On recovery all replicated log entries should not be applied to state"

Merge "Bug 1763: Fixed illegal state in Binding Transaction Chain."

Bug 1831 Batch messages on journal recovery

Added journal log recovery batching support in RaftActor along with
additonal abstract methods for granular recovery control.

It turns out that batching helps a little but the real performance hog
was deserialization. There was a couple inefficient PreConditions in the
NormalizedNodeSerializer (unwanted String concats in the fast path) that
accounted for significant performance degradation. I also made a few
other minor performance enhancements.

Although deserialization is much better with the fixes, I also
implemented some parallelization during shard recovery. I added a
ShardRecoveryCoordinator class that parallelizes deserialization
of journal log enry batches and snapshots for faster recovery time.
The resulting transactions are still committed to the data store in the
order the corresponding snapshot or log batch are received to preserve
data store integrity.

The journal recovery log batch size is configurable vai the config XML.
I also made the shard heartbeat interval and shard snapshot batch count
configurable.
`
Change-Id: I52ef1690bfb6cc486c329ee60f77c52720c24469
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG 1815 - Do not allow Shards to be created till an appropriate schema context is available

The fix works like so,
- ShardManager maintains a list of all the modules that it ever knew about
- ShardManager persists the known modules to disk using persistence
- When ShardManager recovers it reads back the knownModules from persistence
- As ShardManager gets new SchemaContext's it checks whether the modules in
  the new SchemaContext are a superset of the knownModules. If they are then
  ShardManager persists it and let's the Shards know about the new SchemaContext
  otherwise the new SchemaContext is rejected and a message is logged

Also reduced the log level of some log messages in RaftActor from info to debug
it was too verbose

Change-Id: If388f690114c58e6a8df30f34ddac32a99f255e5
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Bug 1876 - Added missing parent tag to pom files"

Bug 1963 - Fix bad dependency in sal-karaf-xsql

Change-Id: I2b9b1d2764f7c65cc2990c715928b05875b12c3c
Signed-off-by: Devin Avery <devin.avery@brocade.com>

BUG-1949 Fix race condition in AsyncSshHandler

Remove pending limit due to unexpected behaviour with chunked messages.
Extract Reader/Writer into separate classes.

Also lower the amount of requests sent in SSH Stress integration test.

Change-Id: Idff719ac3a6bed9e8939efa01b8306f2884848fe
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-509: remove HashMapDataStore

The HashMapDataStore is not something we want to ship in Helium -- it
is utterly obsolete and defunct. So just remove it.

Change-Id: I62977f0f897752a388673f977222c79ff55062f0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-692 Fix major issues reported by sonar for netconf subsystem"

BUG-1521 netconf-util line coverage

Change-Id: I90fc67622d95fa1b1e06fcf3c10a4d0ea40000c4
Signed-off-by: Filip Tehlar <ftehlar@cisco.com>

BUG-692 Fix major issues reported by sonar for netconf subsystem

Change-Id: I2f7cd479a773b7c3edc111c45add8ab5510fb47f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "BUG - 1756  - changed tableId's comparison"

Merge "Bug 1817 - Have the md-sal-broker feature reference the yangmodels feature (which are core yangs)"

Merge "BUG-1542 Remove netconf-ssh|tcp features from netconf-all feature"

Merge "Bug-1928:TestDriver, fix stop and reinstateNode"

Bug-1903:On recovery all replicated log entries should not be applied to state

Change-Id: I8b246a813d0e2afb723510cfd187b2d411caab6b
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG-650: fix benchmark compilation"

Merge "BUG-1933: consult state in subtree modified path"

BUG - 1756
 - changed tableId's comparison

Change-Id: I81caa80c680052faffc54e34cbc33022ee32adf8
Signed-off-by: Timotej Kubas <tkubas@cisco.com>

BUG-650: fix benchmark compilation

The datastore needs a ListeningExecutorService, so wrap the one we have
instantiating here.

Change-Id: I25c0af24839510265b9d5c4d3386a199af287838
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG 1659 - non unified returning data default format"

Merge "Bug 1926: fixed features/mdsal/pom.xml dependencies"

Merge "BUG-1842 Fix byte buffer handling for pending messages"

Merge "BUG-1393 Fix ignoring module based capabilities in sal-netconf-connector"

Merge "Bug 1726 : Adding test-case to check Install Snapshot functionality is handled correctly"

BUG-1933: consult state in subtree modified path

resolveSubtreeChangeEvent() was missing a state.needsProcessing() check,
which means change resolution continued down that path eventhough no
listeners were subscribed to it. Add the check and return with a true if
we terminate early.

Change-Id: I7d386f3abd67c1a241ad88b5809236598dc967dd
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG 1659 - non unified returning data default format

Returning value (errors and data) will be by default in JSON format

Change-Id: I65368da31b1364c3e8153d39ab66e1fd8ecc49d3
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug-1928:TestDriver, fix stop and reinstateNode

Change-Id: I115da9b5b32b3e1a71f04bc2185df1d15e1ac205
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "Bug 1808: Don't deserialize IPv4 payload in non-first fragments."

Merge "Bug 1805: Fixed 2 bugs in ICMP.computeChecksum()."

Bug 1726 : Adding test-case to check Install Snapshot functionality is handled correctly

Change-Id: Ia130d690f5009a8252e8e78a76e60479ea4fcc1f
Signed-off-by: Debolina Bandyopadhyay <dbandyop@cisco.com>

Bug 1926: fixed features/mdsal/pom.xml dependencies

Change-Id: I40fad4d7140d9c6ebaf60c23bbdb4ac8f7767a40
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG-1759: SET_NW_TOS action values"

Merge "Bug 1894: Add LISP configuration options to etc/custom.properties in Karaf"

BUG-1759: SET_NW_TOS action values

- changed adapters in sal-compatibility to switch:
  - AD-SAL to MD-SAL = DSCP to TOS (no ENC present)
  - MD-SAL to AD-SAL = TOS to DSCP (ENC destroyed)

Change-Id: Ie4954f4c76fc19e70f27a41df0a1a65907acade4
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug 1904: Handle null ThreadExecutorStatsMXBeanImpl in ShardStats"

bug 1888 - FRM Flow Listener registration fail

* sometimes BindingAware doesn't load codec, so FRM try to register listener 5x and after rise IllegalStateException
system needs to start again.

Change-Id: I47def2f4ebd6605eb00942ed56f762cb7465592e
Signed-off-by: Vaclav Demcak <vdemcak@cisco.com>
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Merge "Bug 1892 - Karaf setenv should use '=' instead of '=='"

BUG-1393 Fix ignoring module based capabilities in sal-netconf-connector

If a capability for yang module was advertised without revision, it was ignored.

Change-Id: I7b6db7efdbec02c2bea3771f39e1d0e81cf9783d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1842 Fix byte buffer handling for pending messages

Change-Id: I54cd873e12d73779e20be280226480d090d9e8c5
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Bug-1829:Commit index of follower not changed after Snapshot applied on recovery."

Bug 1876 - Added missing parent tag to pom files

    Some pom files were missing the parent tag even
    though they were still referenced from a parent
    pom file in terms of building.

    By adding a logical parent pom reference in
    we are able to inherit properties, specifically
    the distributionManagement tag (which should
    not be defined in every tag pom).

Change-Id: I812bb3377bdb3a74ccded4d73639b465ffcc688c
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Merge "Bug 1875 - Used variables for nexusproxy host, externalized versions"

Bug 1817 - Have the md-sal-broker feature reference the yangmodels feature (which are core yangs)

Change-Id: I771d78b7d03d2b8c45fcf2c00c9701bed7e034e4
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Merge "Bug 1819 - Moved bundle up in features.xml to avoid exception in log   Change-Id: Icbd3d8957d38ca74797c11f2c60683fa017c3246 Signed-off-by: Devin Avery <devin.avery@brocade.com>"

Bug-1829:Commit index of follower not changed after Snapshot applied on recovery.

Change-Id: Id2e30f6756e5d71886ddb8ab3f3b095f03352b0a
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>

Merge "BUG 1883 - Ensure that all debug logging is done conditionally"

Merge "Bug 1688: Fix IllegalStateEx from FlowCapableTopologyExporter"

BUG 1883 - Ensure that all debug logging is done conditionally

This commit is mostly about conditional logging.

It also sneaks in a couple of other things,
1. Cleanup of ClientRequestTracker
2. Removal of some dead code

Change-Id: I0862f1273e94856e19107d3a4beec4d66452787d
Signed-off-by: Moiz Raja <moraja@cisco.com>
Signed-off-by: Harman Singh <harmasin@cisco.com>

Merge "Bug 1804: the condition was not working correctly to report leader"

Bug 1850 - The earlier patch missed out on removing the unnecessary
call to INeutronLoadBalancerPoolMemberCRUD. This cleans that up.

Change-Id: I3aeb163e334a527a66d7752b53f4e6837e1ef56a
Signed-off-by: Srini Seetharaman <srini.seetharaman@gmail.com>

Merge "Bug#1854 - Exit command in console causing OOM."

Bug 1804: the condition was not working correctly to report leader

Change-Id: Ie9b4d76f2cf623ecc17e17e3e64e6fe6a98c05be
Signed-off-by: Harman Singh <harmasin@cisco.com>

Bug 1894: Add LISP configuration options to etc/custom.properties in Karaf

Change-Id: I671cdeb71a87144c9acd08cacc7b44b335ea8cf9
Signed-off-by: Lorand Jakab <lojakab@cisco.com>

Bug 1892 - Karaf setenv should use '=' instead of '=='

Brings us inline with what hte karaf scripts do and therefore
both karaf and set env script will be compatible.

Change-Id: I98b1e82080b64d785801a6b3f2953ac95dd226be
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Bug#1854 - Exit command in console causing OOM.

Change-Id: I20606d7918b730c6b3d7e77a85227bc6a87a59b0
Signed-off-by: Sharon Aicler <saichler@cisco.com>

Merge "Bug-1828 - Raft apply state missing index log should be of type warn and not error"

Merge "Bug-1830:Move install snapshot messages from akka-raft to sal-commons"

Merge "BUG 1853 : Clustered Data Store causes Out of Memory"

Bug 1819 - Moved bundle up in features.xml to avoid exception in log

Change-Id: Icbd3d8957d38ca74797c11f2c60683fa017c3246
Signed-off-by: Devin Avery <devin.avery@brocade.com>

Merge "BUG-1871: FRM rpc register path (nodeIdent)"

Bug 1875 - Used variables for nexusproxy host, externalized versions

Replaced hardcoded urls to nexus repository with variables.

Change-Id: I168783cd8ffed057ebca030dae04fc682f9cd0af
Signed-off-by: Devin Avery <devin.avery@brocade.com>

BUG-1871: FRM rpc register path (nodeIdent)

- removed FlowCapableNode from the end of provider lookup identifier

Change-Id: I7939a1dd8f2bcef60c3ca18600350515985598c3
Signed-off-by: Michal Rehak <mirehak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: use SameThreadExecutor for commits

Profiling has shown that the cost of performing a forced context switch
in execution path of the data store leads to ~2x performance
degradation (23600 vs. 40000 ops/s), with average of 20 runs:

InMemoryDataStoreWithExecutorServiceBenchmark:                     total      stddev
write100KSingleNodeWithOneInnerItemInCommitPerWriteBenchmark    4227.384 ms   61.172
write100KSingleNodeWithOneInnerItemInOneCommitBenchmark          286.954 ms   14.350
write10KSingleNodeWithTenInnerItemsInCommitPerWriteBenchmark     364.004 ms   12.687
write10KSingleNodeWithTenInnerItemsInOneCommitBenchmark           17.936 ms    0.883
write50KSingleNodeWithTwoInnerItemsInCommitPerWriteBenchmark    1979.140 ms   56.529
write50KSingleNodeWithTwoInnerItemsInOneCommitBenchmark          136.749 ms    6.402

InMemoryDataStoreWithSameThreadedExecutorBenchmark:                total      stddev
write100KSingleNodeWithOneInnerItemInCommitPerWriteBenchmark    2475.137 ms  220.396
write100KSingleNodeWithOneInnerItemInOneCommitBenchmark          267.298 ms    7.063
write10KSingleNodeWithTenInnerItemsInCommitPerWriteBenchmark     180.537 ms    1.337
write10KSingleNodeWithTenInnerItemsInOneCommitBenchmark           19.582 ms    0.200
write50KSingleNodeWithTwoInnerItemsInCommitPerWriteBenchmark    1127.771 ms   87.438
write50KSingleNodeWithTwoInnerItemsInOneCommitBenchmark          134.401 ms    2.110

The analysis is that the underlying component (yang-data-impl's
DataTree) can process operations at a rate exceeding 30K ops/s,
obviously depending on size, which means a transaction is completed
every ~35 microseconds. When we factor in the fact that there is at most
one transaction issued at a particular moment (due to ordering/conflict
resolution), the ill effects of forced context switches become very much
pronounced.

This patch switches the executor service to SameThreadExecutor, which
foregoes queueing and executes the task on the submitting thread (which
is the datastore coordinator thread, not some user thread).

The option to switch the executor service is left intact, but may be
removed in future pending further benchmarks.

Change-Id: Ic1c4c0b1b80aa77c2d85810736bdc370a465eee8
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: allow executor stats to work with other executors

Instead of requiring a threadpool-backed executor, we make the
constructor private and introduce a static factory method.

Change-Id: I904b90a16d3664341e32cb0d982299fca3205f0d
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: use an EnumMap for datastore map

EnumMap has better performance characteristics than immutable map -- so
let's use it.

Change-Id: Ib15be015f38841469bccee8c8a1f19266897a5de
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-865: TransactionCommitDeadlockException safety

This patch fixes safety (public non-constant field) and improves
performance by using a shared RpcError instances. Also moves over to use
a Supplier instead of a Function.

Change-Id: Id9d269fe9be6dacea3c216d4ad76efa79bdb27f0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Activate findbugs sonar profile"