BUG 2185 : Make the Custom Raft Policy externally configurable

A class which implements RaftPolicy needs to be set
to customize the behavior. I am hoping that this will be a barrier
to people unintentionally breaking the default raft policy as
they would need to know the internals of clustering in order to
supply a valid class.

I added two configurable raft policy classes for the two known
use cases,

- org.opendaylight.controller.cluster.datastore.policy.TestOnlyRaftPolicy
- org.opendaylight.controller.cluster.datastore.policy.TwoNodeClusterRaftPolicy.

Change-Id: Ic3cc2f27754c37e85c3be8a863764fc88ec84399
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 1ef2f7321202ef77b5cfd0ca430e6a58cb07331e)

features-config is missing scope=test

opendaylight-karaf-empty is used only in tests, hence the dependency
should have a proper scope.

Change-Id: I54b7c84c4c732d63c49b251b960c511711470bbc
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 2461 : Adding capture snapshot JMX operation.

Also, updated Snapshot manager code, which may throw null pointer exception, if last log entry is null

Change-Id: I4363a3da38af99a4193b8ad2b1c0a5cbaf714a32
Signed-off-by: Harman Singh <harmasin@cisco.com>

BUG 4212 : Follower should not reschedule election timeout in certain cases.

Before:
Follower rescheduled election whenever it received any message

Now:
Followe reschedules election only if
    - The message received is a RaftRPC message
    - If the RaftRPC message is a RequestVote then only reschedule
      if vote is granted

Change-Id: Ia59c65e4896d72dfc49e86e59b6a9e9331a945ca
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit bf63fbc347b7cf055e22c3711f22af9d286c6281)

BUG 4213 : Candidate should switch to Follower when it receives AppendEntries from new Leader

Multiple peers might become candidates in a single election term. If one peer happened
to become a Leader it will send AppendEntries to all it's peers. When a Candidate receives
an AppendEntries and finds its term to be the same as the AppendEntries term then it should
switch to Follower.

Change-Id: Ia4ce41d4f3eefed50297b90107ad7429bb950ad8
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 6b66fc7266ea909427b612da16a587936890b77b)

Moved non MD-SAL models outside of MD-SAL folder

This is just simple file movement without changing
group-ids and packages to better reflect their use.

This models are general purpose and are not part of MD-SAL,
but rather used on top of MD-SAL.

Change-Id: I4ed842ae878e5470ac16348a4f7e92231ae67f8e
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Switched model-parent to use binding-parent.

model-parent originaly used sal-parent which did not contained
sections necessary for model-only packages.

Switched to binding-parent, which actually simplifies pom
file.

Change-Id: I2efea28799dfbd541b2b12468a6aec3472dbb240
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Add missing odl-config-netty feature into odl-netconf-mdsal

Change-Id: I6a37e285f9fd74b24123830634a33dbcdfad3414
Signed-off-by: Tomas Cere <tcere@cisco.com>

Fix license header violations in controller

Change-Id: I78161e69d30773bb4d8e7943316cd988e1a7b81b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add missing messagebus-netconf dependency

features-netconf-connector was missing messagebus-netconf dependency
and breaking downstream projects.

Change-Id: Ife784fde73e590add08fcdec9027cc1784327beb
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 4035: MD-SAL: Remove unused dependencies & declarations

After config-related code movement some of the dependencies
& declarations are unnecesary anymore, which actually
simplifies pom files for affected components.

Removed unused import of binding config in restconf.

Change-Id: I83dd04c5ac161f45d246abbbe896ddb66b066fef
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Remove unused MD-SAL utilities and interfaces.

This utilities & interfaces were deprecated before
Lithium or were describing internal contracts
of MD-SAL prior to Lithium, thus they are unneeded
in Beryllium.

None of removed classes is used in public Lithium
Opendaylight codebase.

Change-Id: Ie5f51cf3dc15f0f70efe3e51e0fe0d0c2b8da713
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Remove deprecated Hydrogen interfaces

This remove set of interfaces which
is safe to remove without breaking projects which did not
yet migrated from Hydrogen interfaces to Helium / Lithium one.

Also removes some related methods in such interfaces which
are unused in current public Beryllium codebase in
projects using MD-SAL.

Change-Id: I2ac67ead4ea4d9d97d0198d62910e667318dc03a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Fixed some sonar warnings in md.sal.binding.impl

Change-Id: I7b850b65a7bfc40ef757115ae37a031fa88bebeb
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Remove unused implementations from sal-common-impl

Removed  left-overs from Hydrogen and Helium which are
not used anymore in Lithium codebase and will be unnecessary
in Beryllium codebase.

Removed classes were never part of public API contracts
outside of MD-SAL.

Change-Id: I2d19373b270e539598fe31b7e493db494b017100
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Removed sal-common which is unused since Helium.

Change-Id: Ia6e15cc1e94fcf5794a56fbf61d260644dcb457b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Fixed some sonar / findbugs issues in DOM MD-SAL.

Change-Id: Id0ab9f65e4f1663f9e6cd85a6235a0a5fdee6f88
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Remove references to not present artefacts.

Change-Id: Id0308a4b544572df16bf01b1742eed60246dde54
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 4035: Extract dom-config from core-api and broker-impl

This patch introduces two new artefacts sal-dom-config
and sal-dom-broker-config which hosts all config subsystem
related MD-SAL DOM Broker implementation.

This patch is required for MD-SAL split in order to
not have cyclic dependency between controller and md-sal
project.

Change-Id: Ic93c583c07ae3e088dcf0e74cbdaaf627a8e79f6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Enabling Data Change Notifications for all nodes in cluster.

Two new interfaces are introduced ClusteredDataChangeListener and ClusteredDOMDataChangeListener and external applications will have to implement any of that interface,
if those applications want to listen to remote data change notifications.

Datastore registers listeners, which are instance of that interface, even on followers.

Change-Id: I0e29cdf2a08a2051de5fc8ce73b9ec8ac408e45b
Signed-off-by: Harman Singh <harmasin@cisco.com>

Removing missing features-base

Change-Id: I2b841e5ba388c5c676e9d4da0b11b65c426cb5c7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Removing the redundant configuration reader in the distributed datastore.
Having a common configuration reader in the clustering common for use
by both distributed datastore and remote rpc.

Change-Id: Id40295301d76dad40189fb45ffc2917260ba2925
Signed-off-by: kalaiselvik <Kalaiselvi_K@Dell.com>

CDS: Include CAN_COMMIT phase in rate limiter time period

I was testing with simulated latency in the followers. With a high enough
latency and tx thru-put, the pending commit queue in the
ShardCommitCoordinator got increasingly behind until latencies built up
enough to cause AskTimeoutExeption's on the front-end.

The rate limiter was throttling but not enough. I realized that the rate
limiter times the commit phase but not the canCommit phase. The latter is
what times out with pending tx's sitting in the queue waiting for canCommit.
So I changed ThreePhaseCommitCohortProxy to also time the canCommit
phase. This alleviated the timeouts - even with a really high max latency of
500 ms and 100 tx / sec client thru-put. The rate limiter thru-put
reduced it to about 3 / sec.

Change-Id: I6dc73d1d657519b9410ad034c69d26f19a0cb263
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 1783b656d3b1712c73c6596f3ae15e54e801d5e5)

Decouple message bus from netconf connector

Change-Id: I6a143e868adc1e5c7a9b114798e7009bb6ef8675
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Tomas Cere <tcere@cisco.com>

Decouple config and netconf subsystems.

Extract a common mapping for config pusher and config subsystem netconf
Add a ConfigPersisterFacade for XML that allows reads/writes from/to config
subsystem using XML format
Push notifications from YangStoreService to NetconfNotificationManager instead
of using custom listeners
Migrate netconf features from controller features, untangle features

Change-Id: I71e4ca6e0258e0b1f0d6c19119f93eb9d68b7bca
Signed-off-by: Tomas Cere <tcere@cisco.com>
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

CDS: Add stress test RPC to the cars model

For stress testing the CDS, I've been using an RPC that continuously
creates cars at a specified per second rate. I thought it might be
useful to submit it.

Change-Id: I33b9c2e304884b9541774a12ee248082de60f72e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit b6a63eea6eb164a0c925716ae398bf64b06958c3)

Fix license header violations in liblldp

Change-Id: Id95bd1cef35d256e79a3303c6559405364ae4ced
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in concepts

Change-Id: Ia575c2e64b4ce50990e0fadada34f257189c3370
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in mdsal-it-base

Change-Id: I87d699dbf60cccc3445664fc23650c155d5cb229
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-binding-dom-it

Change-Id: I542ab52fd8bdbedfee3e469c8672a7981340d153
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in messagebus

Change-Id: I3b5f5b3e96716552562498590988097c5d3c1308
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-remoterpc-connector

Change-Id: I25d95f37c1ddd238bb79d15e2bf3e2d07069f319
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-karaf-xsql

Change-Id: I756176da2ef6f617298ef1474a08ab3707b8c0d2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-dom-xsql

Change-Id: I4fbbbdf7c3aa280f20efe6ffe6c0a0571b6a38a0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-distributed-datastore

Change-Id: I519e80cb6329f752b6b533de067ea3fd6277bedf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-akka-raft

Change-Id: I03efdc517a21827e27ebdb359384c575f975ff4c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-clustering-commons

Change-Id: I1b76464cd875fdaaedeebc22cf35cae11714990d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-rest-docgen

Change-Id: I03c4b7ef9397224d649e9387ed895bca74672ec9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-netconf-connector

Change-Id: I8235e1cbe1ed7bce9d017276dd6d9f4fb26ead70
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-rest-connector

Change-Id: I2dfda9fe6b3185d20386cc9f6078c0b53f7be40b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in netconf

Change-Id: Ie5c541b03a342bec33257b13b985b89e9ca835a0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in config-it-base

Change-Id: Ida3d92c44afe0e8dd52e1ecc6c4130d6b81697eb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in config-persister-file-xml-adapter

Change-Id: I2b3bd61dedfb1d178754fe899acc4657e527daa5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in config-manager

Change-Id: I8144512cd8093fbcc0851de66490f866ec8bb7c4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in config-util

Change-Id: I0c6868425ca51d9b815b4e961316e4a009502374
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in toaster-provider

Change-Id: I90d2fe2487789796e173e116a81edda40e7a1385
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in toaster-consumer

Change-Id: Ib522fe2ed5a47fefaed18554badde343368f306d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-binding-broker

Change-Id: If6b75f466f97149ce4f0290135a754ca6cba1034
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-dom-broker

Change-Id: I78a5b836b7ea5053ede25a31e8a40319d365fe60
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-inmemory-datastore

Change-Id: I160d107a813c28ac75f1e5e21121068de9ccc7b8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-binding-api

Change-Id: I877608c114bf4479c760f5b5dafed5d100d12cf5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-dom-spi

Change-Id: I82f4796c933a6cec89950d4c474a0053637b2646
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-dom-api

Change-Id: I08a3d973bb56d6ee267576b691a32bfe27db6820
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-common-impl

Change-Id: I0702d7954d59f92ab62f6887a780db8a80f42ffa
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in sal-common-api

Change-Id: I58fdef120495514ef94f2e9681790786ba4e0841
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in yang-jmx-generator-plugin

Change-Id: Iac866a580e9d07e9f2614a7c5c25e91e755cb4ba
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix license header violations in config-api

Change-Id: I61723cf4794fbbc16549f06f284b8f1dacbce588
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Clean up pom.xml file

- Remove unnecessary commented code

Change-Id: Id4ceca0174ba5883059c52cbcee11aafb67c74ea
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix akka logging initialization timeout on startup

We've seen CDS internittently failing to startup b/c akka fails to
initialize its logging system - it times out after 5 sec. It seems
on startup threads may be busy enough to prevent akka's message
to inialize the logging actor to timeout. Interestingly, We're only
seeing this on RedHat. The timeout is configured via
logger-startup-timeout which defaults to 5 sec. Increasing it fixes
the issue. I made it really high, 5 min, since if it times out we're
dead in the water anyway.

Change-Id: Ic95d7298b9320f03f664e9f2b171f980546ca95d
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 94c2eb2becdb561032e62a2897b15f52bd8e3643)

Separation of ARP Responder from config.ini. It is an l3.fwd associated feature enabled by default

Change-Id: Ie29a751bcb372ef2f3dfd6b8f5e3ca7531359310
Signed-off-by: evvy <dhiraviam.natarajan@gmail.com>

Small fix to IT in startup archetype.

Change-Id: I3407e23af6228bbe7d881f9b9884e698186f533e
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Add yangui to -ui features in startup archetype.

Change-Id: Iaf3fb8d5c92615c97e65ae572affeea5094ee472
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Changes to startup archetype to incorporate IT testing

Note: The onSessionInitiated unit test can't every really work in a
realistic system because of the absence of an MD-SAL to work with,
thus its deleted so people can build real MD-SAL based Providers.

Change-Id: Ie635752b6e2eec8ce1c65b737871be8c0b6bd870
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Base projects and parents for IT tests.

This provides a very very simple working basis for IT tests.

Change-Id: I16fae750c32ffe6fce356c8036b6d74988aa4f99
Signed-off-by: Ed Warnicke <eaw@cisco.com>
Signed-off-by: Ed Warnicke <hagbard@gmail.com>

Fix AppendEntry logic when prevLogIndex and prevLogTerm is -1

When an AppendEntry arrives at a Follower with the prevLogIndex and
prevLogTerm = -1 the Follower will accept that append entry and add it
to the log. For a newly started Follower this can be problematic
because this will be the first entry in that Followers log and so
applying this entry to the Follower's state can end up corrupting the
state or cause failures in committing transactions.

To fix this we now verify if the replicatedToAllIndex is present in the
Followers log. If it is present then the log is considered in sync else
not.

Change-Id: I09bead430f1a4556182263de54846792668cd27c
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 0efdc8e538815024cc54955be0b55ebec0321be6)

BUG 2185 : Introduce RaftPolicy & DefaultRaftPolicy

These allow for simple customization of the Raft algorithm. The intention is
to support the 2-Node clustering scenario in which leaders for a Shard will need
to be specified externally and where weak(er) consistency may be considered ok

Change-Id: I16bc69a67ac3096082324f11e62565a7b9d7cc57
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit 0717961816253536d0ca107f4094de7f00c1ee54)

Bug 4035: Invert dependency binding-impl -> binding-config

Dependency between sal-binding-broker-impl and sal-binding-config
was inverted in order to ease split-off and to provide config
wiring outside of implementation.

This is required for separation of MD-SAL Binding implementation
into MD-SAL Project.

Change-Id: Id18567b2c51045461ed12500fe5cb2f324f55b0c
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Expose default module instances into OSGi

Default modules are now registered as services in config subsystem thus making
them available in the OSGi service registry.

Change-Id: I2a3b85ea6aab0d9c98d0b5dfb5b8efd392292042
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add config subsystem binding to netconf-auth API

Change-Id: Ie04d9a7cb72bfcbeae6c7ca7dc0dbb2bdeadef0d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 2358 - Remove tests cnsn to json and add tests nn to json

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnToJsonNotExistingLeafTypeTest.java test
* add NnToJsonNotExistingLeafTypeTest.java to nn/to/json/test/
  * test with not existing leaf type

Change-Id: Id7a1256b42a3a754e13343613dcad7059a2316c4
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit 1fa839d51563b9588bf7502e86a5e9c2425fab2f)

Bug 2358 - Remove tests cnsn to json and add tests nn to json

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnToJsonWithAugmentTest test
* add NnToJsonWithAugmentTest to nn/to/json/test/
  * positive test for test augmented elements

Change-Id: I4c8b92e828ade1d43a5af5384ec7938854fda9ce
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit 6b97753fc17bb2d9d73047038105754fcebe029d)

Bug 2358 - Remove tests json to cnsn and add tests json to nn

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove all tests json to composite node and simple node
* rewrite json leafref input tests from comp and simple node to normalized node
  * we're testing REST provider URI path translator with payload
* add test for test data in json with identityref to normalized node
  * positive test
  * test data in builded normalized node with data in json
    * used identityref type to reference an existing identity
* add test for test data in json with leafref to normalized node
  * positive test
  * test data in builded normalized node with data in json
    * used leafref type to reference particular leaf instance in the data tree
* add test for test data in json with more type of nodes and values
  * positive tests
    * test normalized node from json with:
      * simple data in list
      * simple data in container
      * multiple items in leaf-list
      * multiple items in list
      * empty leaf
      * augmented data
  * negative tests
    * test fail on bad top level elements
      * contains 3 situations
    * test fail for null data
      * empty leaf-list
      * leaf without any value
    * test on build normalized node with blank json
    * test fail with different namespaces
    * test fail because of unsupported format of json
    * test on invalid URI character

Change-Id: Icb5ff5d11843123c79859a0c75d7df7bad8a0b44
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit a3fd2b66c8121a8603d684b97c1fb7076d933d99)

CLEANUP : Fix javadoc warnings in sal-akka-raft code

Change-Id: Id26cdcac3c4bc7f998483e4078cd1891d0783e8d
Signed-off-by: Moiz Raja <moraja@cisco.com>
(cherry picked from commit a6db8d8fcb55e6b9a7a2102c9ec0b7e8ba752b50)

Fixed wrong format in ShardedDOMDataTree

Change-Id: Ie32ff9ad72e4bbae9a5ef1290ff63d5780c92313
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Remove deprecated constructors from RemoteDeviceId

Change-Id: I26d48930a16213d2264de964f60103e67f80b9bd
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Improve performance of notification emitting in netconf testtool

- pre-parse all notifications beforehand
- remove unwanted outputs

Change-Id: I6dd823786fd0d5f9ab04943633f8aa3b61a540e8
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 7392728edfe0b150833c7af47c3bc8d4b0ce101a)

Improve performance of netconf notification processing

Couple of minor performance fixes e.g:
- create QName without revision when not needed
- delete unnecessary logs
- parse event time using QName.parseRevision

Change-Id: Ic099e40fb5fdb7001af946e5f3e053911e54053f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>
(cherry picked from commit 07797c1f8e35731ca7dce1d4524f669a171b731e)

Bug 3887 - Autogenerated API documentation doesn't show application/xml
as an option for RPC operations

* added xml input option for rpcs, put and post methods

Change-Id: I1f73bcb7d1127e4b4324d779aec40907ca627073
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit e57d9461b79dedd8ef9edf8f249b066540fd0e9d)

BUG-3963 Remove netconf-usermanager

This way of authentication relied on AD-SAL and thats deprecated/removed now
from ODL.

Change-Id: I0daeee09ff88b1c4677206c1b7216e972d34f01c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-2652: Remove inventory related code from netconf connector

Also removed unused BundleContext fields since registerProvider
method does not use BundleContext anymore.

Change-Id: Ia5bc5b7148a981b5a132676dd78bc351b637d9d1
Signed-off-by: Tomas Cere <tcere@cisco.com>

Bug 1500 - Null pointer exception when using mounted resources tab to
see the operations on mount point

* added check for when revision is null in modules comparator

Change-Id: I3bdc4ed798297d31ea25001d25918e298c8124bb
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

BUG-3878 Prevent null pointer in nc for unresolved addresses

Unresolved address is not a reason for config pusher failure. Use host string
instead of resolved address string representation.

Change-Id: Ieba345077860cd55325ca49980c3fb9edd66051c
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

CDS: Changes to Tx abort in Shard

I noticed when a tx times out on the front-end during CAN_COMMIT, it
tries to abort the tx but it may not get aborted in the Shard and the
front-end gets an AskTimeoutEx on the abort. The reason is that the
Shard only processes the abort request if the tx is the current tx being
committed. If it isn't, the request is ignored and no response is sent,
resulting in the front-end timeout.

I think it makes sense to also process the abort if the tx is sitting in
the queue awaiting CAN_COMMIT. If the front-end says to abort for any
reason, the Shard should honor it. Also, if it isn't aborted, the Shard
may dequeue it sometime later and attempt to commit it which can lead to
unpredictable results if prior commits failed.

As per the comments in the Helium patch, I did some re-factoring to make
it a bit cleaner. I moved the abort code from the Shard to the
ShardCommitCoordinator. This makes it consistent with the other tx
phases where the Shard mostly delegates to the ShardCommitCoordinator. I
also removed the getCohort method from CohortEntry and added appropriate
methods so the internal cohort instance isn't exposed.

There's more refactoring/cleanup that can be done re: Futures and also
moving CohortEntry into its own class (it's large enough) but I don't
want to overload this patch.

Change-Id: I73c79a5e4a2b39b7ee4d97a011de2d29b050dbc4
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 70e0f223f41ab77de24b6df940d12acd39279e9a)

CDS: Retry remote front-end transactions on AskTimeoutException

With the front-end PrimaryShardInfo cache, if the cached primary/leader
shard is remote and unavailable, the RemoteTransactionContextSupport
will fail with an AskTimeoutException when it tries to send the
CreateTransaction message. Since it can take at least 1 election timeout
period to re-elect a new leader, I changed RemoteTransactionContextSupport
to also retry on AskTimeoutException (it already retries on
NoShardLeaderException). However instead of re-sending the
CreateTransaction message, as it did before, it now re-sends the
FindPrimary message to get a new primary shard actor.

I also modified how RemoteTransactionContextSupport retries. It will now
retry for a total period of 2 times the shard election timeout which
should be ample time for a re-election to occur. If no leader is found then
the txn will fail.

I also added a ShardLeaderNotRespondingException which the
RemoteTransactionContextSupport will throw if it ends up with an
AskTimeoutException after the tx creation timeout period. This shouldn't
occur normally as, with the retries, it should get a NoShardLeaderException
even if the initial error was AskTimeoutException. But it's possible to
end up with an AskTimeoutException, eg if the system is overloaded and
the election timeout is delayed.

During testing, I noticed that if you take down the 2 followers and try
a transaction, it fails with an AskTimeoutEx instead of
NoShardLeaderException as one would expect. This is b/c the leader
changes to an isolated leader. So I changed the Shardanager to return
NoShardLeaderException if the state is IsolatedLeader.

Change-Id: I3efd3f841cf41b7738aedb694fa18b44851b3074
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 845609758d1739ee07d5ca92f5448e18a8933861)

CDS: Real snapshot log trimming changes

Bug 2692 changed real snapshotting to trim the in-memory log based on
the current replicatedToAllIndex for the normal case when all follower's
are up and "fake" snapshotting is advancing replicatedToAllIndex.

When a follower is down, real snapshots don't trim the log b/c
replicatedToAllIndex isn't advancing unless the memory threshold is
exceeded. So it will let the in-memory log keep growing past the
snapshot batch count. This sort of defeats the purpose of snapshotting,
ie to keep the journal size in check both on disk and in memory. It's
also a bit dangerous - it can chew up a lot of memory and starve the
rest of the system and cause large STW GC's once the follower comes
back up and the log is cleared. This can also cause multiple snapshots
in the follower once it comes back and catches up - eg, if it's behind
60K entries, it will snapshot after each 20K batch in quick succession.

To alleviate the potential excessive memory growth, in addition to
trimming the log from the captured lastAppliedIndex if the log memory
size threshold is exceeded, I changed the code to do the same if the log
size exceeds the snapshot batch count. So if a follower is down long
enough to exceed the snapshot batch count, the leader will install a
single snapshot to catch up the follower. Otherwise, the follower will
be caught up via AppendEntries.

I also noticed that if snapshot tries happen in quick succession, a
second attempt may be tried prematurely while the previous one is in
the PERSISTING state. This is b/c isCapturing() returns false in the
PERSISTING state. The state machine prevents another capture from
actually initiating b/c only the IDLE state implements capture but I
think to be clean we should disallow it by returning true from
isCapturing() in the PERSISTING state. This avoids state violations
during valid workflows (it's not invalid to attempt a capture while
another is in progress). Therefore, since every state now returns true
for isCapturing() except IDLE, I made true the default in
AbstractSnapshotState so only IDLE overrides it.

I added more end-to-end test cases to
ReplicationAndSnapshotsWithLaggingFollowerIntegrationTest to cover
leader snapshots where the log size exceeds the snapshotBatchCount,
where the memory threshold is exceeded and where neither of the first
2 conditions are met and the log is effectively not trimmed. The former
2 cases trim the log to last applied and result in a snapshot installed on
the follower once it's resumed. The latter case results in the leader
catching up the follower via AppendEntries.

Change-Id: Iaec9ba94232a17d6fa7b192c31c431b328e3d22e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 7a992a25fa34c6ce4a1d52919f7aa71dd1d20060)

Add netconf-mapping-api test for HandlingPriority

Change-Id: I29a6fdaab266acd42c5355101769bb82c14135fc
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add discardChanges branch to unit test

Add service instance deletion to NetconfMappingTest

Change-Id: I25d1ebefde86050c42a2d43ec445feaf8d5889de
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add netconf-cli and netconf-testtool to sonar exclusions.

Change-Id: Ibdaf3eada4828c8120c1c280fc2f326c9d0173ef
Signed-off-by: Tomas Cere <tcere@cisco.com>

Add controller default JVM options

Maven 3.3.1 has a new feature which lets us configure default
commandline options per project. This patch takes advantage of the new
feature so that Controller devs using the Maven 3.3.1+ no longer have
to export MAVEN_OPTS.

http://blog.soebes.de/blog/2015/03/17/apache-maven-3-dot-3-1-features/

Change-Id: Ic42840b5778bd8a421997f6e22df4a74f56210f7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove yang-data-operations dependencies

Not used anymore

Change-Id: I692bdbc00efb38bb29d7f5c18ca042bc10eeb11f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

CDS: Add pending tx queue size to ShardStats

To aid debugging, I added the pending commit queue size of the
ShardCommitCoordinator to the ShardStats bean.

Change-Id: I2af3493eb5dd54f9f9406b0a005d66be004c12ff
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 5fc8785d919cd3cad92036b1add1a7fdd25bf715)

Bug 3195: Cleanup on error paths and error handling

Modified ShardCommitCoordinator#handleBatchedModifications to remove the
cohortEntry from the cache if the total messages sent doesn't match the
total received.

With recent yangtools changes, write and merge on a DOM tx can throw
unchecked exceptions if he data is invalid. Modified the front-end
local tx path to catch unchecked exceptions in LocalTransactionContext
and propagate to the LocalThreePhaseCommit to immediately fail the
ready.

Similarly modified ShardCommitCoordinator#handleBatchedModifications to
handle unchecked exceptions from applied operations and propagate when
the tx is readied.

Added unit tests to cover these cases.

Also, modified LocalTransactionContext#readyTransaction to handle
unchecked exceptions from the DOM tx ready.

Change-Id: Ib6fe6e04b8626bf996cfabfe74da780f05ce838a
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit 3cd149e98ed5260b46006ff474bebe96f198756f)

CDS: Change operationTimeout units to millis

For upcoming changes, I'll need to be able to set the operationTimeout
in millis for unit tests.

Change-Id: I7463a9b2e20db2b678e23a94cafd768db3ac099e
Signed-off-by: Tom Pantelis <tpanteli@brocade.com>
(cherry picked from commit f428caf33164fedd3dbfe06aad4814c06913e883)

Bug 868 - Continuous: remove deprecated APIs

* removed deprecated API from Bug3595Test

Change-Id: Ic8f987aeb000cfb150286ad44e478771e8a52384
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>
(cherry picked from commit e1b79358817f1202c50f7410b92746b0777d0642)

Bug 2358 - Remove tests cnsn to json and add tests nn to json

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* add test NnToJsonLeafrefType to nn/to/json/test
  * positive tests of leafref
    * absolut path
    * relative path
    * leafref to not leaf
    * from leaflist to leaf
    * from leafref to leafref
  * negative tests of leafref
    * non existing Leaf

Change-Id: I652204071d874d6c7a2a65e100dd68c16a12af8f
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit 1f4b4062cbdd0cfadcf61e60bce9ee9e951c975c)

Bug 2358 - Remove tests cnsn to json and add tests nn to json

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnJsonChoiceCaseTest test
* add NnJsonChoiceCaseTest to nn/to/json/test/
  * positive and negative tests for choice statement

Change-Id: I83d351bf0de9bb4a1c649c5851209ae472aaaa24
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit 33657892ea175d459184732b0fbc08eb7589e787)

Bug 2358 - Fix resources for tests nn to json

yang's namespace fix

Change-Id: I4b31cde6d9dc56b8298877b50c21a551c39f645f
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit de2844c54550a5a10f510e2c90fd14f8b8aa303c)

Bug 2358 - Remove tests cnsn to xml and add tests nn to xml

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnToXmlWithDataFromSeveralModulesTest test
* add NnToXmlWithDataFromSeveralModulesTest to nn/to/xml/test/
  * positive test for test more modules

Change-Id: I4f4eea89487e946b0a4a7edd75423d6bf551bd20
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit adc820f5aaa84b67f08b76982b74c4f790c9ba7c)

Bug 2358 - Remove tests cnsn to xml and add tests nn to xml

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnInstanceIdentifierToXmlTest test
* add NnInstanceIdentifierToXmlTest to nn/to/xml/test/
  * positive test for instance identifier

Change-Id: Iceb73ed4d96f7686fca04047524716532297a2f8
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit 6c0c438071d2e85ef2f08070935cb310165f25cf)

Bug 2358 - Remove tests cnsn to xml and add tests nn to xml

Tests of codecs are included in codecs yangtools yang-data-codec-gson and yang-data-impl but
we test codec on input data and also with presentation of Rest path.

* remove CnSnToXmlTest test
* add NnToXmlTest to nn/to/xml/test/
  * positive tests for basic data types

Change-Id: Iac408dc8ce25c8d9c46a21863733b30390ea8c34
Signed-off-by: Jakub Toth <jatoth@cisco.com>
(cherry picked from commit bec0511bd378c069a2f51545736064a9821e44a7)