Implement DistributedDataStore#registerDataChangeListener

Change-Id: I153c76b923dff7845321699d556f30f2ecadec57
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement commiting of data

- Implement ThreePhaseCommitCohort Actor
- Implement a BasicIntegrationTest to test out using a Shard upto committing
- Make modifications in Shard, ShardTransaction, ShardTransactionChain to make the flow work

Change-Id: I4eff32833c09d89f81753db29ea38ac26b9dfbf6
Signed-off-by: Moiz Raja <moraja@cisco.com>

Merge "Ensure that modifications are tracked by ShardTransaction"

Merge "Introducing the Modification classses"

Merge "Implement finding a primary based on the shard name and do basic wiring of DistributedDataStore and ShardManager"

Merge "Fixing issue with failing to remove 02-clustering.xml"

Merge "Partial fix for Bug 1256"

Fixing issue with failing to remove 02-clustering.xml

https://git.opendaylight.org/gerrit/#/c/8304/
removed the antiquated remoterpc stuff, but
failed to remove the 02-clustering.xml file.

Change-Id: I4b20ee620821ee945fd51b3d37eb7c24b491a0bd
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Remove remoterpc dead code."

Merge "Bug:1252 - Fix formatting errors in config code generator"

Merge "BUG-944 Remove backwards compatibility config from sal-netconf- connector."

Merge "Bug:1253 - Fix NPE in config pusher"

BUG-874 Add none default operation to delete requests (netconf-connector)

Delete requests now contain <default-operation>none</default-operation> tag to prevent modification of the data tree on remote device when deleting nested nodes.

Change-Id: Id5cb7945b6845d6ccea7ef71a07d914cdf5f2ed9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-874 Remove rolback cabaility advertised by config netconf

The rollback on error option is not supported by the netconf server endpoint for config subsystem therefore it cannot advertise rollback on error capability.
If it is present in message, the rpc will fail.

Change-Id: If32113aa77d9ef5d614b143741d1d04fbdc0d22d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Partial fix for Bug 1256

Patch 0e12a849d33ae3ca3d1a8e2e281e6eac2cc13373 introduced a test for data normalization
that contained comparators for two kinds of nodes (LegacyNodeData) and (Node<?>) that
provided only a partial ordering of nodes and also failed to obey the semantics of
comparators when it comes to equality.

The result is that several tests were not fully specified and while the appear to run
correctly on Windows and Linux, on recent MacOS versions the ambiguity caused the tests
to fail.

This patch fixes the problem as long as only SimpleNodes and CompositeNodes are used.

Change-Id: If5175025fb97e7b8ddb799b27ad7ae9b5026172d
Signed-off-by: Colin Dixon <colin@colindixon.com>

Merge "ArpHandler to send ARP reply on proper vlan"

ArpHandler to send ARP reply on proper vlan

- Recently ARPHandler has been enhanced to process ARP request received on vlans.
  This further enhancement is for the respective controller generated ARP reply
  to be sent out on the proper vlan.

Change-Id: Ib8e26901f625677ad59302dfd09add4719b7b02d
Signed-off-by: Alessandro Boch <aboch@cisco.com>

BUG-835 + BUG-1234 logical nodeConnection names

- fixed logical nodeConnection names
- added description property to adNode
- added error logging

Change-Id: Idfe5db5f50315f9d4cfde4b9d33e5d559a879b95
Signed-off-by: Michal Rehak <mirehak@cisco.com>
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Enhancements for hosts behing trunks

- Allow to skip dot1Q if present
- Allow to dispatch only to container if there is a match else pass to default

Change-Id: I58c0a11e0e499f2f531f72b803863cf8f996867f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Merge "Bug 1245: Dropped Binding prefix from Binding Data APIs."

Merge "Bug 1227: Removed #close() from Write Transactions."

Bug 484 - Anyxml in sal-rest-connector

- RestconfImpl: handled AnyXmlSchemaNode

- JsonMapper: handled AnyXmlSchemaNode

- CnSnToJsonBasicDataTypesTest: added test cases for anyxml.

This commit depends (therefore is commited as draft) on commits:
- Add Anyxml normalized node to yang-data-api -
https://git.opendaylight.org/gerrit/#/c/7771/1
- Implementation of Anyxml builder -
  https://git.opendaylight.org/gerrit/#/c/8061/

Change-Id: Ib3da88cc6af96d98d139f7c1bbc94408ef9e814d
Signed-off-by: tpantelis <tpanteli@brocade.com>
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug:1252 - Fix formatting errors in config code generator

Fix intendation and double semicolons in yang-jmx-generator-plugin.

Change-Id: I77ad31eaa62a41d0149f57754f5ec727e07ad292
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "AD-SAL: Filter packet-in based on container flow"

Bug:1253 - Fix NPE in config pusher

Add better error message when ConfigSnapshotHolder contract is voilated.
Fix
org.opendaylight.controller.config.persist.storage.file.xml.model.ConfigSnapshot
to return empty set instead of null in getCapabilities()

Change-Id: I9783cccbe53ae69e322e1d5660ad1f3b52b007fa
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

AD-SAL: Filter packet-in based on container flow

- In AD-SAL openflow plugin incoming packets are delivered
  to listeners in respective container only based on incoming port.
- This patch enforces the container flow filtering logic as well

Change-Id: I6a23b114712e63b8ffb18c173bbbaad5fb7634bd
Signed-off-by: Alessandro Boch <aboch@cisco.com>

BUG-835 Reserve ports should be logical ports - part2

- fixed unit tests

Change-Id: I10bd053fb70c5dfe198d171202b0a7bd7f70ef06
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge "Bug-835:Reserve ports should be logical ports"

Merge "Adding tunnel ipv4 src/dst flow-base model augmentations"

Bug 1227: Removed #close() from Write Transactions.

Termination of write transactions was unclear due
to several terminal methods such as commit, cancel
and close.

Close was removed from write transactions and is only
available for read-only transactions.

Termination methods for write transactions are close
 and commit.

Introduced new interfaces for ReadOnly transactions
to clearly distinguish between read capability
of transaction and read-only semantic (which has
close method).

Change-Id: I74b3fd2066a55160da3b674156fc0dc54ba14a67
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1234 nodeType/ID in adaptors"

Ensure that modifications are tracked by ShardTransaction

As modifications are made on a ShardTransaction they are applied to the transaction object that ShardTransaction wraps
However the modifications also need to be tracked. This tracking would be used ultimately by the Shard when persisting data.

Change-Id: I4bb76699d251dbdc786416313479f0e6b31962e1
Signed-off-by: Moiz Raja <moraja@cisco.com>

Introducing the Modification classses

The purpose of these classes is to capture all modifications are done on a transaction.

The reason for capturing these modifications is so that we can persist them to the transaction journal

When a member is restarted or a shard is restarted the "Modifications" will be read from the log and replayed
on the Shard at which point the Shard can create a new transaction and apply it to the current state

Change-Id: I4a9b1c3f28eac5c4d360d743efc44286d8a1acca
Signed-off-by: Moiz Raja <moraja@cisco.com>

Implement finding a primary based on the shard name and do basic wiring of DistributedDataStore and ShardManager

Change-Id: I98d22e68335a6f901e0584a1a497519e28c7d241
Signed-off-by: Moiz Raja <moraja@cisco.com>

Reverted merged changes breaking karaf distribution

Change-Id: I61fa5a9aa7c60fd0ac21c282ddf6b875cbd5084c
Signed-off-by: Mathieu Lemay <mlemay@inocybe.com>
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-1234 nodeType/ID in adaptors

- node change: type MD_SAL -> OF, nodeId String->Long (=dpid)
- nodeConnector change: type MD_SAL -> OF, nodeConnectorId String->Short (=dpid)
- additional changes to statistic table conversions, topology - regarding type+id
- added unit tests

Change-Id: If7e2d6f49e558b9fe95d0a07cf86ed10eb28ff5a
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Support for FIQL queries on REST retreive operations

  - Retreive operations can be filtered based on FIQL queries.
  - Spec at http://tools.ietf.org/html/draft-nottingham-atompub-fiql-00
  - Details of the feature can be found at
    https://pad.opendaylight.org/p/rest-search

Change-Id: I3d7cc4350e890148fff5bd086f76ec51e63f2c3b
Signed-off-by: Prasanth Pallamreddy <ppallamr@cisco.com>

Merge "Fixed concurrency bug in DOMTransactionChainTest"

Merge "Having InMemoryDOMDatastore in its own bundle.To make it configurable using the config subystem. patch 5 changes: md-sal/pom.xml correction"

Merge "Bug:1238 - Revert changes to SshClientAdapter."

Merge "BUG 1179 - rpcResult = false but response 200"

Having InMemoryDOMDatastore in its own bundle.To make it configurable
using the config subystem.
patch 5 changes:
md-sal/pom.xml correction

patch 4 changes:
Moved data tree api and impl to yang-tools based on earlier comment

Patch 3 changes:
1. Included sal-inmemory-datastore dependency in TestHelper.java for PaxExam
integration test cases [Weird that it was working earlier and my local controller full build were passing]

Patch 2 changes:
1. Keeping schema service as part of opendaylight-dom-broker-impl for backward comptability scenario
2. Initializing InMemoryDOMDataStore by default if config-dom-datastore and
operation-dom-datastore are not found
3. Updated 01-md-sal.xml based on 1.
4. Regarding the comment of moving data tree in yangtools. It shall be done in
separate patch.

This is done to replace InMemoryDOMDatastore with distributed-datastore

The changes done are:
1. Created a new sal-inmemory-datastore bundle and moved the
store/impl source files from sal-dom-broker and the corresponding
InMemoryDOMDatastore test cases.

2. Created two yang config models in sal-dom-spi that represent
the configurable config-dom-datastore and operational-dom-datastore, that
are of service type DOMStore

3. In opendaylight-dom-broker-impl.yang of sal-dom-broker, in the augment of dom-inmemory-data-broker added two container config-data-store and operational-data-store that refer the service implementations of service defined in sal-dom-spi

4.In sal-inmemory-datastore bundle, created a yang model opendaylight-inmemory-datastore that provide the implementation of the sal-dom-spi service definitions mentioned in 2 -- The implementaions are augmented to have schema-service container required by InMemoryDOMDatastore for registering itself for scheam changes

5. Updated the 01-md-sal.xml with the above changes

6. Update the distribution pom.xml to include sal-inmemory-datastore.

Change-Id: Ib2f0f0556869981e7e60b3eeae9b1e5e6cc96a0f
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Helium: improve contract with ListenerRegistration"

BUG 1179 - rpcResult = false but response 200

Case for case when collection of errors is returned was added to
RestPostOperationTest.

Change-Id: Iea6c830d957001b01996e2640d8869105cf805ca
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Introducing Protocol Buffers Encoding Required for Distributed Datastore Messages Serialization"

Introducing Protocol Buffers Encoding
Required for Distributed Datastore Messages Serialization

Change-Id: I9276eb229af464061c149dfb008848ace4f51470
Signed-off-by: Basheeruddin Ahmed <syedbahm@cisco.com>

Merge "Bug 1212: Values of VLAN match fields were wrong."

Bug 1129 - POM Versioning changes for automated weekly releases -  Moved all ommon third party dependencies to odlparent

${nexusproxy} variable does not get replaced after introducing odlparent. This is a known bug in maven 2 & 3 where property replacement does not work reliably.

http://stackoverflow.com/questions/1363514/maven-does-not-replace-a-variable-in-settings-xml-when-it-is-invoked

As a workaround, I had to use complete url for nexus in repository and distribution management sections.

Change-Id: I78f31e0446cebec6f84b9d3959645ad7e440989e
Signed-off-by: Surekha Bejgam <sbejgam@cisco.com>

Remove remoterpc dead code.

Change-Id: I4b16a179a93d3ccc65021aafccc2ed9f9e00b7e9
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "BUG 484 Anyxml normalized node"

Bug:1238 - Revert changes to SshClientAdapter.

Fix bug introduced in 412e6b4 by reverting back to previous state.
Also fix a resource leak in writeImpl.

Change-Id: If43741071d1471280491888078f342bc33269c5f
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Bug 1176: Lower log level when netconf ssh connection fails"

BUG 484 Anyxml normalized node

- DataNormalizationOperation: added AnyXmlNormalization for
  AnyXmlSchemaNode

- Moved DataNormalizerTest to sal-common-impl where the source code
  resides and added more tests including coverage for anyxml.

Originally commited under patch set 9
https://git.opendaylight.org/gerrit/#/c/7337/9 by Tom Pantelis

This commit depends (therefore is commited as draft) on commits:
- Add Anyxml normalized node to yang-data-api -
https://git.opendaylight.org/gerrit/#/c/7771/1
- Implementation of Anyxml builder -
  https://git.opendaylight.org/gerrit/#/c/8061/

Change-Id: I8f6febd1738cde3139cc32d8199d1a87c464ba34
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "BUG 484 - XmlReader improve readability"

Fixed concurrency bug in DOMTransactionChainTest

Delete transaction was commited before read was verified
since transaction commit was done in other thread
there was race-condition between allocating transactions
to verify datastore state.

Change-Id: I1717efbe160e59f42c3baca2f5a5f053d703350e
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-944 Remove backwards compatibility config from sal-netconf-
connector.

BREAKS BACKWARDS COMPATIBILITY FOR CONNECTOR CONFIGURATION.
SEND EMAIL TO MAILING LIST ABOUT BREAKING COMPATIBILITY FOR NETCONF CONNECTOR BEFORE MERGE!
ALL DISTRIBUTIONS THAT USE NETCONF-CONNECTOR NEED TO UPDATE CONFIGURATION OF CONNECTORS ACCORDING TO 99-netconf-connector INITIAL CONFIG FILE

Deprecated config attributes and code removed.

Extracted common connector modules(threadfactory, threadpool and client dispatcher) from config file 99-netconf-connector into 01-netconf

Change-Id: I77a93a1dc6845414474632f85c93d8a940449ac6
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix netconf ssh client"

But 1129: Removing hard coded versions from MD-SAL

Change-Id: Ic4ea06f1fd644808946dd5111d38152d19b9bf35
Signed-off-by: Vaishali Mithbaokar <vmithbao@cisco.com>

Merge "Bug 1129: Removing hard coded versions from config subsystem"

Merge "BUG 1129:Removed hard coded version from netconf project as part of the automated release changes for controller"

Merge "Cleanup: Removed unused inventory-config model."

Merge "API Clarity: Documented Async Data Broker APIs."

Merge "BUG-961 Fix Resource leak error from netty."

Cleanup: Removed unused inventory-config model.

Change-Id: I67240df394000107025a23d070784f8ed8d25f7f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Fixed yangtools feature repo, bug with base and lang3 property version"

Fixed yangtools feature repo, bug with base and lang3 property version

Change-Id: Ibd5095501b0f9fbe585ad1c6389e0385448f9321
Signed-off-by: Mathieu Lemay <mlemay@inocybe.com>
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Inventory manager: get rid of synchronized blocks"

Merge "BUG-1138 - wrong value in OFPXMT_OFB_VLAN_VID in FLOW_MOD"

Merge "Bug 1112: Updated toaster-it configuration to use InMemory Data Store."

Merge "Bug 1144: Fixed mising DataChangeEvents for leaf listeners."

BUG-1138 - wrong value in OFPXMT_OFB_VLAN_VID in FLOW_MOD

- vlanPresent set to true if setting vlanId value
- checkstyle whitespace fix

Change-Id: I667fb667af8d5dcd1bc7216ce1fab9e78b6d2f51
Signed-off-by: Michal Rehak <mirehak@cisco.com>

Merge changes I0df1f18f,I4f635329

* changes:
  Introduce ShardStrategy and related code
  Initial implementation of ListenerRegistration actor and all related messages

Merge "Initial implementation of ShardTransaction and all the messages it handles"

Merge "Implement basic ShardTransactionChain#CloseTransactionChain"

Merge "Initial implementation of ShardTransactionChain"

Merge "Add message to update the schema context of the InMemoryDOMDataStore"

Merge "Initial implementation of the Shard Actor"

API Clarity: Documented Async Data Broker APIs.

Documented AsyncDataBroker APIs, which are
base abstract APIs from which Binding and DOM
data broker APIs are derived.

Introduced code-examples illustrating
transaction isollation and conflict detection.

Change-Id: I3c881b1fceb0b68c0cc28a1caa7780b9b6c2af3f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Devin Avery <devin.avery@brocade.com>

BUG 484 - XmlReader improve readability

- XmlReader - improve readibility of methods isSimple(Composite) node by
  extracting common logic to method skipCommentsAndWhitespace.

The change comes from patch set
https://git.opendaylight.org/gerrit/#/c/7337/9
which was originally commited by Tom Pantelis. In this commit is selected
only one change which doesn't relate with BUG 484

Change-Id: Icef852da20e8f624b4bc3d61e334d88f4766474d
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Helium: improve contract with ListenerRegistration

Change-Id: Ief4a6a5072824ada4cead4f465961e5a08053f8b
Signed-off-by: Robert Varga <rovarga@cisco.com>

Inventory manager: get rid of synchronized blocks

This patch reworks the inventory manager to operate on batches, such
that it does not block notification threads and lowers the pressure on
the datastore.

Change-Id: I1953ce22446853b99a201381ff4d7b64a3cfcee7
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1112: Updated toaster-it configuration to use InMemory Data Store.

As it turned out toaster-it used configuration with legacy data store
and not new one.

Updated controller config for toaster-it to have latest configuration
for MD-SAL.

controller.xml was restructured in such way, it is
easy to compare 01-mdsal.xml with controller.xml using diff
or meld tool.

Change-Id: I96de31c04e914bff0e99d155cb5aa1e4abe9807f
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1231 - fix of broken tests in sal-rest-connector

Dummy values were added to places where null values as SchemaPath were
presented.

Change-Id: I1a7d109ec4b9dfa24ef77adfc7aa9ccff74482c1
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Bug 1245: Dropped Binding prefix from Binding Data APIs.

Dropped Prefix Binding from Data API of Binding-Aware part,
to make it easier for incomming users to find them as entry
point to the system (eg. DataBroker).

Change-Id: I2636cc0b35369a5403e7e6094d1eafa03f1bf919
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-961 Fix Resource leak error from netty.

Release ByteBuf instance in ChannelInputStream.

Change-Id: I5fdf9751e05b6975778693f603e1f12b17bb4ee7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-944 Fix nested union types in config subsystem module attributes

Before this patch only unions of non-union types are supported.

Change-Id: If4aa0980246763b211a1c3fca0168ee84a1e75f9
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix checkstyle errors in sal-compatibility"

Merge "Bug 629: Make BindingDataBroker to be visible."

Merge "Bug 629: Make SchemaService required for Data Brokers"

Fix checkstyle errors in sal-compatibility

Change-Id: I696d3ade9b3b9d5705efa03f2a27dd914ae295ef
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Add copyright messages for java files"

Merge "Introducing ShardManager"

Bug 1212: Values of VLAN match fields were wrong.

Values of match fields for VLAN tag were wrong when used AD-SAL OF
plugin and tried to create a flow entry which matched packets without
VLAN tags. V6Match class of AD-SAL OF plugin didn't have code for
handling packets without VLAN tags.

Changes:
 * Added code for handling packets without VLAN tags to V6Match class.
 * Added test cases related to the change of V6Match class.

Change-Id: Ic9c3a6c47c7e99d5273e48ec2ed8d0399289cddb
Signed-off-by: Hideyuki Tai <h-tai@cd.jp.nec.com>

Merge "Swagger UI for AD-SAL"

Bug 629: Make BindingDataBroker to be visible.

Inroduced support for injecting and retrieving
new BindingDataBroker via config-subsystem,
OSGI.

Note: This patch does not provide access to
BindingDataBroker is still not available via
Consumer/Provider context.

Change-Id: Iaa7e65aeeb873c38fded2fecb45e2f0dca1e7714
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 629: Make SchemaService required for Data Brokers

Binding Aware versions of Data Brokers did not
required SchemaService when constructed.
Refactored their constructor to make it
obvious that Schema Service is required.

Change-Id: I6c7c69df15aa0130a92015b2c52ba1a9e4cab7b1
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1167: missing Notification of FLOW_REMOVED"

Bug 977: Return RpcError result on neconf failure

NetconfDocumentedException:
   - Added methods to convert to and from XML.

NetconfMessageTransformUtil:
   - Added code to convert a NetconfDocumentedException to an RpcError.
   - Modified checkSuccessReply and checkValidReply to throw
     NetconfDocumentedException instead of IllegalStateException.

NetconfDeviceCommunicator:
   - Modified processMessage to return an RpcError result for invalid
     message and netconf error reply.
   - Modified other places that previously returned an exception in the
     Future to intsead return an RpcError result.
   - Improved  synchronization by removing synchronized from method sigs
     and locking only the code that needs it.

SendErrorExceptionUtil:
   - Modified createDocument to call
     NetconfDocumentedException.toXMLDocument

XmlNetconfConstants:
   - Moved to netconf-api so NetconfDocumentedException could access it.

The rest of the changed files were to change the import for
XmlNetconfConstants.

Change-Id: Id0ef3ac91bbcb85c9a7a198ceac272fb07f4b9f9
Signed-off-by: tpantelis <tpanteli@brocade.com>

Bug 1144: Fixed mising DataChangeEvents for leaf listeners.

Change-Id: I632e803e0bf7c7ec63bfbde636880feb2650a733
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug-835:Reserve ports should be logical ports

Change-Id: I94cda1754def17bc3419a078ef8cc94fdd37260b
Signed-off-by: Kamal Rameshan <kramesha@cisco.com>