Added support for union yang types to netconf.

Change-Id: I3f936850fdf9a2c96e0ccda50a5178da6d90a92d
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Added xml storage adapter bundle fragments for config persister."

Added xml storage adapter bundle fragments for config persister.

File and Directory based xml adapters are now available.
Only File xml adapter is used so far to persist current configuration.

Directory based persister is still using plain text to keep backwards compatibility.

Change-Id: If1a83701ce23d36313c943e9fe49bd4e704afe27
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Improve logging of persister and netconf client."

Improve logging of persister and netconf client.

Add a debug message measuring time spent waiting for netconf server to reply in NetconfClient.
Log with error level failure to send/recieve netconf message in config-persister-impl.
Add TODOs to config-manager's dependency resolver for detecting cycles.

Change-Id: I412abad141b40eb9346ef404d2efeba8c197e018
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Added support for persistance of service references to netconf."

Added support for persistance of service references to netconf.

Created reference names under services/ subtree are now persisted and available for further edit-config operations.

Change-Id: I366eaab457e9264d266e16eb4e1a1ad8d97d33bc
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed deserialization of IdentityRefs in Restconf URI."

Fixed deserialization of IdentityRefs in Restconf URI.

Change-Id: I639bb880239fa995de3af85cb054f249fa973dba
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Corrected response status codes from restconf"

Merge "Improved support for default yang statements in configuration subsystem"

Merge "Fix for bug 211, where direct write and read of augmentation was not processed correctly"

Fix for bug 211, where direct write and read of augmentation was not processed correctly

  - Fixed TypeNotAvailable issue with end-to-end Openflow

Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Change-Id: I9797fb4a1b71d456cc9126f98e4f3043e49b5666

Corrected response status codes from restconf

- POST /restconf/config/* - 204 no msg body
- POST /restconf/operations/* - 200 msg body or 204 no msg body or 500 operation failed
- PUT /restconf/config/* - 200 no msg body

Change-Id: Ida5759499f876c5fce8280510ffe4093ee1c03c3
Signed-off-by: Martin Sunal <msunal@cisco.com>

Improved support for default yang statements in configuration subsystem

Generated code for configuration contains default values with correct constructor if specified for leaves
Fixed binary type (de)serialization

Change-Id: Ia1338013f8aacab38074e6c7af2de351c6b73835
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fix a typo in debug message"

Merge "Fixed sal-netconf-connector readConfiguration"

Fixed sal-netconf-connector readConfiguration

  - Promoted Netconf client to v1.1.
  - Added reconnect retry.
  - Fixed readConfiguration for mounted netconf device.
  - Fixed serialization issue in restconf related to mount points with unknown schema.

Change-Id: Iefb85866cfc2fcbda5b4239ab112629f5e70e76d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix a typo in debug message

Change-Id: Ia37a2b49ae0cfb1196997d82df04d5edb7fffba7
Signed-off-by: Robert Varga <robert.varga@pantheon.sk>

Merge "Updated xpath pointing to a module instance under services subtree."

Merge "Refactor yang-jmx-generator and -plugin to support list of dependencies."

Refactor persister: Add ability to publish multiple snapshots while loading initial configuration.

Persister adaptors now return list of snapshots to be pushed to netconf at server startup. Persister maintains an ordered list of adaptor
instances, each with its configuration. During server startup it iterates the list backwards until non empty list of snapshot is returned.
Each snapshot can depend on different capabilities, once all capabilities for given snapshot are announced by server, persister pushes this
snapshot.

Change-Id: If73ead980c9cf8cd237af170872fbf1a491cb029
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Initial implementation of netconf monitoring module according to tools.ietf.org/html/rfc6022"

Refactor yang-jmx-generator and -plugin to support list of dependencies.

Change-Id: I87aec9e234588d12ac5ea2dd26509de1c625bbb2
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Used log instead of exception"

Used log instead of exception

- logging was added instead of throwing exception in problematic part

Change-Id: Ic1fb85db4e8eeba18a2fdaec0796c0683bf6430c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "netconf-ssh dependency cleanup"

Merge "Common yang and xml loader for tests"

Merge "RestconfImpl.invokeRpc method test"

Updated xpath pointing to a module instance under services subtree.

From /config/modules/module[name='hash-map-data-store']/instance[name='hash-map-data-store']
To   /modules/module[type=hash-map-data-store][name=hash-map-data-store']

Affected netconf operations: get-config, edit-config.
Backwards compatibility with previous xpath version is preserved.

Change-Id: Ic7c8057811001dbec34115b3745ce42bae790a45
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Initial implementation of netconf monitoring module according to tools.ietf.org/html/rfc6022

Response from netconf GET operation now contains monitoring information about current netconf state.

Modified netconf-impl module: added monitoring capabilities to netconf-impl module exposed as OSGi service.

Added netconf-monitoring module that provides a filter for netconf GET operation
and adds monitoring information retrieved from netconf-impl to the response of the GET operation.
It implements netconf-mapping-api similar to config-netconf-connector and
currently provides information about current netconf SESSIONS and yang SCHEMAS
(these information is retrieved via the netconf monitoring OSGi service provided by netconf-impl).

Added ietf-netconf-monitoring module that contains sources generated from ietf-netconf-monitoring yang.
These sources serve as an interface between netconf-impl and netconf-monitoring.

Change-Id: I62c457cde42e01781d9039c6dde0a03115134df4
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed serialization issues with Augments and java types"

Merge "client IP/port definition in configuration separation new netconf.client properties added to integration tests"

netconf-ssh dependency cleanup

Change-Id: Ida6d8aa12f1609deb0f63dab86dc987edb4d299a
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Created own XML mapper for translation"

client IP/port definition in configuration separation
new netconf.client properties added to integration tests

Change-Id: Ic9517d19ec00b8656c29528903d538d32674a5e9
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Common yang and xml loader for tests

Class YangAndXmlAndDataSchemaLoader was created as common ancestor for
those test which need load yang files, get reference to concrete module
and concrete schema node.

DummyRpcResult class was transformed (inner Builder class including) to
generic class. Type parameter represents return type of method getResult.
Now it is possible to use DummyRpcResult also in InvokeRpcMethodTest.

Change-Id: Ib8d99596bbb16c42724ab79125f4273f9d609a50
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

RestconfImpl.invokeRpc method test

Change-Id: I5e663c08d73fe7fe0871650d5f6b1d36de2df63f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

- added hello message with client ip and user@host trace message
- SSH bridge adds customHeader at the beginning of bridged
  communication

Change-Id: I4bd1733901f3d37a5d62022bad0c39c33db8c5ed
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Add support for BigDecimal to netconf mapping."

Fixed serialization issues with Augments and java types

Change-Id: I55a522423c4bb6ac809527c175d1689897c35fb2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Add support for BigDecimal to netconf mapping.

Change-Id: Iffc1d679105899f0b66a5b62020dfedd17931b45
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Created own XML mapper for translation

- XmlMapper.java was created for translation from CompositeNode to XML

Change-Id: I880d12b7ea4046157ab7f5fe67b090fa09e0c53c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "- remove TLS/SSL support from netconf server and client - refactoring related to AbstractSslChannelInitializer deletion - common code of initialize method moved to AbstractChannelInitializer - refactoring sal-netconf-connector's NetconfConnectorModule - integration tests reflects current changes - netconf server activator throws InvalidStateException if   initial tcp configuration is not found"

Merge "Leafref and identityref types to Json"

- remove TLS/SSL support from netconf server and client
- refactoring related to AbstractSslChannelInitializer deletion
- common code of initialize method moved to AbstractChannelInitializer
- refactoring sal-netconf-connector's NetconfConnectorModule
- integration tests reflects current changes
- netconf server activator throws InvalidStateException if
  initial tcp configuration is not found

Change-Id: I4fe793866cf9c1927f707943d922b36dae3c6665
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Leafref and identityref types to Json

If type of leaf or leaf-list is leafref then the referenced type
is found and its type is used to specify how will be single node value written to
output.
Path-predicate in leafref aren't supported yet.
Also reference to yang-model-util artifact was added.

Change-Id: I6af19bcda6841e07fc48469ebd556d88979f705b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "RPC input is wrapped into RPC name element"

Merge "Added DELETE on cors.allowed.methods for a few missing nb bundles. Also added toString() method to a few Neutron backend classes."

Merge "Add numberOfBackups=1 property to config.ini's netconf.config.persister.2.properties"

Add numberOfBackups=1 property to config.ini's netconf.config.persister.2.properties

Change-Id: I36db930ee46592dc949f37b4b19c3d4de4e8fa73
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Added DELETE on cors.allowed.methods for a few missing nb bundles.
Also added toString() method to a few Neutron backend classes.

Change-Id: I484b785384c802bc47463567f5f0d7670eb044c3
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

RPC input is wrapped into RPC name element

- input RPC section is wrapped into CompositeNode with RPC name due to MD-SAL

Change-Id: I7a49f2c5c93e53e5985606230d5d2c5b2a884ce4
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "Fix static state in PersisterAggregatorTest causing test failures depending on order in which tests are run."

Fix static state in PersisterAggregatorTest causing test failures depending on order in which tests are run.

Change-Id: I4e8d027a7260bf8d21c351ccf4627050b8072c4e
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

MD-SAL Statistics Manager - Minor change in group/meter type/capabilities
Group/Meter feature request is now moved to plugin. Plugin will send request
whenever switch will connect to the plugin.

Change-Id: I8821fcb6c1c3d0ebcf9df11611103e846e8c6ccf
Signed-off-by: Anil Vishnoi <avishnoi@in.ibm.com>

Merge "Fixed PersisterAggregatorTest."

Fix persister bug introduced in last commit.

Registering to JMX failed due to previous bugfix.

Change-Id: I8be8751e299d7f10c7ed691b9bcefbd62308fcae
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Fix bug in persister causing to persist last configuration in a loop."

Merge "Finding data nodes in choices and cases."

Fix bug in persister causing to persist last configuration in a loop.

Change-Id: Ie2c35d5bb4aba19783b4c37d250e575fae2c50cc
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Fixed PersisterAggregatorTest.

Change-Id: Iefc264ddc026df33f5a8124c17835f177627cd50
Signed-off-by: Milos Fabian <milfabia@cisco.com>

Merge "Fix race conditions between config-manager and persister."

Merge "Resolved namespace from input data"

Fix race conditions between config-manager and persister.

Config-manager commits a blank transaction each time new ModuleFactory is discovered. At the same time
persister might try to push configuration. Add retries to both routines to overcome optimistic lock failure.

Change-Id: Ia45505d285b2eb6cc7fa949289a3fbeb4c62f9e7
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Finding data nodes in choices and cases.

Feature was rewritten. It is no more taken into account if schemas for data
nodes at the same level are in the same case for concrete choice. This check should be done in system which takes Json as input

Change-Id: I12e9d2dd9bba21e5ec59a6864a41c4b82cb4f43f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Resolved namespace from input data

Data of POST and PUT operations can contain namespace/module name:
- xml element can contain yang namespace
- json element can contain yang module name

Change-Id: I503c36de5cf76d6e7ca852d4b4e54e93d171920c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "Add support for enums as configuration attributes in config and netconf subsystem."

Merge changes Ia268965a,Iefa79f99

* changes:
  Add running configuration data to get netconf operation response
  Add support for configuration attributes based on yang leaves with custom types (typedef) to netconf.

Merge "Choice and case resolving in JSON output"

Merge "Add config-persister-directory-adapter. This implementation reads initial configuration from a directory. It can combine multiple files into one snapshot to be sent to netconf. It does not support writing when configuration changes."

Merge "Refactor persister to handle multiple storage engines. Allow persister to load and save configuration snapshots from/to multiple storage instances. Loading works by iterating list of storages backwards and pushing first non-empty response to netconf. This allows having a default (initial) configuration for the controller that will never be overwrittern. Saving configuration will be propagated to all storage engines except those configured as read only."

Merge "Refactor persister: require only capabilities referenced by the xml snapshot. Also repair logback bug preventing it from taking snapshot configuration."

Add config-persister-directory-adapter.
This implementation reads initial configuration from a directory. It can combine multiple files into one snapshot to be
sent to netconf. It does not support writing when configuration changes.

Change-Id: I6d92ce6a7221c424f64b2fe07b61fee30e9590f0
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Refactor persister to handle multiple storage engines.
Allow persister to load and save configuration snapshots from/to multiple storage instances.
Loading works by iterating list of storages backwards and pushing first non-empty response to netconf.
This allows having a default (initial) configuration for the controller that will never be overwrittern.
Saving configuration will be propagated to all storage engines except those configured as read only.

Change-Id: If4cdbb9e0c303d5ebb2a3d04a316c74ff76dfb91
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Add running configuration data to get netconf operation response

Change-Id: Ia268965a9ef64944138c3b6eb7313fd1ca606da4
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Choice and case resolving in JSON output

Searching via choices and cases which are defined in YANG when resolving
composite node to find elements with corresponding name.

Change-Id: I4b62b323676a2cdd8212f102bcd0dbbbaf9b6c10
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Refactor persister: require only capabilities referenced by the xml snapshot.
Also repair logback bug preventing it from taking snapshot configuration.

Change-Id: I48c0383441bfaee3c192159f5158f833e7e1d938
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Refactor persister. Remove obsolete TLS netconf configuration. Prefix all ServiceAdaptor configurations with common namespace."

Refactor persister.
Remove obsolete TLS netconf configuration. Prefix all ServiceAdaptor configurations with common namespace.

Change-Id: Ief5fc0a9b62bd9857f77e934d8097543c2fc7a65
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Add support for enums as configuration attributes in config and netconf subsystem.

Change-Id: Ieb6054e2136a2eaf834105f9c1cff6db8668d507
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add support for configuration attributes based on yang leaves with custom types (typedef) to netconf.

Change-Id: Iefa79f99772eaa6a0974d6e7a106cd8c14dc648f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed handshake issues with SSH Netconf client"

Fixed handshake issues with SSH Netconf client

Change-Id: I979d64e529337a3bf1cd84f82684c5ce822a5514
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "- netconf SSH bridge bundle - Implement bridge using socket - standard netconf configuration added to netconf-ssh - NetconfClietnSession no longer needs to propagate channel - introducet IOThread class for stream copy - serversession closed when -1 received - NetconfSSHActivator throws Exception where no valid configuration   is found - ganymed bundle fixed to propagate whole package ch.ethz.ssh2.signature - netconf-ssh bundle added to distribution pom - netconf ssh server starting in separate thread in order to finis   activator's start method"

Merge "- introduced netconf ssh wrapper bundle - incorporation of Tomas's notes - CRLF removed - introduced KeyStoreHandler for providing server keys - netconf server connection is created when subsystem 'netconf' received - data forwarding to netconf server on requestShell - netconfClientSession exposes channel - removed star imports in SocketThread - integration tests for netconf SSH - introduced SSHChannelInboudnHandler which forwards data from pipeline to SSH serer session - resolved dependencies - tests changed due netconf client sending hello message on session create, added netconf-it to main pom.xml - added logging for integration tests"

Merge changes I178e467a,Ia8720c2c

* changes:
  Mark deprecated methods in DataModification as such
  Remove executable permissions from pom.xml

Merge "Removed POST, PUT for /restconf/operational"

- netconf SSH bridge bundle
- Implement bridge using socket
- standard netconf configuration added to netconf-ssh
- NetconfClietnSession no longer needs to propagate channel
- introducet IOThread class for stream copy
- serversession closed when -1 received
- NetconfSSHActivator throws Exception where no valid configuration
  is found
- ganymed bundle fixed to propagate whole package ch.ethz.ssh2.signature
- netconf-ssh bundle added to distribution pom
- netconf ssh server starting in separate thread in order to finis
  activator's start method

Change-Id: I46eac8106a0f222e432d3d8e81c85239ed04ac42
Signed-off-by: Martin Bobak <mbobak@cisco.com>

- introduced netconf ssh wrapper bundle
- incorporation of Tomas's notes
- CRLF removed
- introduced KeyStoreHandler for providing server keys
- netconf server connection is created when subsystem 'netconf' received
- data forwarding to netconf server on requestShell
- netconfClientSession exposes channel
- removed star imports in SocketThread
- integration tests for netconf SSH
- introduced SSHChannelInboudnHandler which forwards data from pipeline to SSH serer session
- resolved dependencies
- tests changed due netconf client sending hello message on session create, added netconf-it to main pom.xml
- added logging for integration tests

Change-Id: I357a7118f2a34c445b0ce8cc9cbe4a7eff27a3a9
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Removed POST, PUT for /restconf/operational

- regarding to RFC the operations POST and PUT do not have to be allowed for client on /restconf/operational

Change-Id: Ie0e8cb07154e4a1a016090fef9645aa38b790b41
Signed-off-by: Martin Sunal <msunal@cisco.com>

Remove executable permissions from pom.xml

Change-Id: Ia8720c2c29e4cc1f2ac3c0d69827fe4010c5870a
Signed-off-by: Robert Varga <robert.varga@pantheon.sk>

Merge changes I6ff6c55c,I92b7e285

* changes:
  Bug 165 and changed operations
  Json with prefix for augmented elements

Bug 165 and changed operations

Main changes according to corresponding RFC draft 01 and 02:
- corrected media types (used application/yang.data and application/vnd.yang.data)
- PUT operation was changed to POST
- POST operation was changed to PUT

There was also added media types due to Bug 165 :
- application/json
- application/xml
- text/xml

Change-Id: I6ff6c55c272cef0b63d5795d5b9842db83f1b627
Signed-off-by: Martin Sunal <msunal@cisco.com>

Json with prefix for augmented elements

Json elements which are created via augmentation are written with
prefix which is equal to module name from where augmentation was defined.

Change-Id: I92b7e2854cea3abf052f9fadc2783d29f1e82391
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge changes I0f752636,Idd154499,Ic35fa3e8

* changes:
  Updated xml generated by get netconf operation to conform to yang schema in config-api
  Add logback as a default config module.
  Fix logging of yang parsing problems in yang-parser-impl

Merge "Better exception message in persister. Split information about missing capabilities into log message, and exception that only contains missing capabilities."

Merge "Update context-instance xpath format according to latest changes in config-api yang."

Merge "Null data from XML"

Merge changes I50218f21,I6bc2631b

* changes:
  Serialization to Json improvement
  Union type processing added to JsonMapper