Merge "Fixed sal-netconf-connector readConfiguration"

Fixed sal-netconf-connector readConfiguration

  - Promoted Netconf client to v1.1.
  - Added reconnect retry.
  - Fixed readConfiguration for mounted netconf device.
  - Fixed serialization issue in restconf related to mount points with unknown schema.

Change-Id: Iefb85866cfc2fcbda5b4239ab112629f5e70e76d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fix a typo in debug message

Change-Id: Ia37a2b49ae0cfb1196997d82df04d5edb7fffba7
Signed-off-by: Robert Varga <robert.varga@pantheon.sk>

Merge "Updated xpath pointing to a module instance under services subtree."

Merge "Refactor yang-jmx-generator and -plugin to support list of dependencies."

Refactor persister: Add ability to publish multiple snapshots while loading initial configuration.

Persister adaptors now return list of snapshots to be pushed to netconf at server startup. Persister maintains an ordered list of adaptor
instances, each with its configuration. During server startup it iterates the list backwards until non empty list of snapshot is returned.
Each snapshot can depend on different capabilities, once all capabilities for given snapshot are announced by server, persister pushes this
snapshot.

Change-Id: If73ead980c9cf8cd237af170872fbf1a491cb029
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Initial implementation of netconf monitoring module according to tools.ietf.org/html/rfc6022"

Refactor yang-jmx-generator and -plugin to support list of dependencies.

Change-Id: I87aec9e234588d12ac5ea2dd26509de1c625bbb2
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Used log instead of exception"

Used log instead of exception

- logging was added instead of throwing exception in problematic part

Change-Id: Ic1fb85db4e8eeba18a2fdaec0796c0683bf6430c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "netconf-ssh dependency cleanup"

Merge "Common yang and xml loader for tests"

Merge "RestconfImpl.invokeRpc method test"

Updated xpath pointing to a module instance under services subtree.

From /config/modules/module[name='hash-map-data-store']/instance[name='hash-map-data-store']
To   /modules/module[type=hash-map-data-store][name=hash-map-data-store']

Affected netconf operations: get-config, edit-config.
Backwards compatibility with previous xpath version is preserved.

Change-Id: Ic7c8057811001dbec34115b3745ce42bae790a45
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Initial implementation of netconf monitoring module according to tools.ietf.org/html/rfc6022

Response from netconf GET operation now contains monitoring information about current netconf state.

Modified netconf-impl module: added monitoring capabilities to netconf-impl module exposed as OSGi service.

Added netconf-monitoring module that provides a filter for netconf GET operation
and adds monitoring information retrieved from netconf-impl to the response of the GET operation.
It implements netconf-mapping-api similar to config-netconf-connector and
currently provides information about current netconf SESSIONS and yang SCHEMAS
(these information is retrieved via the netconf monitoring OSGi service provided by netconf-impl).

Added ietf-netconf-monitoring module that contains sources generated from ietf-netconf-monitoring yang.
These sources serve as an interface between netconf-impl and netconf-monitoring.

Change-Id: I62c457cde42e01781d9039c6dde0a03115134df4
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed serialization issues with Augments and java types"

Merge "client IP/port definition in configuration separation new netconf.client properties added to integration tests"

netconf-ssh dependency cleanup

Change-Id: Ida6d8aa12f1609deb0f63dab86dc987edb4d299a
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Created own XML mapper for translation"

client IP/port definition in configuration separation
new netconf.client properties added to integration tests

Change-Id: Ic9517d19ec00b8656c29528903d538d32674a5e9
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Common yang and xml loader for tests

Class YangAndXmlAndDataSchemaLoader was created as common ancestor for
those test which need load yang files, get reference to concrete module
and concrete schema node.

DummyRpcResult class was transformed (inner Builder class including) to
generic class. Type parameter represents return type of method getResult.
Now it is possible to use DummyRpcResult also in InvokeRpcMethodTest.

Change-Id: Ib8d99596bbb16c42724ab79125f4273f9d609a50
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

RestconfImpl.invokeRpc method test

Change-Id: I5e663c08d73fe7fe0871650d5f6b1d36de2df63f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

- added hello message with client ip and user@host trace message
- SSH bridge adds customHeader at the beginning of bridged
  communication

Change-Id: I4bd1733901f3d37a5d62022bad0c39c33db8c5ed
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Merge "Add support for BigDecimal to netconf mapping."

Fixed serialization issues with Augments and java types

Change-Id: I55a522423c4bb6ac809527c175d1689897c35fb2
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Add support for BigDecimal to netconf mapping.

Change-Id: Iffc1d679105899f0b66a5b62020dfedd17931b45
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Created own XML mapper for translation

- XmlMapper.java was created for translation from CompositeNode to XML

Change-Id: I880d12b7ea4046157ab7f5fe67b090fa09e0c53c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "- remove TLS/SSL support from netconf server and client - refactoring related to AbstractSslChannelInitializer deletion - common code of initialize method moved to AbstractChannelInitializer - refactoring sal-netconf-connector's NetconfConnectorModule - integration tests reflects current changes - netconf server activator throws InvalidStateException if   initial tcp configuration is not found"

Merge "Leafref and identityref types to Json"

- remove TLS/SSL support from netconf server and client
- refactoring related to AbstractSslChannelInitializer deletion
- common code of initialize method moved to AbstractChannelInitializer
- refactoring sal-netconf-connector's NetconfConnectorModule
- integration tests reflects current changes
- netconf server activator throws InvalidStateException if
  initial tcp configuration is not found

Change-Id: I4fe793866cf9c1927f707943d922b36dae3c6665
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Leafref and identityref types to Json

If type of leaf or leaf-list is leafref then the referenced type
is found and its type is used to specify how will be single node value written to
output.
Path-predicate in leafref aren't supported yet.
Also reference to yang-model-util artifact was added.

Change-Id: I6af19bcda6841e07fc48469ebd556d88979f705b
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "RPC input is wrapped into RPC name element"

Merge "Added DELETE on cors.allowed.methods for a few missing nb bundles. Also added toString() method to a few Neutron backend classes."

Merge "Add numberOfBackups=1 property to config.ini's netconf.config.persister.2.properties"

Add numberOfBackups=1 property to config.ini's netconf.config.persister.2.properties

Change-Id: I36db930ee46592dc949f37b4b19c3d4de4e8fa73
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Added DELETE on cors.allowed.methods for a few missing nb bundles.
Also added toString() method to a few Neutron backend classes.

Change-Id: I484b785384c802bc47463567f5f0d7670eb044c3
Signed-off-by: Madhu Venugopal <mavenugo@gmail.com>

RPC input is wrapped into RPC name element

- input RPC section is wrapped into CompositeNode with RPC name due to MD-SAL

Change-Id: I7a49f2c5c93e53e5985606230d5d2c5b2a884ce4
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "Fix static state in PersisterAggregatorTest causing test failures depending on order in which tests are run."

Fix static state in PersisterAggregatorTest causing test failures depending on order in which tests are run.

Change-Id: I4e8d027a7260bf8d21c351ccf4627050b8072c4e
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

MD-SAL Statistics Manager - Minor change in group/meter type/capabilities
Group/Meter feature request is now moved to plugin. Plugin will send request
whenever switch will connect to the plugin.

Change-Id: I8821fcb6c1c3d0ebcf9df11611103e846e8c6ccf
Signed-off-by: Anil Vishnoi <avishnoi@in.ibm.com>

Merge "Fixed PersisterAggregatorTest."

Fix persister bug introduced in last commit.

Registering to JMX failed due to previous bugfix.

Change-Id: I8be8751e299d7f10c7ed691b9bcefbd62308fcae
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Fix bug in persister causing to persist last configuration in a loop."

Merge "Finding data nodes in choices and cases."

Fix bug in persister causing to persist last configuration in a loop.

Change-Id: Ie2c35d5bb4aba19783b4c37d250e575fae2c50cc
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Fixed PersisterAggregatorTest.

Change-Id: Iefc264ddc026df33f5a8124c17835f177627cd50
Signed-off-by: Milos Fabian <milfabia@cisco.com>

Merge "Fix race conditions between config-manager and persister."

Merge "Resolved namespace from input data"

Fix race conditions between config-manager and persister.

Config-manager commits a blank transaction each time new ModuleFactory is discovered. At the same time
persister might try to push configuration. Add retries to both routines to overcome optimistic lock failure.

Change-Id: Ia45505d285b2eb6cc7fa949289a3fbeb4c62f9e7
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Finding data nodes in choices and cases.

Feature was rewritten. It is no more taken into account if schemas for data
nodes at the same level are in the same case for concrete choice. This check should be done in system which takes Json as input

Change-Id: I12e9d2dd9bba21e5ec59a6864a41c4b82cb4f43f
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Resolved namespace from input data

Data of POST and PUT operations can contain namespace/module name:
- xml element can contain yang namespace
- json element can contain yang module name

Change-Id: I503c36de5cf76d6e7ca852d4b4e54e93d171920c
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "Add support for enums as configuration attributes in config and netconf subsystem."

Merge changes Ia268965a,Iefa79f99

* changes:
  Add running configuration data to get netconf operation response
  Add support for configuration attributes based on yang leaves with custom types (typedef) to netconf.

Merge "Choice and case resolving in JSON output"

Merge "Add config-persister-directory-adapter. This implementation reads initial configuration from a directory. It can combine multiple files into one snapshot to be sent to netconf. It does not support writing when configuration changes."

Merge "Refactor persister to handle multiple storage engines. Allow persister to load and save configuration snapshots from/to multiple storage instances. Loading works by iterating list of storages backwards and pushing first non-empty response to netconf. This allows having a default (initial) configuration for the controller that will never be overwrittern. Saving configuration will be propagated to all storage engines except those configured as read only."

Merge "Refactor persister: require only capabilities referenced by the xml snapshot. Also repair logback bug preventing it from taking snapshot configuration."

Add config-persister-directory-adapter.
This implementation reads initial configuration from a directory. It can combine multiple files into one snapshot to be
sent to netconf. It does not support writing when configuration changes.

Change-Id: I6d92ce6a7221c424f64b2fe07b61fee30e9590f0
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Refactor persister to handle multiple storage engines.
Allow persister to load and save configuration snapshots from/to multiple storage instances.
Loading works by iterating list of storages backwards and pushing first non-empty response to netconf.
This allows having a default (initial) configuration for the controller that will never be overwrittern.
Saving configuration will be propagated to all storage engines except those configured as read only.

Change-Id: If4cdbb9e0c303d5ebb2a3d04a316c74ff76dfb91
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Add running configuration data to get netconf operation response

Change-Id: Ia268965a9ef64944138c3b6eb7313fd1ca606da4
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Choice and case resolving in JSON output

Searching via choices and cases which are defined in YANG when resolving
composite node to find elements with corresponding name.

Change-Id: I4b62b323676a2cdd8212f102bcd0dbbbaf9b6c10
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Refactor persister: require only capabilities referenced by the xml snapshot.
Also repair logback bug preventing it from taking snapshot configuration.

Change-Id: I48c0383441bfaee3c192159f5158f833e7e1d938
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Merge "Refactor persister. Remove obsolete TLS netconf configuration. Prefix all ServiceAdaptor configurations with common namespace."

Refactor persister.
Remove obsolete TLS netconf configuration. Prefix all ServiceAdaptor configurations with common namespace.

Change-Id: Ief5fc0a9b62bd9857f77e934d8097543c2fc7a65
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Add support for enums as configuration attributes in config and netconf subsystem.

Change-Id: Ieb6054e2136a2eaf834105f9c1cff6db8668d507
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add support for configuration attributes based on yang leaves with custom types (typedef) to netconf.

Change-Id: Iefa79f99772eaa6a0974d6e7a106cd8c14dc648f
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Fixed handshake issues with SSH Netconf client"

Fixed handshake issues with SSH Netconf client

Change-Id: I979d64e529337a3bf1cd84f82684c5ce822a5514
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "- netconf SSH bridge bundle - Implement bridge using socket - standard netconf configuration added to netconf-ssh - NetconfClietnSession no longer needs to propagate channel - introducet IOThread class for stream copy - serversession closed when -1 received - NetconfSSHActivator throws Exception where no valid configuration   is found - ganymed bundle fixed to propagate whole package ch.ethz.ssh2.signature - netconf-ssh bundle added to distribution pom - netconf ssh server starting in separate thread in order to finis   activator's start method"

Merge "- introduced netconf ssh wrapper bundle - incorporation of Tomas's notes - CRLF removed - introduced KeyStoreHandler for providing server keys - netconf server connection is created when subsystem 'netconf' received - data forwarding to netconf server on requestShell - netconfClientSession exposes channel - removed star imports in SocketThread - integration tests for netconf SSH - introduced SSHChannelInboudnHandler which forwards data from pipeline to SSH serer session - resolved dependencies - tests changed due netconf client sending hello message on session create, added netconf-it to main pom.xml - added logging for integration tests"

Merge changes I178e467a,Ia8720c2c

* changes:
  Mark deprecated methods in DataModification as such
  Remove executable permissions from pom.xml

Merge "Removed POST, PUT for /restconf/operational"

- netconf SSH bridge bundle
- Implement bridge using socket
- standard netconf configuration added to netconf-ssh
- NetconfClietnSession no longer needs to propagate channel
- introducet IOThread class for stream copy
- serversession closed when -1 received
- NetconfSSHActivator throws Exception where no valid configuration
  is found
- ganymed bundle fixed to propagate whole package ch.ethz.ssh2.signature
- netconf-ssh bundle added to distribution pom
- netconf ssh server starting in separate thread in order to finis
  activator's start method

Change-Id: I46eac8106a0f222e432d3d8e81c85239ed04ac42
Signed-off-by: Martin Bobak <mbobak@cisco.com>

- introduced netconf ssh wrapper bundle
- incorporation of Tomas's notes
- CRLF removed
- introduced KeyStoreHandler for providing server keys
- netconf server connection is created when subsystem 'netconf' received
- data forwarding to netconf server on requestShell
- netconfClientSession exposes channel
- removed star imports in SocketThread
- integration tests for netconf SSH
- introduced SSHChannelInboudnHandler which forwards data from pipeline to SSH serer session
- resolved dependencies
- tests changed due netconf client sending hello message on session create, added netconf-it to main pom.xml
- added logging for integration tests

Change-Id: I357a7118f2a34c445b0ce8cc9cbe4a7eff27a3a9
Signed-off-by: Martin Bobak <mbobak@cisco.com>

Removed POST, PUT for /restconf/operational

- regarding to RFC the operations POST and PUT do not have to be allowed for client on /restconf/operational

Change-Id: Ie0e8cb07154e4a1a016090fef9645aa38b790b41
Signed-off-by: Martin Sunal <msunal@cisco.com>

Remove executable permissions from pom.xml

Change-Id: Ia8720c2c29e4cc1f2ac3c0d69827fe4010c5870a
Signed-off-by: Robert Varga <robert.varga@pantheon.sk>

Merge changes I6ff6c55c,I92b7e285

* changes:
  Bug 165 and changed operations
  Json with prefix for augmented elements

Bug 165 and changed operations

Main changes according to corresponding RFC draft 01 and 02:
- corrected media types (used application/yang.data and application/vnd.yang.data)
- PUT operation was changed to POST
- POST operation was changed to PUT

There was also added media types due to Bug 165 :
- application/json
- application/xml
- text/xml

Change-Id: I6ff6c55c272cef0b63d5795d5b9842db83f1b627
Signed-off-by: Martin Sunal <msunal@cisco.com>

Json with prefix for augmented elements

Json elements which are created via augmentation are written with
prefix which is equal to module name from where augmentation was defined.

Change-Id: I92b7e2854cea3abf052f9fadc2783d29f1e82391
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge changes I0f752636,Idd154499,Ic35fa3e8

* changes:
  Updated xml generated by get netconf operation to conform to yang schema in config-api
  Add logback as a default config module.
  Fix logging of yang parsing problems in yang-parser-impl

Merge "Better exception message in persister. Split information about missing capabilities into log message, and exception that only contains missing capabilities."

Merge "Update context-instance xpath format according to latest changes in config-api yang."

Merge "Null data from XML"

Merge changes I50218f21,I6bc2631b

* changes:
  Serialization to Json improvement
  Union type processing added to JsonMapper

Merge "Bug 164"

Better exception message in persister.
Split information about missing capabilities into log message, and exception that only contains missing capabilities.

Change-Id: I5673542d14b3b8cd3ea4bcb6e0166566e9a105b8
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Serialization to Json improvement

- During serialization of List and LeafList is not get parent from composite node
but he is added as a parameter

Change-Id: I50218f2132eb571c3faf103f7914e2f49f735bf6
Signed-off-by: Martin Sunal <msunal@cisco.com>

Updated xml generated by get netconf operation to conform to yang schema in config-api

Change-Id: I0f7526369840eb83fdd83aba2459365ccbd9fd16
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge changes I4ba7cf7d,Ia3e319ee

* changes:
  Allow multiple services provided from same namespace parsed from netconf message
  Fix no response from netconf server if no operation is available to handle message.

Update context-instance xpath format according to latest changes in config-api yang.

Change-Id: I7b432ecf4703617899e5e945e900a54ec479d342
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 164

- if URI has bad format then error status 400 is returned
- corrected xtend conventions: triple equals for null

Change-Id: Idfa58e21942506b7483ca6ecf19aedfd1c1de827
Signed-off-by: Martin Sunal <msunal@cisco.com>

Null data from XML

In case of reading data from XMl to Composite node following rule was
added:
- XML with opening and closing tag without data is mapped to single node
  with empty string
  (e. g. <foo></foo> -> single node with empty string)
- XML with only closing tag is mapped to single node with null value (e.
  g. <foo /> -> single node with null value)

Change-Id: I17ba4387949dd3cfe943999829dbcc63a29fbac8
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Union type processing added to JsonMapper

if data type according to schema is union then data from single node are validated as follows:
- if simple node value is null -> [null] is written to JSON
- if simple node value is number and union yang contains one of number types ->
  number is written to JSON
- if simple node value si true or false and union yang contains BooleanType ->
  true or false is written to JSON
- other cases are written to JSON as string (inside "")

Change-Id: I6bc2631bc9b018e9497464fac4efbc5abc726882
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>

Merge "Add prefixes to type attribute in generated xml from netconf Add support for parsing prefixed type attributes from incomming xml to netconf"

Merge changes Ia09a1107,I2c30f3b6

* changes:
  Change type of service-ref grouping to service-type-ref from leafref.
  Fix config-netconf-connector needed for interacting with yuma's yangcli.

Allow multiple services provided from same namespace parsed from netconf message

Change-Id: I4ba7cf7d3e728be447066abc3a3c9f871faba954
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Fix no response from netconf server if no operation is available to handle message.

Change-Id: Ia3e319ee6b9d224a92def7652ed50f4ae7021b4a
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Add prefixes to type attribute in generated xml from netconf
Add support for parsing prefixed type attributes from incomming xml to netconf

Prefixed type attribute conforms to config api defined in yang

Change-Id: I4516ddb97d3fcfaab50f3402edb4a6e1bd6505cf
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Change type of service-ref grouping to service-type-ref from leafref.

Also fix bug in config-netconf-connector where edit strategy was in global scope.

Change-Id: Ia09a11078c87ffa4c6fa8de34f0b69b438b6c50e
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>

Fix config-netconf-connector needed for interacting with yuma's yangcli.

Mitigate issue when yuma is sending services/service/type with a prefix that is not referenced anywhere - it will be ignored.
When issuing edit-config with merge strategy, populate services as they appear in get-config.

Change-Id: I2c30f3b626fc25cfd3b46225d5f1c24109d655b7
Signed-off-by: Tomas Olvecky <tolvecky@cisco.com>