BUG-1514: fixed bug in module sort.

Change-Id: If8e2848ebd45ca6d51201e46928d3b2c0b9426c9
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "BUG 1440 - json stream to normalized node stream writer"

Merge "BUG-1605: Fixup yang-data-api interface"

Merge "BUG-1605: Fix yang-binding interfaces"

Merge "Fix javadocs a bit"

Merge "BUG-997: fix InMemorySchemaSourceCache interface"

BUG-997: fix InMemorySchemaSourceCache interface

It turns out it was impossible to instantiate this class reasonably. Add
a static factory method to alleviate.

Change-Id: Id7ed4976db6ca6303752392c9aded444491edd08
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1514: Correctly handle ModuleOrModuleBuilder in ModuleDependencySort

ModuleDependencySort.processDependencies(...)

Turns out allNS.get(ns) can return objects of type ModuleOrModuleBuilder
(not just Module or ModuleBuilder types).

Now we check for that case, and unpack it to a Module or ModuleBuilder.
The rest of the logic then continues as normal.

Also added a log for getting a module with no name so as to catch
similar issues in the future.

Change-Id: I956c334c5dd10b51bec01d409f2433229d05f767
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG 1440 - json stream to normalized node stream writer

JsonParserStream contains implementation of read method in which there
is gradually constructed structure of NodeDataWithSchema nodes.

NodeDataWithSchema is similar to SchemaNode but contains only reference to
children which really exists in JSON input and concrete values for nodes
of type leaf or leaf list.

It was necessary to firstly load JSON to NodeDataWitchSchema structure
because for some types (composite keys of list, all nodes belonging to one
augment, all nodes belonging to one choice) it isn't possible to do
sequential processing (it means to call concrete opening and closing
methods of NormalizedNodeStreamWriter interface).

JsonParserStream constructor requires schema context as input parameter.
If data behind mount point should be parsed then schema context of mount
point is required.

Change-Id: I28c1d3193792feb875ec2ceda0035ca56bfa5d42
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1605: Fixup yang-data-api interface

Now that the binding interface is ready to handle IOExceptions, adjust
the data-api interface and implementations. At the same time we update
the binding world to forward calls to flush().

Change-Id: I8a4cff13123d618634dcd61587a2432d3d49ae8b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1605: Fix yang-binding interfaces

This is the frontend piece visible from Binding world. The
implementation relies of the data.api mechanics, so it needs to be
prepared first.

Change-Id: I4694f74e993bbfa9c84578dee04fdd49b87453b7
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix javadocs a bit

Change-Id: Ib7c43ca661dcfa105f9a41e0ebeecdbb4f05a655
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use xml.bind Base64 decoder instead of Guava

As it turned out Guava Base64 decoder is not
compatible with XML encoding, since it is much
stricter and throws error on new lines which
are pretty common in XMLs with Base64 encoded
data.

javax.xml.bind package provides same static
method for parsing string into bytes,
but with XSD semantics for Base64 encoding
which are compatible with XML way
of encoding data.

Change-Id: I5ef4c0b2ba521472b8caacdff1f44ff17d660eb3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Fix ordering fields in generated type builder"

Merge "BUG-1425: fix LazyDataObject.toString()"

Merge "Bug 1586: Fixed missing processing of single qouted strings."

Bug 1586: Fixed missing processing of single qouted strings.

Change-Id: I72a4c8608b8f1f64287a7199430f4f31af6f67c9
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Update feature to carry binding-data-codec"

Update feature to carry binding-data-codec

Change-Id: I4a1835574c1cfdfbba3dba4a6779ee85157b894e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "add new tests BindingTypesTest, BaseYangTypesTest"

Merge "BUG-1382: eliminate QName.getPrefix() from GeneratorImpl.xtend"

Merge "Bug 1391 - New DataBroker unexpected behaviour"

BUG-1425: fix LazyDataObject.toString()

A major usability improvement is skipping of null fields, as dumping
them adds quite a bit of verbosity to logs.

Change-Id: I94c030f11505718ee48b0e3f4556587a85f8f4e4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1443: Fixed incorrect throw of IllegalArgumentException in getAugmentation

Change-Id: If58292afba9c634fb4368f70d541d4a7cdf02cf6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1382: eliminate QName.getPrefix() from GeneratorImpl.xtend

Change-Id: Ie5fdaf7fc7389c13af8aa591bf9531ed26cb11a9
Signed-off-by: Martin Vitez <mvitez@cisco.com>

add new tests BindingTypesTest, BaseYangTypesTest

Signed-off-by: Peter Bandzi <pbandzi@cisco.com>
Change-Id: I289a15eb735c12d4664ff68e73c6e2fc830c6f20

Merge "Add scope compile to features pom for xtend-lib"

BUG-1578: fixed NPE caused by invalid import statement.

If parser can't found imported module it throws YangParseException with error info about root cause.

Change-Id: I3ca81fc46ca57d36b770b3846c10d422d415ac37
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Add scope compile to features pom for xtend-lib

Else, tests downstream can and will fail if its
not already in their local .m2

Change-Id: I2be472c66e4828f19169118d84ae03f714c9ec68
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1531: Fixed incorrect use of leaf types in BindingGeneratorImpl"

Bug 1531: Fixed incorrect use of leaf types in BindingGeneratorImpl

Change-Id: Id420d1e2b8aadcf0061fcf87910b749e9be89c04
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1382: eliminate QName.getPrefix() from binding-generator-impl.

Change-Id: Idce1e0efe18c6034ec036794007ea2716799d889
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "BUG-1555: skip choices which are not valid in a particular context"

Merge "Enabled feature-test for features-yangtools."

Merge "features-test to test that features load correctly."

Enabled feature-test for features-yangtools.

Note: We were randomly getting surefire version
2.12.4 because no surefire version was specified.
${maven.surefire.version} is set in odlparent
but we need to apply it in the yang parent pom
because 'dependenciesToScan' is only available
starting in 2.15.

Change-Id: I3d72c845d7f75afc518956267802ea69afadd0c6
Signed-off-by: Ed Warnicke <eaw@cisco.com>

features-test to test that features load correctly.

Change-Id: Ieacf7182fa7fe5d47c4696e164680716836f8293
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1559: Fixed resolving of used extensions.

This is hotfix in Yang Parser Grammar. As it turnded out Yang parser didn't count with
use of extensions outside of body statements. Now yang parser is capable to parse yang files with used
extensions outside of body statements. The recommendation for future is to completely rewrite yang parser
grammar in general.

Change-Id: I65e61ef712fb499fe543753404a805a4dd14cf85
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

BUG-1555: skip choices which are not valid in a particular context

We are enumerating the use of a case in all the possible contexts, which
may partially fail. Instead of failing completely, just skip the
offending case.

Change-Id: Icbf137266784e0f469a258b2bb312db4e01bd8f6
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Fix MapAdaptor logging"

Improve error message

This fixes the errors reported by default in the log by formatting the
message.

Change-Id: I5c971844ceb9f140ea62fda4472899971689c98f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix Precondition formatting

Preconditions need to be formatted just like String.format().

Change-Id: I4011a6cc6a5f5cb7b0460885d956f775ff45d97c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1515: Properly resolving prefix for submodule

Every Yang submodule contains belongs-to statement. Belongs-to statement contains
mandatory prefix statement. Now submodule prefix is resolved properly and set
as module prefix for parsed submodule.

Test models foo and subfoo were modified to cover bug scenario. In model foo there is typedef defined and called
in submodule subfoo.
Ordering test had to be modified accordingly.

Change-Id: I364337c724407ff9ad2c489968e17f1ed060f347
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Fix ordering fields in generated type builder

Methods is sorted alphabetically to make the order of evaluation
predictable.

Change-Id: Ie1171a78a17e6eab71b629411f0b0a1bb1807d7d
Signed-off-by: Ladislav Borak <lborak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix conflict on Object definition

The use of Object (in the java.lang sense) is not working with models
which contain a 'container object' or similar. The fix is to not use a
temporary variable.

Change-Id: I98b3bde9a04d5f33a51a0add107829ad92d35907
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Check for null pointer when parsing identities."

Check for null pointer when parsing identities.

Change-Id: I5dba7506b83f145472f7327f92e47ffc17b74062
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Merge "Make buildModules() in YangParser behave same as other methods"

Bugfix: Resolving of extension arguments.

Fixed methods parseQName and handleUnknownNode in YangParserListenerImpl class. Now if extension contains ":"
as argument value and string before ":" doesn't represent prefix for import the argument will be parsed as ordinary
string and will not throw exception.
Log level in parseQName has been changed from warn to debug.

Tests in yang-parser-impl has been modified since they're lacked of import definitions of extensions in yang modules.

Change-Id: I84debed2bef1a0694a7019c296433b8b089e6d80
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Make buildModules() in YangParser behave same as other methods

Submodules were not resolved

Change-Id: Ifaac3b7f95883f190874cf91f8837c697c6c33e7
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-1425: fix builder's implementation of equals()

With the advent of LazyDataObject, we have two implementation which need
to compare as equal. LazyObject.equals(builderObject) already works, but
we need the revers to be true, too. This patch sets out to do exactly
that.

Change-Id: I931f66a9088451524a842f6a67e8492ac922fd3d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1425: fix toString() invocation on LazyObject"

BUG-1425: fix toString() invocation on LazyObject

When we are coming in from toString(), the proxy invocation does not
work. Extract getAugmentations() into a private method and use that
instead.

Change-Id: Ia851560b7703817f6d75887fa7e80037292e3fd1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed missing "/" at begining of list.

Change-Id: I95cd9f2fc28bcf8ff46fba72a3c13339a5868078
Signed-off-by: Milos Fabian <milfabia@cisco.com>

Fix MapAdaptor logging

A typo prevented objects from being logged.

Change-Id: I93514dbb4dbf99fa0e3458a4643c24f41992242d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1391 - New DataBroker unexpected behaviour

* deleted empty override for checkWriteApplicable() in
NormalizedNodeContainerModificationStrategy and added check for node
being created by another transaction in checkWriteApplicable()
in SchemaAwareApplyOperation.
* updated concurrency tests.

Change-Id: I0fd5fb230014f794897a30d1a45a86b61a3a8378
Signed-off-by: Jan Hajnar <jhajnar@cisco.com>

Fixes to yangtools feature.xml file

Change-Id: I54852269f3e42aeae7a9ef54e593ef29e48bfcbb
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1443: Implemented Lazy deserialization using dynamic proxies

Result objects from translation from NormalizedNode to Binding Data
are lazily deserialized and initial cost of deserialization
is only one allocation.

Nested data are lazily deserialized once they are accessed.
This decreases time spent on eager deserialization of data
which never was accessed.

Implementation is mostly carried out in
LazyDataObject - InvocationHandler which maps proxy, data and codec
DataContainerPrototype - Prototype of DataContainerContext,
which holds only neccessary information to instantiate real context
DataObjectCodecContext - Context which holds various mapping
required for serialization / deserialization of data.

Also renames AugmentationNode to AugmentationNodeContext to keep naming
consistent and hides it from outside world, as it is
implementation-specific detail.

Change-Id: I94d994277bd0319e9aabcf842e0a741871713a30
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-997 Add SourceIdentifier to MissingSchemaSourceException"

Merge "BUG-997 Fix unused argument in SchemaResolutionException"

Merge "BUG-997 Implement Filesystem source cache for schema repository"

Merge "BUG-997 Add tests for shared schema context and fix dependency resolution bug"

Merge "Fix DCL in YangInstanceIdentifier"

Fix DCL in YangInstanceIdentifier

We were DCL on non-volatile variables. Fixed both instances.

Change-Id: Iedfc9a03ba1fea1c049f44f2b68c2d873564c4ca
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997 Add SourceIdentifier to MissingSchemaSourceException

Change-Id: Ia4a595492935a66371faa844c5286a312a7897e2
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-997 Fix unused argument in SchemaResolutionException

Change-Id: Id40a5318d824e71405a220c18dffa34ade745c08
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-997 Implement Filesystem source cache for schema repository

Use utility methods for storing files from legacy Filesystem cache

+ Add sorting by Cost to schema repository for multiple providers of the same source

Change-Id: I9a30240042e34fe7898966467b503eee85166887
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-997 Add tests for shared schema context and fix dependency resolution bug

Change-Id: I51d1110629b915e6893a08fa827ccf2ba46ed181
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

Bug 1443: Added support for Union type & OSGI Runtime

Introduced new marker interface SchemaUnawareCodec
which marks codecs for simple value types,
which are unaffected by introduction of new modules
(practically everything except union, instance identifier
 and identity codecs). Reworked caching to cache only these
codecs.

Added integration with OSGI, which ensures proper class loading
and updates Javassist classpool if necessary.

Updated ModuleContext to not populate type to schema fields
with empty augmentations, which are undetectable in
data tree.

Change-Id: I2a2c8477e9fdc2ef53bd9f81956023c0760d620e
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 1372 - toString methods in generated classes"

Merge "BUG-1436: deprecate IntermediateMapping"

Merge "Fixed incorrect test location."

Merge "Fix AugmentationSchemaProxy.getDataChildByName()"

Migrate test asserts

With update to JUnit 4.11 we need to migrate tests to use
proper non-deprecated methods/classes. Also removes wildcard imports.

Change-Id: I969f482a2dd85242fd32c22e7c5807d643e3e554
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not override versions provided through odlparent

Cuts down declarations which are duplicates and/or result in downgrades.

Change-Id: I7110996ddedff456881a768cd49841191e219345
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix AugmentationSchemaProxy.getDataChildByName()

This implementation breaks the API contract specified by
AugmentationDefinition by throwing IllegalArgumentException where it
should just return null.

Drive-by: fix a typo in AugmentationSchema
Change-Id: I762ce3c02ba776d8a025ccd5bcdba82a6c1579ad
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1436: deprecate IntermediateMapping

IntermediateMapping is only used in CompositeNode-related codecs and
thus is scheduled to be removed at the same time as CompositeNodes.

Change-Id: Ifff06e62441e5f8cc2eac069145389201f369493
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1372 - toString methods in generated classes

- changed generated toString method in BaseTemplate,
  added info about simple name of class

Change-Id: I1e4142a9d78205b497f8ed552ac72d1440029b46
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Merge "Bug 1372 - toString methods in generated classes"

Merge "BUG-576: modified parser to handle augmentation of extension instances."

Merge "BUG-576: modified parser to handle refinement of extension instances."

Merge "Fix sonar not reporting unit tests"

Fix sonar not reporting unit tests

Enables jacoco plugin (uncodnitionally for now) to get sonar to pickup
the stats.
Changed TypeDefinitionCompilationTest because synthetic fields.

Change-Id: I6baced1cd3ed1a10b790c8a7f11348febc1a380b
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Ladislav Borak <lborak@cisco.com>

BUG-1487: refactor StreamWriterGenerator

This is a reorganization of the StreamWriterGenerator such that it is
properly split up into classes, with contracts clarified. It also
prevents outside subclassing. Also cache pre-made serializer instances.

Change-Id: I492d73a082c24c03b8d17f3868e4a497c8f64b7b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1487: use prototypes for instantiating codecs

Optimizes the per-class overhead by copying a prototype class, and then
setting the proper serializer name. At the same time we get rid of the
static serializer methods, making the interface a bit cleaner.
Additionally, we hide the AbstractStreamWriterGenerator, so that to have
a proper boundary.

Change-Id: Ia7d56ff16e1eec7204fa087c49f2ee55a658a377
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-576: modified parser to handle augmentation of extension instances.

Change-Id: Ic40d5691baa57ee72953abf761dd52e1c85f66c2
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Bug 1432 - Generated DTOs for types use inefficient instantiation"

BUG-576: modified parser to handle refinement of extension instances.

If user tries to refine an instance of extension parser log this event and continue with parsing
instead of throwing an exception.

Change-Id: I6d535b124527bc5a47ef90ba72b57eccbd6c73ef
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1432 - Generated DTOs for types use inefficient instantiation

- changed method for generating default instance value
- only for types (boolean, byte, short, int and long)

Change-Id: I4a423f3569ed84f4d6aff8efe97a110045c6e7c7
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Fix feature file (again :( )

Change-Id: I95c9d241a812f6d54b7df6d5ee46627930bc1691
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Fix to feature file

Change-Id: I6619218e29d8581aedb8012e3fd35553168ad36d
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

Merge "yang-data-json is in the feature file, but not built"

BUG-1402: Make sure the version in the yang-maven-plugin-it is interpolated also for the parent

- The parent version of the test parent pom for the IT was still
hardcoded, we need that to come from the project itself else it cannot
be released

Change-Id: I88ae85df3bb84e805df9594b56d3c62d21386f4f
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

yang-data-json is in the feature file, but not built

- Remove reference to a no-longer existent artifacts and add new dependencies

Change-Id: Ib9fe2e388f658114e0deadfa4dbab0f403a1fed7
Signed-off-by: Giovanni Meo <gmeo@cisco.com>

BUG-1382: eliminate use of QName.getPrefix from yang parser

Updated tests - removed tests on QName's prefix.

Please do not merge before https://git.opendaylight.org/gerrit/#/c/9640/ is merged.

Change-Id: I41b8940965631609074c5bb8e4c2e0538a33f6a9
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "BUG-1472: deprecated CompositeNode and friends"

Merge "BUG-994: introduce ObjectCache for QNameModule/QName"

BUG-1472: deprecated CompositeNode and friends

These APIs are deprecated in favor of NormalizedNode and friends. Mark
them as such, so the code that needs to be migrated gets highlighted.

Change-Id: I9d5b903d54dd295f4111f6832bf023b2685c0291
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1439, Bug 1443 Binding Codec NormalizedNodeWriter support

Added initial implementation of Code generator for Binding Stream Writers
which uses NormalizedNodeStreamWriter on the backend
to write data.

Change-Id: Icae22fd1b9ed4256022650d3ad16b38c577f3d3a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1275: teach NormalizedNode builders about size hints"