Merge "Bug 1258: Implement DataTree partial indexing"

BUG-1630: fix warning message format

The bug has been reasolved by change
I4a35ff27725dab7f35b83ae1bcc6d728a313bd1c, this patch just fixes the
message format.

Change-Id: Ic77f0675c8adb1c6d2ba29ea555335e7eaba4a34
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-650: add missing bypass"

Merge "BUG-650: improve toYangInstanceIdentifier() speed"

BUG-650: add missing bypass

ChoiceNode is not representable either, so check for it early. Also
eliminate the FIXME, now that we are in the clear about what needs to
happen. Finally log offending class in warning, so we can track it down.

Change-Id: I4a35ff27725dab7f35b83ae1bcc6d728a313bd1c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Pre-cache child node set"

Merge "Bug 1443: Added support for misplaced augmentations."

Bug 1443: Added support for misplaced augmentations.

Binding Specification reuses elements inside groupings
as part of normal data tree. Augmentations and augmented
cases could be copied by user using copy builders
and may be used at incorrect place, where augmentation
with same data is present.

Binding Data Codec will treat this augmentations as
same, if augmentation definining same data subtree
is present at real location.

Change-Id: Ie232ef9b5e5bbe84f5562bfce612d8ea03b9a9a5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-650: improve toYangInstanceIdentifier() speed

This removes a superfluous call to getCodecContextNode(), since that
call is already performed by the InstanceIdentifierCodec.

Change-Id: I2077e70517adf6795f805b6c37c0a7e29b4fb9e5
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-650: clarify BindingNormalizedNodeSerializer API contract

Non-representable YangInstanceIdentifiers are properly reported via a
null return instead of raising an undocumented IllegalArgumentException.

Also does some implementation house-cleaning geared towards performance,
as ArrayList gives better locality.

Change-Id: Iea4717c19587fd2cc1e403aae4c5967811240e9a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove unused arguments from UnionTypeCodec.loader()

The two codecs passed in were unused, so remove them, fix the callsite
and remove the useless warnings suppression.

Change-Id: Ib3d052109303c1c18f9a4d58d2eafeefea37caba
Signed-off-by: Robert Varga <rovarga@cisco.com>

UnionTypeCodec should not throw raw Exception

This is a callable, and we know what types of exceptions can be thrown,
so get rid of the implied sonar warning.

Change-Id: Iab62d6749cd1d33096297c2072e02c42ddebd878
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-865: removed use of deprecated YangInstanceIdentifier.getPath method"

Merge "Bug 1505 - Added test model and instance identifier test for augmentations"

Pre-cache child node set

Tracing has shown this method gets called ~5.7M times, contributing to
some 10% bootup time. Pre-cache the set of nodes to speed things up.

Change-Id: I20bf25b55a4c52a725c160d7d52c6cdd8ce4dfa0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1258: Implement DataTree partial indexing

Now the TreeNode elements are instantiated lazily per applyWrite/applyMerge/applySubtreeChange operations.
Implemented createTreeNode in TreeNodeFactory to create non recursively single node instance in TreeNode
Renamed create to createTreeNodeRecursively.

Added benchmarks project directly into the root of yangtools project.
Benchmarks project contains benchmark for testing performance of InMemoryDataTree implementation.
Tool used for benchmarks is JHM.

Change-Id: I70c9745fc9ed8751c643d9bd3e9d58be10aa4a0e
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Merge "BUG-869: description field in BitsType made static"

Merge "BUG-865: removed UnknownType class"

Merge "BUG-869: avoid unused constructor parameter namespace in YangModelDependencyInfo.ModuleDependencyInfo"

Merge "BUG-869: simplified if expressions as suggested by Sonar."

Merge "BUG-869: fixed code style violations in TypeProviderImpl reported by Sonar"

Merge "Fix for features - added missing dependency"

Bug 1505 - Added test model and instance identifier test for augmentations

Added binding-test-model, which contains models for unit testing
and integration testing of binding runtime components such as binding-data-codec.

Change-Id: Ib8219252eec5c2e1b4ddda806bea7367b7c41f9b
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-865: removed use of deprecated YangInstanceIdentifier.getPath method

Change-Id: I4f95e92173cc062deeea5ca0174a110126f43613
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Fix for features - added missing dependency

There was a missing dependency in the features/pom.xml
In some circumstances, it was causing downstream breakage.
This patch fixes that.

Change-Id: I8d2c98b4812084dd131055bcecbb57a4871c09ba
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG-869: description field in BitsType made static

Change-Id: Idbd7886fd641ff2a2fdc8fa7f6921e3f0e0c7db2
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-869: fixed code style violations in TypeProviderImpl reported by Sonar

Change-Id: Ica2e34c2157c48f44227f66042fff444fd56105a
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-866: improved test resource loading

Change-Id: I479299cacf0b2070fac6325a0d0165362ee0d0fa
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-865: removed UnknownType class

UnknownType class is no longer used in yangtools.

Change-Id: I726db6d1b26a7c552967a9ffc5dd5dd1cfe0e93b
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-869: avoid unused constructor parameter namespace in YangModelDependencyInfo.ModuleDependencyInfo

Change-Id: Id50accca7f7c6ba1259007d6b6a6c5816bcc7f9e
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-869: simplified if expressions as suggested by Sonar.

Change-Id: I8f79d9c8d7bf381fe089f7bba1e1fa77462f83c6
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge ".equals() should check for null"

Improve InstanceIdentifierCodecImpl performance

Instead of key iterator and lookup, use entrySet(), just as suggested by
Sonar.

Change-Id: Idada8d9a01a92b4398589df593f96b39748394a9
Signed-off-by: Robert Varga <rovarga@cisco.com>

.equals() should check for null

This fixes a sonar warning.

Change-Id: Ia33f58ffa0668d1eae811b9dc9d2848a7c7ec96e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1589 Exclude xml* prefixes from RandomPrefix"

Allow empty augmentations in Yang modules.

Change-Id: I39d2ca5457461357c9834568e81e2b06608717d0
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Fixed breakage of uses generation in Binding

Change-Id: I0913de13f426906ca8fd2f5e131b022444194648
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-576: fixed text file loading in test."

Merge "BUG-1514: fixed bug in module sort."

Merge "BUG-1537: improved YangModuleInfo."

Merge changes If1e9a750,Ib530560c,Id01393c3,I2d375382,Id60447ef,I350611fb,I0dbd80db

* changes:
  BUG-1611: make sure runtime components create short comments
  BUG-1611: force maven plugin generating verbose comments
  BUG-1611: make verbose comments optional
  BUG-1611: use CharMatcher to remove characters
  BUG-1611: drop a FIXME for thread-safety
  BUG-1611: do not instantiate splitters needlessly
  BUG-1611: fix SimpleDateFormat

Merge "BUG-576: fixed grammar to handle union type with only one type definition."

Merge "BUG-576: fixed javadoc warnings."

Merge "BUG-576: if replaced with else-if in enterImport_stmt method."

Merge "BUG-997: Fix URLSchemaContextResolver"

BUG-1589 Exclude xml* prefixes from RandomPrefix

Change-Id: Ief1807e0124a1d54ff737dd1c24fcea21f0574ed
Signed-off-by: Maros Marsalek <mmarsale@cisco.com>

BUG-576: fixed grammar to handle union type with only one type definition.

Change-Id: I5a26c7a0e15de5333fa8ce3d7a17e0fb3aa8ca50
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1572: Fixed duplicate and inconsistent allocation of Version

After switching from numeric version objects to non-numeric Version
modifications based on modifications was broken due to duplicate
allocation of versions - one when derived modification
was allocated and other one when modification was commited,
this make all writes effectivelly conflicting, since
same node was seen with two different versions.

Change-Id: I366f77a96b74db3aa13a2f374d9437e7cfeb2da5
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-576: fixed text file loading in test.

Change-Id: Iff660142345ba292d9492b06a1199db1e11dd265
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Bug 1604: Fixed incorrect check in Normalized Node Writer startOrderedMapNode

Check which was used in startOrderedMapNode was meant to be part
of startMapEntry. Check for startOrderedMapNode should be
same as for startMapEntry, only used builder should be different.

Change-Id: I0062f184cc33ee6d1fd6783933f1f4c845f1c4d4
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-576: fixed javadoc warnings.

Change-Id: Iec42e1c310267c2df09a66b3c49c5d94948d8b58
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-576: if replaced with else-if in enterImport_stmt method.

Change-Id: Ibf1257d542261c2f96091cd38897351ef315b2bc
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-1514: fixed bug in module sort.

Change-Id: If8e2848ebd45ca6d51201e46928d3b2c0b9426c9
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "BUG 1440 - json stream to normalized node stream writer"

Merge "BUG-1605: Fixup yang-data-api interface"

Merge "BUG-1605: Fix yang-binding interfaces"

Merge "Fix javadocs a bit"

Merge "BUG-997: fix InMemorySchemaSourceCache interface"

BUG-1611: make sure runtime components create short comments

The two instantiations here are performance-critical at runtime, and the
comments in them get discarded. Let us not waste time generating them.

Change-Id: If1e9a7507dac5b07011d3a9bcc75e42fbff340e1
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: force maven plugin generating verbose comments

This just makes sure we are explicit about what we are creating.

Change-Id: Ib530560c11e7f529345085eecf43a9f6f2e6d1a6
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: make verbose comments optional

Make sure the yang snippets are completely optional. The default still
includes them.

Change-Id: Id01393c384add733c42baf6c02a153ef388bb628
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: use CharMatcher to remove characters

Instead of compiling the patterns, use a CharMatcher, which is much
faster.

Change-Id: I2d3753824c63d3dece7af6f051f09c644cfdbf34
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: drop a FIXME for thread-safety

Caching a module means the class is not safe for use from multiple
threads.

Change-Id: Id60447efe4dbae4b65748b99870bd75b70b6fcc8
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: do not instantiate splitters needlessly

The two splitters can be easily shared -- so do that instead of
instantiating them.

Change-Id: I350611fb5985b4336018562012526ca1910bb9a2
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1611: fix SimpleDateFormat

The format used is incirrect and it makes no sense to instantiate the
utility all over again. Use the yang-common utility instead.

Change-Id: I0dbd80db6726aeb80e6666a330964d58bc08455c
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997: Fix URLSchemaContextResolver

The new URLSchemaContextResolver contained a few bugs which prevented it
from working correctly. Fix patches fixes it up.

Change-Id: Ica34f4b8f9e2bb50fe5107f35f987d2bf0891a14
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-997: fix InMemorySchemaSourceCache interface

It turns out it was impossible to instantiate this class reasonably. Add
a static factory method to alleviate.

Change-Id: Id7ed4976db6ca6303752392c9aded444491edd08
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1514: Correctly handle ModuleOrModuleBuilder in ModuleDependencySort

ModuleDependencySort.processDependencies(...)

Turns out allNS.get(ns) can return objects of type ModuleOrModuleBuilder
(not just Module or ModuleBuilder types).

Now we check for that case, and unpack it to a Module or ModuleBuilder.
The rest of the logic then continues as normal.

Also added a log for getting a module with no name so as to catch
similar issues in the future.

Change-Id: I956c334c5dd10b51bec01d409f2433229d05f767
Signed-off-by: Ed Warnicke <eaw@cisco.com>

BUG 1440 - json stream to normalized node stream writer

JsonParserStream contains implementation of read method in which there
is gradually constructed structure of NodeDataWithSchema nodes.

NodeDataWithSchema is similar to SchemaNode but contains only reference to
children which really exists in JSON input and concrete values for nodes
of type leaf or leaf list.

It was necessary to firstly load JSON to NodeDataWitchSchema structure
because for some types (composite keys of list, all nodes belonging to one
augment, all nodes belonging to one choice) it isn't possible to do
sequential processing (it means to call concrete opening and closing
methods of NormalizedNodeStreamWriter interface).

JsonParserStream constructor requires schema context as input parameter.
If data behind mount point should be parsed then schema context of mount
point is required.

Change-Id: I28c1d3193792feb875ec2ceda0035ca56bfa5d42
Signed-off-by: Jozef Gloncak <jgloncak@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1605: Fixup yang-data-api interface

Now that the binding interface is ready to handle IOExceptions, adjust
the data-api interface and implementations. At the same time we update
the binding world to forward calls to flush().

Change-Id: I8a4cff13123d618634dcd61587a2432d3d49ae8b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1605: Fix yang-binding interfaces

This is the frontend piece visible from Binding world. The
implementation relies of the data.api mechanics, so it needs to be
prepared first.

Change-Id: I4694f74e993bbfa9c84578dee04fdd49b87453b7
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix javadocs a bit

Change-Id: Ib7c43ca661dcfa105f9a41e0ebeecdbb4f05a655
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1537: improved YangModuleInfo.

YangModuleInfo is generated also for submodules in form as inner class in YangModuleInfo class of
module to which it belongs. Method YangModuleInfo.getImportedModules() returns also YangModuleInfo
classes of submodules which this module includes.
Added getSubmodules() method to Module interface.
Added test.

Change-Id: Id949835d960eee3197d249f7a83be2975a63d6b3
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Use xml.bind Base64 decoder instead of Guava

As it turned out Guava Base64 decoder is not
compatible with XML encoding, since it is much
stricter and throws error on new lines which
are pretty common in XMLs with Base64 encoded
data.

javax.xml.bind package provides same static
method for parsing string into bytes,
but with XSD semantics for Base64 encoding
which are compatible with XML way
of encoding data.

Change-Id: I5ef4c0b2ba521472b8caacdff1f44ff17d660eb3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Fix ordering fields in generated type builder"

Merge "BUG-1425: fix LazyDataObject.toString()"

Merge "Bug 1586: Fixed missing processing of single qouted strings."

Bug 1586: Fixed missing processing of single qouted strings.

Change-Id: I72a4c8608b8f1f64287a7199430f4f31af6f67c9
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Update feature to carry binding-data-codec"

Update feature to carry binding-data-codec

Change-Id: I4a1835574c1cfdfbba3dba4a6779ee85157b894e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "add new tests BindingTypesTest, BaseYangTypesTest"

Merge "BUG-1382: eliminate QName.getPrefix() from GeneratorImpl.xtend"

Merge "Bug 1391 - New DataBroker unexpected behaviour"

BUG-1425: fix LazyDataObject.toString()

A major usability improvement is skipping of null fields, as dumping
them adds quite a bit of verbosity to logs.

Change-Id: I94c030f11505718ee48b0e3f4556587a85f8f4e4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1443: Fixed incorrect throw of IllegalArgumentException in getAugmentation

Change-Id: If58292afba9c634fb4368f70d541d4a7cdf02cf6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1382: eliminate QName.getPrefix() from GeneratorImpl.xtend

Change-Id: Ie5fdaf7fc7389c13af8aa591bf9531ed26cb11a9
Signed-off-by: Martin Vitez <mvitez@cisco.com>

add new tests BindingTypesTest, BaseYangTypesTest

Signed-off-by: Peter Bandzi <pbandzi@cisco.com>
Change-Id: I289a15eb735c12d4664ff68e73c6e2fc830c6f20

Merge "Add scope compile to features pom for xtend-lib"

BUG-1578: fixed NPE caused by invalid import statement.

If parser can't found imported module it throws YangParseException with error info about root cause.

Change-Id: I3ca81fc46ca57d36b770b3846c10d422d415ac37
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Add scope compile to features pom for xtend-lib

Else, tests downstream can and will fail if its
not already in their local .m2

Change-Id: I2be472c66e4828f19169118d84ae03f714c9ec68
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Bug 1531: Fixed incorrect use of leaf types in BindingGeneratorImpl"

Bug 1531: Fixed incorrect use of leaf types in BindingGeneratorImpl

Change-Id: Id420d1e2b8aadcf0061fcf87910b749e9be89c04
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1382: eliminate QName.getPrefix() from binding-generator-impl.

Change-Id: Idce1e0efe18c6034ec036794007ea2716799d889
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "BUG-1555: skip choices which are not valid in a particular context"

Merge "Enabled feature-test for features-yangtools."

Merge "features-test to test that features load correctly."

Enabled feature-test for features-yangtools.

Note: We were randomly getting surefire version
2.12.4 because no surefire version was specified.
${maven.surefire.version} is set in odlparent
but we need to apply it in the yang parent pom
because 'dependenciesToScan' is only available
starting in 2.15.

Change-Id: I3d72c845d7f75afc518956267802ea69afadd0c6
Signed-off-by: Ed Warnicke <eaw@cisco.com>

features-test to test that features load correctly.

Change-Id: Ieacf7182fa7fe5d47c4696e164680716836f8293
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Bug 1559: Fixed resolving of used extensions.

This is hotfix in Yang Parser Grammar. As it turnded out Yang parser didn't count with
use of extensions outside of body statements. Now yang parser is capable to parse yang files with used
extensions outside of body statements. The recommendation for future is to completely rewrite yang parser
grammar in general.

Change-Id: I65e61ef712fb499fe543753404a805a4dd14cf85
Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

BUG-1555: skip choices which are not valid in a particular context

We are enumerating the use of a case in all the possible contexts, which
may partially fail. Instead of failing completely, just skip the
offending case.

Change-Id: Icbf137266784e0f469a258b2bb312db4e01bd8f6
Signed-off-by: Robert Varga <rovarga@cisco.com>