Bug 1443: Implemented Lazy deserialization using dynamic proxies

Result objects from translation from NormalizedNode to Binding Data
are lazily deserialized and initial cost of deserialization
is only one allocation.

Nested data are lazily deserialized once they are accessed.
This decreases time spent on eager deserialization of data
which never was accessed.

Implementation is mostly carried out in
LazyDataObject - InvocationHandler which maps proxy, data and codec
DataContainerPrototype - Prototype of DataContainerContext,
which holds only neccessary information to instantiate real context
DataObjectCodecContext - Context which holds various mapping
required for serialization / deserialization of data.

Also renames AugmentationNode to AugmentationNodeContext to keep naming
consistent and hides it from outside world, as it is
implementation-specific detail.

Change-Id: I94d994277bd0319e9aabcf842e0a741871713a30
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1443: Added support for Union type & OSGI Runtime

Introduced new marker interface SchemaUnawareCodec
which marks codecs for simple value types,
which are unaffected by introduction of new modules
(practically everything except union, instance identifier
 and identity codecs). Reworked caching to cache only these
codecs.

Added integration with OSGI, which ensures proper class loading
and updates Javassist classpool if necessary.

Updated ModuleContext to not populate type to schema fields
with empty augmentations, which are undetectable in
data tree.

Change-Id: I2a2c8477e9fdc2ef53bd9f81956023c0760d620e
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 1372 - toString methods in generated classes"

Merge "BUG-1436: deprecate IntermediateMapping"

Merge "Fixed incorrect test location."

Migrate test asserts

With update to JUnit 4.11 we need to migrate tests to use
proper non-deprecated methods/classes. Also removes wildcard imports.

Change-Id: I969f482a2dd85242fd32c22e7c5807d643e3e554
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1436: deprecate IntermediateMapping

IntermediateMapping is only used in CompositeNode-related codecs and
thus is scheduled to be removed at the same time as CompositeNodes.

Change-Id: Ifff06e62441e5f8cc2eac069145389201f369493
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1372 - toString methods in generated classes

- changed generated toString method in BaseTemplate,
  added info about simple name of class

Change-Id: I1e4142a9d78205b497f8ed552ac72d1440029b46
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Merge "Bug 1372 - toString methods in generated classes"

Merge "Fix sonar not reporting unit tests"

Fix sonar not reporting unit tests

Enables jacoco plugin (uncodnitionally for now) to get sonar to pickup
the stats.
Changed TypeDefinitionCompilationTest because synthetic fields.

Change-Id: I6baced1cd3ed1a10b790c8a7f11348febc1a380b
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Ladislav Borak <lborak@cisco.com>

BUG-1487: refactor StreamWriterGenerator

This is a reorganization of the StreamWriterGenerator such that it is
properly split up into classes, with contracts clarified. It also
prevents outside subclassing. Also cache pre-made serializer instances.

Change-Id: I492d73a082c24c03b8d17f3868e4a497c8f64b7b
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1487: use prototypes for instantiating codecs

Optimizes the per-class overhead by copying a prototype class, and then
setting the proper serializer name. At the same time we get rid of the
static serializer methods, making the interface a bit cleaner.
Additionally, we hide the AbstractStreamWriterGenerator, so that to have
a proper boundary.

Change-Id: Ia7d56ff16e1eec7204fa087c49f2ee55a658a377
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Bug 1432 - Generated DTOs for types use inefficient instantiation"

Bug 1432 - Generated DTOs for types use inefficient instantiation

- changed method for generating default instance value
- only for types (boolean, byte, short, int and long)

Change-Id: I4a423f3569ed84f4d6aff8efe97a110045c6e7c7
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Bug 1439, Bug 1443 Binding Codec NormalizedNodeWriter support

Added initial implementation of Code generator for Binding Stream Writers
which uses NormalizedNodeStreamWriter on the backend
to write data.

Change-Id: Icae22fd1b9ed4256022650d3ad16b38c577f3d3a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-865: Remove SchemaServiceListener"

Bug 1232 - Add snippet of yang file into comments

- reworked all proposals from Tom Pantelis
- tested with toaster.yang, generated javadoc files added
  as attachment into bugzilla

Change-Id: I6a6c8a6f6592b1abf9368e9b8232263a029460a8
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Merge "Bug 1475: Correctly handle case of typedef that extends boolean"

Remove unused imports

Lowers the number of warnings a bit.

Change-Id: I9cbb9f0bd2f711fa4f7410a5023c73497a59f35e
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-865: Remove SchemaServiceListener

Eradicates the long-deprecated SchemaServiceListener.
SchemaContextListener is the new name for the equivalent service.

Requires controller to merge I15d495d805eb7a08c3bcd3ab0cf8b5a8d2797db5.

Change-Id: I38185b131e9745c0cad366c38428e8be9a8fb4fe
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1475: Correctly handle case of typedef that extends boolean

Change-Id: I892ddb39b56cbd17ea22f07a94f4c2c2dd9ed448
Signed-off-by: Ed Warnicke <eaw@cisco.com>

Merge "Updated creation of Binding Spec Context to provide additional information."

Merge "Runtime Codec cleanup"

Updated creation of Binding Spec Context to provide additional information.

Change-Id: I0c71d8b3cb3a569b340fc0ef0c71283382fe2ac6
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Runtime Codec cleanup

- Extracted Augmentation getter to Bidning Reflections
- Fixed retrieval of IdenfierCodec

Change-Id: Ib6b6f45349bd8b5b055dccd036549ec727c0186d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Bug 1119 - Optimize generated range checks"

Bug 1119 - Optimize generated range checks

- moved initialization of range and length constraints list
  into static initialization block

Change-Id: I2f5631fceb0e776fe3172e9a05ee97b7fe81252b
Signed-off-by: Ladislav Borak <lborak@cisco.com>

Merge "Bug 1436: Introduced BindingStreamEventWriter interface"

Bug 1436: Introduced BindingStreamEventWriter interface

Introduced BindingStreamEventWriter interface,
which allows to implement Binding codecs
with plugable backend for actual serialization.

This interface needs to present in yang.binding
package, since this in only package which
is imported by all generated YANG Java Bindings
and thus visible for them.

Change-Id: I2d235cd63ecda1d63c8077854a38a5dc9d184d2d
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge changes Ic9936326,I9b600761

* changes:
  BUG-865: move ClassLoaderUtils into util package
  BUG-865: prepare to move ListenerRegistry

BUG-865: move ClassLoaderUtils into util package

Removes the two previously-deprecated instances, deprecate the third one
and instantiate the utility at the proper place.

Change-Id: Ic9936326fb0f4d4b2129562ae84b131b79746c23
Signed-off-by: Robert Varga <rovarga@cisco.com>

Optimize binding types memory usage

Profiling SP edition shows that we have ~30000 empty ArrayList instances
retained by binding.generator.generated.type.builder objects, wasting
around 800kB of memory.

This patch introduces LazyCollections, which allow us to build up these
lists in a manner which uses minimal collections to support the elements
currently present.

Change-Id: I4676356f7684c9cdd152c98a65a240d0c5b94259
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1092: rename data.api.InstanceIdentifier to YangInstanceIdentifier

On popular request to clear up confusion between
yang.binding.InstanceIdentifier and yang.data.api.InstanceIdentifier, we
rename the latter (which is the low-level one). This will make it clear
for users of GUIs, who were confused by the tools giving them the choice
between the two.

Change-Id: I1e30a0df93d8bfb891d047c58abcb117d4006c76
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fixed incorrect test location.

Fixed incorrect test file location.
Fixed Ignored test in ClassCodeGeneraterTest to test negative case scenario instead of being ingored.

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>
Change-Id: Ia059c1578f0d61e97cf98f6dd4b0b191d2273dc1

BUG-1431: make InstnaceIdentifier serializable

Straightforward fix for serializability.

Change-Id: I6681e6c85a4ebb8bf23d4dc239204b3a757ea942
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 1372 - toString methods in generated classes

- changed generated toString method in BaseTemplate,
  added info about simple name of class

Change-Id: I297dec72d3c908bab128b47fd5286a93fc347da3
Signed-off-by: Ladislav Borak <lborak@cisco.com>

BUG-1381: remove getLock() and deprecated constructor

All users have been updated to synchronize properly, now remove
getLock(). At the same time, shed the deprecated contructor, too.
Requires I3e962f284132b376f77e9e2665b3fbb47f246514 to go into controller
first.

Change-Id: Ic8b62468a4e829f035e45b3c715966315b3103a0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Degrade DataNodeContainer.getChildNodes() from Set to Collection"

Merge "Fix Ip{Address,Prefix}Builder performance"

Degrade DataNodeContainer.getChildNodes() from Set to Collection

Datastore-geared workload shows that around 1% of CPU is being used by
AbstractDocumentedDataNodeContainer.getChildNodes(). Of that, around 72%
is spent in ImmutableSet.copyOf(). We could perform that copy in the
constructor, but we can actually do better.

As it turns out, there is already a childNodes map, which is immutable
and indexed via QName present. That indexing guarantees that the values
compare as distinct, so we can reuse childNodes.values(), except for the
contract.

None of the callers care if the return is a Collection, so downgrade the
return, such that we can elide copying the stuff completely. Also fixup
all the callers. Requires https://git.opendaylight.org/gerrit/#/c/9340/
to fix controller-based users.

Change-Id: I310b351d80955a37f6672064dd238bb9cb1e16b1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge changes I1a5340f1,I9bb2bdd9

* changes:
  Implement DatastoreIdentifierBuilder
  Add String to known-immutable classes

Implement DatastoreIdentifierBuilder

This is straightforward enough, so make it work with BA clients.

Change-Id: I1a5340f1ac72148e11cb54554acbb49540251f88
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix Ip{Address,Prefix}Builder performance

Using String.matches() incurs major overhead of almost 4ms. Precompile
the pattern and be smart about the use of it. At the same time do a
small optimization to HostBuilder in the form of not instantiating
multiple matchers.

Change-Id: Ifc7f5ff90e71c545acc00275d84780cebe02ec1c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1381: guide users to use external synchronized block"

Codecs can handle the same yang "case" from multiple resources

- resolves a problem when the same case statements are augmented through different paths

Change-Id: I85a0972e352556c525ab64e093e77ad33abeedba
Signed-off-by: Martin Sunal <msunal@cisco.com>

Merge "BUG-1414: fix InstanceIdentifier.child(Class, Object)"

Merge "BUG-1407 fix."

BUG-1407 fix.

Change-Id: I4a7dbcbdbed61593d0096fa01a32af41a4cec4da
Signed-off-by: Alex Fan <railor33@gmail.com>

BUG-1381: guide users to use external synchronized block

This will prevent potential misuses and allow us to scale the utility
class further.

Change-Id: I14bbbf76ccfc7e0ff7942880b25d1f6d5964283e
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1414: fix InstanceIdentifier.child(Class, Object)

The result of the method is always a KeyedInstanceIdentifier, so let's
not force users to use casts.

Change-Id: Icabb8999445ff64936e7a32a69eacfc2c9647c64
Signed-off-by: Robert Varga <rovarga@cisco.com>

Speed up augmentable class serialization

During debugging an unrelated issue, we have noticed the following
cropping up in thread dumps quite often:

java.lang.Thread.State: RUNNABLE
  at sun.reflect.Reflection.getCallerClass(Native Method)
  at java.lang.Class.getDeclaredField(Unknown Source)
  at org.opendaylight.yangtools.sal.binding.generator.impl.LazyGeneratedCodecRegistry$AugmentableDispatchCodec.getAugmentations(LazyGeneratedCodecRegistry.java:977)
  at org.opendaylight.yangtools.sal.binding.generator.impl.LazyGeneratedCodecRegistry$AugmentableDispatchCodec.serialize(LazyGeneratedCodecRegistry.java:968)
  at org.opendaylight.yang.gen.v1.urn.opendaylight.params.xml.ns.yang.pcep.types.rev131005.bandwidth.object.Bandwidth$Broker$Codec$DOM.toDomStatic(Bandwidth$Broker$Codec$DOM.java)
  at org.opendaylight.yang.gen.v1.urn.opendaylight.params.xml.ns.yang.topology.pcep.rev131024.pcep.client.attributes.path.computation.client.reported.lsp.Path$Broker$Codec$DOM.toDomStatic(Path$Broker$Codec$DOM.java)

Leading to conjecture that the native call is pretty costly. This
patch introduces a weakly-keyed cache of reflection handles, which
should improve performance.

Change-Id: Ie7001df912c47c77bee8127a2258e8a6a4dce469
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "Documented Augmentable Codec"

Documented Augmentable Codec

Change-Id: Icecb78a557d41b49bce4af673aeae247c8b258d3
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-979: reworked data schema nodes ordering"

Merge "Revert "BUG-1097: implemented check for null or empty list in builder classes.""

Revert "BUG-1097: implemented check for null or empty list in builder classes."

This reverts commit 883ae26ee98953a5df7cc0956afa807a82d58a3a
which was breakage in Binding Specification and should not
be merged without community-wide discussion.

Change-Id: Ifda1124d974b1ce299551be80a84c45b85b4155a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-865: get rid of InstanceIdentifier-related warnings"

Merge "Bug 1329: Use original definition for searching for java class."

Merge "Bug 626 - It should be possible to create java doc"

BUG-865: get rid of InstanceIdentifier-related warnings

InstanceIdentifier has a few deprecated methods, which are still used
all over the place. Migrate their users to new equivalents.

Change-Id: Ifba5dbaee9e3f2a74bc084b085095712f422fb46
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 626 - It should be possible to create java doc

- added interface for documented types
- added fieldto for builders GTO and GT
- modified print method in BaseTemplate, EnumTemplate, ClassTemplate and
  and Interface template
  - fix for Bug 1001 - added description for enum constants
  - fix for Bug 1002 - changed formatting of type description

Change-Id: I5b0ea61369ff86243740d83282a2c4a3115be733
Signed-off-by: Ladislav Borak <lborak@cisco.com>

BUG-1097: implemented check for null or empty list in builder classes.

If one of builder variable is List, do following:
 - for null value create Collections.emptyList()
 - for empty list create Collections.emptyList()
 - for any other list create ImmutableList.copyOf(<arg>)

Added test.

Change-Id: I83e5aaf4f4253aa2e195c23ff5b48b04fc883052
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge changes Ibfbb4deb,I96e28324

* changes:
  BUG-1377: fixed code generation for nodes defined under grouping.
  BUG-865: removed unused utility methods from SchemaContextUtil

Merge "BUG-1276: fixed generated union constructor"

Merge "BUG-532: implemented copy constructor for generated builder classes."

Merge "BUG-1388: fixed ClassTemplate to avoid unused import of BigInteger."

BindingGeneratorUtil.computeDefaultSUID() should not modify lists

This prevents the utility from churning the lists passed in. Also
shares the comparator.

Change-Id: Iaded850b5b0fa98d79e4e4fdbed52175c669e8a4
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1388: fixed ClassTemplate to avoid unused import of BigInteger.

Change-Id: I88e3aa6c9456603360de2053b5a2bbeca4877aa7
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-1377: fixed code generation for nodes defined under grouping.

If node was defined in choice case which parent choice was defined in grouping,
node does not implement ChildOf interface. Fixed by adding search for parent node
also from groupings.

Added test.

Change-Id: Ibfbb4deb719804fd16cce5c091cc0969aeaf821e
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-865: removed unused utility methods from SchemaContextUtil

By using getOriginal method from DerivableSchemaNode we can avoid searching for original node from grouping. This causes
that some of utility methods from SchemaContextUtil become redundant.

Change-Id: I96e2832436331b2f454e21aedb01fb552e2e2d6e
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Turned off codec source code generation by default.

Change-Id: Iad6eda63c109e3d813c704e2eda56b067c7d1688
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "Output generated codec source to files"

Output generated codec source to files

- Added SourceCodeGenerator helper class that holds the generated
  field/method source code until outputGeneratedSource is called to
  generate the source for the entire class and output to a file
  under generated-sources.

- Modified TransformerGenerator and JavassistUtils to use the
  SourceCodeGenerator.

- Other pom changes to eliminate Eclipse errors.

Change-Id: Id910161569835d0cf9659ddf806e21f2545c713b
Signed-off-by: tpantelis <tpanteli@brocade.com>

BUG-979: reworked data schema nodes ordering

This patch changes ordering of child nodes - nodes are ordered as they are declared in
yang file (before they were sorted in alphabetical order). This ordering is applied for
schema node builders and also for schema node instances.

Change-Id: I628d40be638fc56ee3e4e1ff9c161ab1cf88ae19
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-532: implemented copy constructor for generated builder classes.

Added test.

Change-Id: Ic9d6b4c80b431978a624c7a0d7cd0f7f71d4bb8c
Signed-off-by: Martin Vitez <mvitez@cisco.com>

BUG-1270: be smart about Restrictions

Restrictions are based on type definitions, which are constant. For base
types they always are. For extended types, they are usually empty.
Optimize memory usage by reusing the lists anchored in types and also by
having a singleton instance for the all-empty case.

Change-Id: Ie9773d7efb57d403a008b82716eb22d97fefb224
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-1276: fixed generated union constructor

Current generated definition of union constructor

public UnionType(Arg1 _arg1) {
  super();
  this._arg1 = _arg1;
  this._arg2 = null;
  this._value = null;
}

was incorrect and setting this._value == null was replaced with setting _value to correct value, for example:

this._value = arg1.getValue()
or
this._value = _arg1.getValue().toString().toCharArray()

Change-Id: I837e5e1fc6845937d19abcdc8e2f8d52b410d316
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Bug 865: Fixed incorrect conversion to new APIs."

Bug 865: Fixed incorrect conversion to new APIs.

Change-Id: I585e4d9142dc261317661c4442c771db791a46de
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1329: Use original definition for searching for java class.

Change-Id: I667c5370e45353626c65099c57876b2f8c60ab91
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1347: fixed bug in generation constraints for decimal64 type."

Merge "Bug 865: Removed uses of packageNameFromModule"

Merge "Bug 1366: Fallback scenario for IdentityCodec to work without schema."

Merge "API Cleanup: Moved package name computation to BindingMapping."

Bug 865: Removed uses of packageNameFromModule

Change-Id: I49d16e69943777acb34ac904ce2559302d0ac39c
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Bug 1366: Fallback scenario for IdentityCodec to work without schema.

Change-Id: Ife4c3c15db1397829c5b5a46575785121bf41ed1
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

API Cleanup: Moved package name computation to BindingMapping.

Change-Id: I8e9016c4cadd7bee36ec440b960891503b645f4a
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

BUG-1347: fixed bug in generation constraints for decimal64 type.

Added test.

Change-Id: I52a539ea7c5ff6b36b9bc362660188f9627bff7d
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Bug 1339: Decreased anyxml warning to debug."

Bug 1339: Decreased anyxml warning to debug.

Change-Id: I9f21f1fd181229a6b3dccd7aa7dc9c53ab4e5db0
Signed-off-by: Tony Tkacik <ttkacik@cisco.com>

Merge "BUG-1304: rework BindingGeneratorImpl from xtend to java"

BUG-1304: rework BindingGeneratorImpl from xtend to java

Change-Id: Idc09bca749951fb8c075b9ffb291c2a6a362dbe2
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Merge "Bug 560: Fixed incoherent API implementation."

BUG-579: Remove the dependency on GeneratedTOBuilderImpl to break a package cycle.

Change-Id: Ibcdd7bcb0cdf44d5d7ef30105624bede15bcd50e
Signed-off-by: Martin Vitez <mvitez@cisco.com>

Use CharMatcher in packageNameForGeneratedType()

Instead of performing up to two string copies, use a single replacement
pass, taking into account two characters using a CharMatcher.

Change-Id: I305d384eff2da5d0bfb3b1b820270f4480a800a4
Signed-off-by: Robert Varga <rovarga@cisco.com>

Optimize BindingMapping.toCamelCase()

Instead of replacing characters, we use a CharMatcher in the Splitter.
This elides the need to copy strings and search them multiple times.

Change-Id: Iff0e580f927a5f983a3eb6e2e3b318f33a1b2217
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 560: Fixed incoherent API implementation.

Fixed bug in getRpcServiceClassFor method. Now method follows API contract and will return class
for specified module namespace and module revision.

Signed-off-by: Lukas Sedlak <lsedlak@cisco.com>

Do not use "".equals(String)

This is an ugly shorthand for String.isEmpty(), so let's not use it.

Change-Id: I6f00cc0676f982e99690294a11e703832b404977
Signed-off-by: Robert Varga <rovarga@cisco.com>

Merge "BUG-1119: optimize length and range checks in generated sources."