Bump versions to 4.0.2-SNAPSHOT

This starts the next development iteration.

Change-Id: Ic8984f84bd1c3258cd4084110d5486085c498cbe
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix Uint64 cache lookup

Looking up a value which has its 32 least significant bits set to
zero will lead to Uint64.ZERO being returned. This also affects other
values which have LSB bits set so that they match cache length.

Fix this by comparing the long value with cache length, so we get
an accurate check.

JIRA: YANGTOOLS-1028
Change-Id: I33bf061e5ff486beaf034cab7827f93e93003489
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Convert yang-common to a JPMS module

This drops plugin configuration in favor of declaring a module. It
allows us to ditch metainf-services as ServiceLoader bindings are
now explicit.

Change-Id: Ie160bbf551f4bbca424978215400c78d4b305334
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Make concepts an explicit module

This adds module-info, turning concepts into a full-pledged module.

Change-Id: I3225cb148364818ff2ff1c0abac0ebf90c4f198c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Improve AbstractRegistration.isClosed() performance

The check for the registration being closed does not need to be
ordered with other access, except close(). Using VarHandles, we
can express the check in terms for getAcquire().

Change-Id: Idf685e8adafbe102c4c65f735d872a1f4b801188
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump versions to 4.0.1-SNAPSHOT

This starts the next development iteration.

Change-Id: I91bf47f8d49bb07de626fb059e22a67234c2974d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix EffectiveStatement namespace access

We really want to use empty maps and optionals in this interface
contract -- do that now.

Change-Id: Ibfc72d29ff24c592e2a81ad894bb0b9f8f683f6d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove DataTreeCandidateNodes.fromNormalizedNode()

This has been replaced by written(), remove it now.

Change-Id: Ie4e939cef75240a72556df7599d492dc2033db39
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Deprecate DataSchemaContextTree.getChild() for removal

This strengthens deprecation, preparing for its removal.

Change-Id: I97e8fbe1953d103eceb1fa37181f2caa84820d90
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove AugmentToChoiceNamespace

This namespace has been deprecated for removal, as it is not used
anywhere. Remove it now.

Change-Id: Ia199971ab5651fbf4eac74528668b74fd738e403
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove ImplicitCaseSchemaNode

As noted in deprecation noticed, this class is a former remnant,
we can remove it safely.

Change-Id: I9c730a14299a318664eab76b70ea72aee439f964
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Push out FIXMEs to 5.0.0

This another round of pushing out FIXMEs.

Change-Id: I4163a08d275ff4c608bc0678a220c6436a215d4d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch BasicCodeGenerator to use EffectiveModelContext

This rolls out EffectiveModelContext to codegen plugins, so they
can take advantage of it.

JIRA: MDSAL-435
Change-Id: I94d7385d29962e281a55b5e0522f7bc198648175
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Make DataTree take EffectiveModelContext

This deprecates setSchemaContext() in favor of
setEffectiveModelContext(), so that users are encouraged to
migrate.

JIRA: MDSAL-435
Change-Id: If859130e204a058f89c2fee04d4be69969215399
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Allow startAnyxmlNode() to handle differing object models

Anyxml can have a number of underlying object models, with the most
common being DOMSource. This changes the entrypoint to work the same
as anydata, allowing implementations to support different models.

Change-Id: I06ec1e5d46e7bc2287b239ea97811d58544c8c2b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose EffectiveModelContext from YangParserTestUtils

We want to start using effective statements for as many operations
as possible -- make sure it is convenient to do so.

JIRA: MDSAL-435
Change-Id: I480475f40356d097c6769253aac0b18453d94153
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Push out FIXMEs to 5.0.0

We are not going to address these in 4.0.0 timeframe, push them out
to 5.0.0.

Change-Id: I73b9ba42c552c88758866d325b76fe9aebc3b569
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename MountPointStreamWriter to StreamWriterMountPointExtension

This better reflects the fact this is not a standalone interface,
but rather is an extension to NormalizedNodeStreamWriter.

Change-Id: I8cc0b9d91c95e227877b75e6a333ca830e1e0eeb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename NormalizedMetadataStreamWriter to StreamWriterMetadataExtension

Naming here is quite inconsistent -- we should be explicit about this
interface being a NormalizedNodeStreamWriter extension.

Change-Id: I44fb52d06899785c6e9c8d1eb405343f89908160
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Integrate AnydataExtension

anydata is the same as anyxml, it should be integrated into
NormalizedNodeStreamWriter. Also update FIXME around
startAnyxmlNode() and domSourceValue().

Change-Id: Ia39515a884d1a6883fce72444b8371c4d9f7b9c1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Make DataTreeTip.prepare() throw a checked exception

Not all validation can be done during validate() phase, hence
allow validation failures to be reported cleanly.

Change-Id: I88dbe90c2e4b2fc79fad836939183fa43151ae6c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix StoreTreeNode.getChild() return type

We should be returning Optional<? extends T> here, so that the
interface can be properly specialized.

Change-Id: Ia3a84c6426e924299a10ea03d435fb584b685c47
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose EffectiveModelContext from YangTextSchemaContextResolver

This is another step towards migrating away from SchemaContext.

JIRA: MDSAL-435
Change-Id: I1fc6cca79fdfdcbcb45092a402b5b1f3ea9ab206
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add EffectiveModelContextListener

This is a replacement for SchemaContextListener, managing
EffectiveModelContext.

JIRA: MDSAL-435
Change-Id: Icf7c68381d69875a6ea6030ac665d45a7c26ae5f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update FIXMEs

This just pushes FIXMEs out to 5.0.0.

Change-Id: Ief679ea949dd995154c9c26ca90dbe0f2d0829eb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename Any{Data,Xml}SchemaNode to Any{data,xml}SchemaNode

This improves naming consistency, as the statements are called
'anydata' and 'anyxml', not 'any-data' nor 'any-xml'.

Change-Id: I5b2563cddba3b39d4b8faa891b85505b61af18b4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add odl-guava dependency

odl-yangtools-util is pulling in guava, is should depend on
odl-guava to get it.

Change-Id: I7514cf9fe69fa14e042c95bbcc93e4882ac1ae0f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add uint adaptation to AbstractNormalizedNodePruner

When migrating from old snapshots to magnesium format we have to
make sure we also legacy uint mapped values, so that after recovery
we end up with proper types being present.

JIRA: CONTROLLER-1919
Change-Id: I86ee49efee0d6c0519680197ea3e3985b1566e0c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rework AbstractNormalizedNodePruner

This refactors NormalizedNodePruner to use
ReusableImmutableNormalizedNodeStreamWriter for creation of the
actual NormalizedNode tree.

It simplifies the implementation and allows the reuse of minor
optimizations like LeafInterner.

JIRA: CONTROLLER-1889
Change-Id: I93bd00bcff13245d808f7adf6122a6c20156e9fd
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch default stream output to Sodium SR1

This flips the switch and uses Sodium SR1 format for all unversioned
users. Also updates tests to reflect new expected stream sizes.

JIRA: CONTROLLER-1919
Change-Id: I9973bb93f469c1b59533ce580c795cd30c9edda4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch default stream output to Sodium SR1

This flips the switch and uses Sodium SR1 format for all unversioned
users. Also updates tests to reflect new expected stream sizes.

JIRA: CONTROLLER-1919
Change-Id: I9973bb93f469c1b59533ce580c795cd30c9edda4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate reference to YangInstanceIdentifier.EMPTY

This constant has been removed, migrate to its replacement.

Change-Id: I0937b4602552ec8101132319889bc92e63de06cb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename AnyXmlNode to DOMSourceAnyxmlNode

Rename AnyXmlNode to DOMSourceAnyxmlNode, as that reflects its place
in the object hierarchy. NormalizedNodeWriter is extended with stub
support for other object models, yet DOMSource is the only one
supported at this time.

JIRA: YANGTOOLS-976
Change-Id: I962c910557a14dad5f88fa4e69146606e21fddc4
Signed-off-by: Andrii Mazurian <a.mazuryan@gmail.com>
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add Magnesium stream version

This is a variant of Sodium SR1 streaming format, which does not
allow presence of BigInteger tokens, as those values are superseded
by Uint64.

JIRA: CONTROLLER-1919
Change-Id: I1dc5c7376bf1ecf105e965e42d74806ed99ab9b1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add LithiumSR1 input/output support

This is a code drop of both DataInput and DataOutput for Sodium SR1
streaming format. It uses its own dedicated tokes, along with quite
a few of stateful encoding rules.

Where Lithium did encoding did not perform any look-behind except
for LeafSetEntryNodes and only maintained simple coding tables,
this coder maintains simple 'parent' state tracking.

While the state tracking is not mandated on the encoder side, some
amount of tracking is required in the decoder side to provide full
coverage of coding constructs.

Two examples of this are:
- parent QName references, which are expanded to cover not only
  LeafSet/LeafSetEntry, but also UnkeyedList/UnkeyedListEntry
  and most importantly Map/MapEntry pairs
- Map/MapEntry tracking is also important for coding leaf nodes
  which represent keys -- in those cases emitting the leaf value
  is superfluous, as it can be looked up from MapEntry's predicates

Also this state tracking is maintained on-stack, thus making issues
related with it nigh impossible (unlike the Lithium LeafSetEntry
bugs).

JIRA: CONTROLLER-1919
Change-Id: I5fcf85a76750301cd3f8bcbd505baa0f95397cb5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add Magnesium encoding tokens

Changes to how uint8/16/32/64 types are mapped results in the need
to transfer the new value types. These represent 4 brand new tokens,
which need to be handled.

One option would be to fork NeonSR2 and modify it, somehow dealing
with value lookups (i.e. Uint8 is not valid in SR2 stream, but tokens
are shared across Lithium/NeonSR).

Another option is to create a streaming format from scratch, coming
up with a completely new family of tokens and encoding rules. This
is attractive, as both current formats have three deficiencies:

1) they encode MapEntry key values twice, once in the leaf itself
   and once in the entry's NodeIdentifierWithPredicates
2) they are '0-happy', i.e. they do not recognize that integer codes
   and sizes are typically much smaller than the 4-byte range and thus
   much of the stream is just small ints encoded as 4 bytes
3) while they are simple and straighforward, they also end up wasting
   bits -- the four token families (codes, value types, node types,
   path argument types) each have at most 15 distinct values, and
   hence the bytes used to transmit them have 4 empty bits (or more)

Hence we take the other option and design a streaming format with
brand new tokens, which are structured to carry as much more
information per byte.

This is done by combining 'type' information with forward coding
hints, for example:

- a Boolean leaf value would previously require 2 bytes:
    (byte)    ValueTypes.BOOL_TYPE
    (byte)    true/falseIn the new tokens
  whereas new tokens express this in one byte:
    (byte)    LeafValue.BOOLEAN_{FALSE,TRUE}
- a byte[5] value would require 10 bytes to encode:
    (byte)    ValueTypes.BINARY_TYPE
    (int)     length
    (5 bytes) bytes
  whereas new tokens express this in 6 bytes:
    (byte)    ValueTypes.BINARY_0 + 5 (works up to 127)
    (5 bytes) bytes

A similar approach is taken when encoding NormalizedNode types. Here
we recognize there are only 14 node types (currently) and hence we
can provide up to 4 additional bits for information about how the
node's identifier is encoded.

For PathArguments, we also use separate coding, where the format
is flexible based on the 4 types on identifiers there are, each
having slightly different format. Most notable here is the integration
of QName reference coding (for normal PathArguments) and integrated
set size coding (for AugmentationIdentifiers).

This this patch adds just the token definitions, along with basic
documentation and version declaration.

JIRA: CONTROLLER-1919
Change-Id: I9f6f58a7cb77d9d98c46e13b8dc6955c8e3c0737
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add an explicit namespace sharing test

This adds a test to target QName/QNameModule/String reference
differentiation.

JIRA: CONTROLLER-1919
Change-Id: Iad736a81f627da4a04753b380acb530ccc8ba219
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump odlparent to 6.0.0

This switches to using a released version of odlparent.

Change-Id: Ia9f2c27b38b851abe98f9b90b13d38dee1d46c59
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rework PathArgumentTypes lookup

This lookup relying on final methods, which is not a correct
assumption, with NodeIdentifierWithPredicates having at least two
properly-hidden implementations.

Rework the lookup in terms of instanceof checks, which saves a table
lookup and unboxing operation.

Change-Id: Ia6b272715d19e432e7e0839b6294035e12b1d293
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename ValueTypes to LithiumValue

These constants are only used in Lithium-based streams, make sure
we reflect that in the name of the class, so they do not end up
being confused.

JIRA: CONTROLLER-1919
Change-Id: I2e880b825d82b8a9b76008248d7663eab4bc1d71
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move Neon SR2 tokens into its own class

Same as with base Lithium tokens, these can create confusion about
where they are used. Make sure we encapsulate them in their own
class, so no confusion ensues.

JIRA: CONTROLLER-1919
Change-Id: I197b9118a5d9a09562db0a899bb6b8dc0dfae28b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename ValueTypes to LithiumValue

These constants are only used in Lithium-based streams, make sure
we reflect that in the name of the class, so they do not end up
being confused.

JIRA: CONTROLLER-1919
Change-Id: I2e880b825d82b8a9b76008248d7663eab4bc1d71
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename PathArgumentTypes to LithiumPathArgument

These tokens are only used in Lithium-based streams, but the global
name is slightly confusing. Rename to LithiumPathArgument, which
makes the context more obvious.

JIRA: CONTROLLER-1919
Change-Id: I2b92be4c469de8dffba6e071449b5ae947b9ace8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename NodeTypes to LithiumNode

This makes it clear these constants are only used in Lithium
encoding.

JIRA: CONTROLLER-1919
Change-Id: I1fb44f49d3409fdd007fe58dc6ce92b0eb6744b8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move Lithium tokens to their own class

TokenTypes assumes singularity, which can create confusion, as we
have multiple multiple distinct sets. This separates out
Lithium-specific tokens into their own class.

JIRA: CONTROLLER-1919
Change-Id: Id8c47be7c432b44980dbeac8ef41d430c64e5490
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate from YangInstanceIdentifier.EMPTY

This migrates to the replacement empty() method.

Change-Id: I32ca026a33835edb16f8e1e6142e9192c880076b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate from YangInstanceIdentifier.EMPTY

This migrates to the replacement empty() method.

Change-Id: I32ca026a33835edb16f8e1e6142e9192c880076b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add a 100K-entry test

This adds a test for serialization of a Map of 100K entries,
each of which has the key leaf and a simple constant non-key leaf.
Unlike other tests, this quantifies how well the encoding works
when faced with large maps.

JIRA: CONTROLLER-1919
Change-Id: I306e5175ba595a0967432393766f8317e7205492
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add encoding size asserts

There is a number of places where we check serialize/deserialize
operations through ByteArrayOutputStream. In order to check stability
(and evolution) of our serialization formats, it is useful to check
the sizes of the intermediate bytes.

JIRA: CONTROLLER-1919
Change-Id: I171894ba3791245a53fe39c2d3238d2341d8ffc4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Separate out AbstractNormalizedNodeDataInput

As we are going to introduce a streaming format for Magnesium, which
uses very different token set, it is convenient to have a common
base class which does not have conotations about what the tokens are.

We provide a baseline counterpart to AbstractNormalizedNodeDataOutput
and base AbstractLithiumDataInput on it. The asymmetry of
writeYangInstanceIdentifier() is fixed by moving it to
AbstractLithiumDataOutput.

Change-Id: I55d318349f2c89508f3834c8ca5b69e69b7171b1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Get rid of Strings.repeat()

Java 11 is giving us String.repeat(), which has better performance
characteristics than Guava's Strings.repeat(). Ditch Guava in favor
of Java 11.

Change-Id: Ic5b8b507802f577a28b6b8df7c79e1e50efa779b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Take advantage of ValueNode in NormalizedNodes

We can perform a single instanceof check instead of two to check
for LeafNode and LeafSetEntryNode. Also cleanup checks to remove
superfluous type arguments.

Change-Id: Id9964088ff0751217175cf1a8c6f13009a0276e8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup requireNonNull() use in NormalizedNodes

Take advantage of the non-null return to save a tiny bit of bytecode.

Change-Id: Ie43b7ccc15dd96cd320eb74c0b0a2d5a0dd8a4da
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add missing @Override

LoggingNormalizedNodeStreamWriter.domSourceValue() is missing
an annotation for some reason. Fix that.

Change-Id: I01741c2a28de11f2a86562e588db15882dbe0912
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Simplify Uint range checks

This saves a single instruction (and a stack slot) in the hot path,
while penalizing exceptional path, by not giving it the constant
string.

As exceptions are expected to be (relatively) rare, this should not
hurt much and if for some reason it does, we can always revert.

Change-Id: Ibd926732f49b0d0692f0c894166f4427a49d7f7d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove unneeded masking in Uint{8,16}.valueOf()

As we are checking the range of the input, we can just narrow input
value, saving us a few instructions in the process.

Change-Id: I2ff52b1a75565da76804e4f02114249200e7d841
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Change Uint* IAE messages

As we are rolling out Uint* as replacements to widened binding
representations, there is a potential useability regression in that
the excepion reported no longer contains the range of allowed
values.

This patch changes the reporting structure, so that the binding
format is retained, while also optimizing the checks a bit.

While we are in the area, fix Uint32/Uint64's failure to throw
NPE on null strings.

Change-Id: Ib482d2e632e7e4f4fbc16f047e70d8077aa9341a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Optimize anyxml output

We do not need to instantiate a new factory every time we perform
encoding, keep the factory as a shared constant.

Change-Id: Ideff56076a1516784cd82f67438e5b740c4d3eeb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add NodeIdentifierWithPredicates.containsKey()

This is a useful check, which can be performed via getValue()
and checking for null return, but implementations can perform
it a wee bit more quickly.

Change-Id: I2182870ca3cfba082c6cebafe947643d5e191f4a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move Lithium-specific logic from AbstractNormalizedNodeDataOutput

The binding to TokenTypes and co. are really part of
AbstractLithiumDataOutput, as different serialization streams
versions can use completely different tokens and sizing.

Change-Id: I703c1da26ee2f99dee406e4de26db702beb05a06
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove ensureHeaderWritten() from writeNode()

This updates documentation of AbstractNormalizedNodeDataOutput
to make it clear that the NormalizedNodeStreamWriter aspect of
it is an implementation detail and that the stream has been
header-initialized by the time any of those methods are called.

The clarification renders calling ensureHeaderWritten() from
writeNode() superfluous, as at that point it is guaranteed to
be a no-op.

Change-Id: I85a5c1304849fe5bc737fa51bd4b40ff2dd8c08c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reorganize AbstractNormalizedNodeDataOutput

This reorganizes AbstractNormalizedNodeDataOutput so that it
implements all NormalizedNodeDataOutput with final methods,
deferring implementation as need to abstract methods.

This way we have precisely one implementation of public methods,
making it easy to audit for correctness. Furthermore it eliminates
writeAugmentationIdentifier() override in NeonSR2 writer.

It also introduces writeQNameInternal(), which skips header checks,
as the call sites have already performed those checks.

Change-Id: Icb4a7e994c04e3d52bd561d99c7743dfdfd88738
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

AbstractNormalizedNodeDataOutput fails to write out header

In case AbstractNormalizedNodeDataOutput is used in a way, where
NormalizedNodeDataOutput.writePathArgument() is the first method
invoked, the stream header would not be output, leading to it
being unreadable.

Change-Id: I4ababb360129b2ef673d0546333599dd10fbdd9e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out AbstractLithiumDataInput

This splits out AbstractLithiumDataInput and disconnects Lithium
and NeonSR2 reader implementations. This allows Neon SR2 to be loaded
without Lithium, thus reducing the number of actual possible
implementations at runtime.

Change-Id: I90863c342d7bbea4946fd27d25dfb822efb4ed6e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup PathArgumentTypes

Do not use long qualifiers for individual types, preferring
importing them. Also drop public modifiers, as this class is
package-private. Finally import static checkArgument().

Change-Id: I267d0f5675911b2d9990e8f7c3fdd49265c10d8b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

AbstractNormalizedNodeDataOutput fails to write out header

In case AbstractNormalizedNodeDataOutput is used in a way, where
NormalizedNodeDataOutput.writePathArgument() is the first method
invoked, the stream header would not be output, leading to it
being unreadable.

Change-Id: I4ababb360129b2ef673d0546333599dd10fbdd9e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use Optional.isEmpty()

This is Java 11 addition, a shorthand for !isPresent(). This allows
us to be a bit more concise.

Change-Id: I99461863e8ae292d0ebea9cc40a5bab2e0805dfb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use {Byte,Short}.compareUnsigned

Java 9 has these utility methods, use them instead of custom-brewing
an equivalent.

Change-Id: I774f2c0dcfa9f602830a1c98761b36520613bd52
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose NodeIdentifierWithPredicates.Singleton

Exposing this implementation allows users dealing with serialization
to use Singleton.singleEntry() and skip allocation of a Set.

Change-Id: I3d5941fc62a9ce9766b3bb15eb86e5c9f45af60b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Tighten AbstractLithiumDataOutput.writeString()

We can only ever pass nulls from Revision encoding, refactor to
make that clear (and enforced) in code. This more clearly defines
the context of TokenTypes.IS_NULL_VALUE and where it can be emitted.

Change-Id: I14045c9fc3eaf04b4bde858d322de45d3160de26
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove NormalizedNodeOutputStreamWriter

This class is tied to NeonSR2 serialization format through subclassing,
where it really is a package-private detail. This leads to two concrete
classes being in existence for a particular format, which simply does
not make sense.

Eliminating this subclass allows us to make Neon SR2 final, thus arriving
and monomorphic or bimorphic invocation of all methods based on whether
we have seen Lithium (well, Oxygen) format at runtime.

Change-Id: I9e0463ec4879900e82cf757006dccfdbeb0d7297
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove NormalizedNodeOutputStreamWriter

This class is tied to NeonSR2 serialization format through subclassing,
where it really is a package-private detail. This leads to two concrete
classes being in existence for a particular format, which simply does
not make sense.

Eliminating this subclass allows us to make Neon SR2 final, thus arriving
and monomorphic or bimorphic invocation of all methods based on whether
we have seen Lithium (well, Oxygen) format at runtime.

Change-Id: I9e0463ec4879900e82cf757006dccfdbeb0d7297
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Disconnect {Lithium,NeonSR2} implementations

We will need to define two new serialization formats: one
sharing object value serialization (for NeonSR3) and one
disconnected from it (for Magnesium).

In order to maintain scalability with so many formats, we want
to avoid JIT considering implementations which were not referenced
at runtime. This should make CHA and method dispatch more
efficient.

Since we are isolating things, we also pull ValueTypes lookups
and keep it in the same class for easier understanding.

Change-Id: I3db4e9633db4a75016e17ac31bb38452bcb9f42a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Disconnect {Lithium,NeonSR2} implementations

We will need to define two new serialization formats: one
sharing object value serialization (for NeonSR3) and one
disconnected from it (for Magnesium).

In order to maintain scalability with so many formats, we want
to avoid JIT considering implementations which were not referenced
at runtime. This should make CHA and method dispatch more
efficient.

Since we are isolating things, we also pull ValueTypes lookups
and keep it in the same class for easier understanding.

Change-Id: I3db4e9633db4a75016e17ac31bb38452bcb9f42a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Lower ValueTypes constant visibility

This is a package-private class, hence 'public' is superfluous.

Change-Id: I4dd03b3ff1ae0cc4cc11f823cbd9538e6932d6b3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update uint implementations a bit

Constructor should be private and Integer.toString() is better
than String.valueOf() because it is an intrinsic.

Change-Id: I7e5da76b90add67e479c8d673ad0c696a74907dc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate Class.newInstance() user

Class.newInstance() is deprecated since Java 9, migrate to explicit
constructor invocation.

Change-Id: Ifc2e67aa4a56a9ccc306eb540100ebc299eb00c9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add UintConversions

This adds utility conversion methods for Java/Guava equivalents,
so that transitioning to/from these is easier on the users.

JIRA: YANGTOOLS-1018
Change-Id: Ibcd0cd908cd85c0f038206f96e667a144569582b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update and document Uint

This updates Uint classes to expose ZERO/ONE/MAX_VALUE and documents
their methods.

Caching is reworked to work on tunable statically-populated caches,
where Uint8 is always fully cached. This mirrors what is being done
for boxing purposes on java.lang.Byte, etc.

On top of the statically-populated caches, each type has a dedicated
Interner instance, which can be efficiently consulted using intern().

JIRA: YANGTOOLS-1018
Change-Id: Ic25b5ac685c920f7d82d588309a543f9a8eb43b7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch encoding unsigned type normalization to Uint* types

Using Java native types for unsigned values is wasteful especially
in case of uint32 and uint64. Furthermore it leads to uncertainty
between int16/uint8, int32/uint16 and int64/uint32.

This is a partial switch, where we retain java.lang types for
signed entities, but switch the unsigned ones.

JIRA: YANGTOOLS-1018
Change-Id: I0eeb1d343d77d05c4e00cb6919c128042ab31eb1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Hide Immutables.KNOWN_IMMUTABLES

This constant should not be leaked to the outside world, hide it
and make it an ImmutableSet.

Change-Id: If05dc0bb5b9915a371913bd6cc0c9ecb0d253c89
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Optimize immutable lookups

We have a number of private Set/Map/Lists which we are using for
lookups. These typically are backed by Immutable implementations,
hence we can propagate the type knowledge to improve bytecode
generation and make JIT's life easier.

Change-Id: I7f90393b8bc76196deced50f1800c3f99424fa1c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Verify leaf node squashing

There is a very slight possiblity of somebody playing tricks
to inject Leaf node with a DataContainerChild value, in which case
decoding would break. Verify this does not happen.

JIRA: YANGTOOLS-1019
Change-Id: Idbd6457817b9db5f2b2d4b3fafce57169ace6ec1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup LazyLeafOperations

LazyLeafOperations.isEnabled() allows code to query whether leaf nodes
are being treated as expendable, hence assumptions about them being
equal on identity can be violated. We retrofit the check into tests we
modified before.

Furthermore users of getValue() expect it to work with identities,
even when it is being specialized to a Collection. The expectation here
is that the same collection will be returned from NormalizedNode,
which we are violating. Fix this up by introducing a new implementation
class, which hides this difference and defers equality to the backing
map.

JIRA: YANGTOOLS-1019
Change-Id: Icf62619c3ea5a1c994c6547a0674b36d707248d3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup RpcResult definitions

The 'errors' are a List and the list is always present, which
has goodness for users.

Change-Id: I44fad2f48fe8882eb5cb98b1c099a547659f77c0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove useless method generic arguments

These arguments are not used, remove them.

Change-Id: Ibd8140b68d012c662a7670ab0ae8639d9a0134fb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not retain leaf nodes in containers by default

Leaf nodes are observed to dominate our memory footprint. This
patch modifies immutable implementations of NormalizedNodeContainers
such that they eliminate any leaf nodes when they are stored, retaining
only the encapsulated value. Leaf nodes are then re-created on access
as needed.

Note this changes two aspects of operation:

1) looking up a leaf will yield a new object every time it is invoked,
   hence callers must not rely on on returned objects to be identical.

2) getValue() is operating on the backing map's entrySet() and requires
   its transformation. This means that multiple iterations over values
   will not necessarily yield same objects.

Neither of these violates effective immutability contract of NormalizeNode,
as the returned objects will compare as equal.

This behavior can be switched off at runtime by setting the system property:

    org.opendaylight.yangtools.yang.data.impl.schema.nodes.lazy-leaves=false

JIRA: YANGTOOLS-1019
Change-Id: I00fc3ac0b64290068e8a6e4c8972454729fa9011
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove YangInstanceIdentifier.EMPTY

This constannt has been deprecated for removal -- now we remove it.

Change-Id: I0808a8e8ebe455275bf6fcc24edae8126a4087c2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove references to YangInstanceIdentifier.EMPTY

The constant is going away, update javadocs to reflect that.

Change-Id: Ie0415cbd1afd375b14a6c62d097f288ed2193613
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Deprecate YangInstanceIdentifier.EMPTY for removal

As a JDK9 extension, mark the constant for removal.

Change-Id: I931d870cedef109526bef2f3c6336b1bc2256158
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Deprecate YangInstanceIdentifier.EMPTY

This runtime constant forces instantiation of a subclass, leading
to a SpotBugs warning. A static accessor works just as well --
hence YangInstanceIdentifier.empty()

Change-Id: I67b562b176f17d3c327b4589b673017f513f98f5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add Builder.build() override

This override stops the unchecked exception from leaking into
IDE-generated implementations.

Change-Id: I7c4fc039e6d0c468ce08cf1647c82473cf6d9096
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate away from @ConstructorProperties

ListenerNotificationQueueStats is meant for consumption in
java.management and therefore it does not need java.desktop
to work -- this is very important for JDK 9+ modular deployments.

Change-Id: I0e7715113ede968db05aacef136e35649cdfa492
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Hide AbstractIdentifier.getValue()

AbstractIdentifier is a utility wrapper class, hence it should not
have a public surface users should be interested it. Anybody relying
on .getValue() who is not a subclass should expose a domain-specific
getter method.

Change-Id: I64af4b385055d92c6499d62879c77e77216d4b39
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup ValueTypes lookup

Change type of TYPES to ImmutableMap, so we are binding to a concrete
class when looking up. Also clean up initialization to follow fluent
builder pattern.

Finally inline requireNonNull() call into the invocation, so that its
return value is not wasted.

Change-Id: I4487bd43232131ca548441f4c8901a8c5dc60efa
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Correct cache sizing for Uint types

There is an off-by-one error in these, fix that up.

Change-Id: I7031e8b59bc2c35741d53d663aba3951f6ee2862
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose Uint*.{MIN,MAX}_VALUE constants

These contants are useful for outside users, as they allow them
to reference known invariants.

Change-Id: I28467737a2dfe5cac811e7ecbc9ead75c47d1344
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix SchemaContextProvider nullness

SchemaContextProvider needs to return a schemacontext, or throw
an ISE.

Change-Id: I098c09a77a261f81b2b4b31207733169563aa936
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add a singleton NodeIdentifierWithPredicates

Heap dumps from OFP-centric load shows that single-predicate
identifiers are dominating the workload. This adds a dedicated
class to handle those cases.

The upshot of a dedicated class vs. a singleton map is a reduction
of one object, i.e. with SharedSingletonMap we get:

NodeIdentifierWithPredicates (24/32b)
SharedSingletonMap (24/32b)

whereas a dedicated class does only:

NodeIdentifierWithPredicates.Singleton (32/40b)

Which reduces total storage requirements from 48/64 bytes down to
32/40 bytes, saving 16/24 bytes (33/37.5%).

Change-Id: I3172ab9435d67adc12ae1734f9ad35f1dc8f891f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Optimize ImmutableNodes.leafNode()

This eliminates instantiation of a temporary builder and shortcuts
to creating the leaf node directly.

Change-Id: I66256b46ef0de1aa3745bb90e70d41a2bd29d419
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>