Bug 8126 - Some augments are not being processed

If a node is marked as mandatory (e.g. "leaf" with "mandatory true;"),
yang statement parser does not perform augmentation of such node into
a target node in different module even though one of ancestors of the
target node is a non-mandatory choice or a non-mandatory list from the
same namespace as the mandatory node and so in fact it should not
be considered as augmenatation of mandatory node into different module
anymore and augmentation should be performed.

We also increase severity of the augment error log from debug to error.

Change-Id: Icb8554ba61ce0aa0fa25541dd5675f3aa8ba3d1b
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-7833: Fix identityref codecs

Introduce QNameCodecUtil to help JSON and XML codecs correctly implement
their identityref codecs. As it turns out, both only need to provide
proper mapping functions without having to deal with multiple codec
hierarchies.

The patch is also more strict about parsing the string, as it rejects
malformed identityrefs, i.e. those which contain invalid characters.

This fixes BUG-7833, which is triggered by invalid PUT, where we parse
an empty string as a null identityref.

Change-Id: I1f3086a0f9e930f7782dff8d6c39329d4b28ed14
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: unify JSONCodec and XmlCodec methods

This patch introduces TypeAwareCodec to define the common interface
which both these codecs implement. We adjust methods to conform
to this interface.

Change-Id: I25ccaf56c2e6013dee01016efe5fd7c960790f70
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: make XmlCodecFactory a subclass of AbstractCodecFactory

AbstractCodecFactory contains everything we need for efficient caching,
the only problem we need to solve is binding to NamespaceContext. This
patch does exactly that, decoupling XmlCodec from the generic Codec
interface, so that serialization and deserialization paths are explicit.

This flushes out the fact that the codecs are not used in the egress
path at all and rely on TypeDefinitionAwareCodec instead. That deficiency
will be fixed in a subsequent patch.

Change-Id: I0bdf8af673893f2dc4fcc8842b64f9bed1bc5236
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up XpathStringParsingPathArgumentBuilder

Use an internal ArrayList to lower the amount of pointer-chasing
we do. Also make sure we format the error string only when it is
necessary.

Change-Id: Ic2ce96b45dd44b1d1da24ceb9452a2548f883446
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: factor out AbstractCodecFactory

Since the type decomposition logic can be shared between XML and
JSON codecs, factor it out into yang.data.util.codec, where it
can be efficiently shared.

JSONCodecFactory becomes a pure type binding provider, with all
of the logic abstracted out. We also reduce CodecCache method
visibility, as they are a package-private implementation detail.

Change-Id: I58e50dd966915e4e1a691add517c9a6d0b647c80
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: extract codec caching from JSONCodecFactory

Caching aspect of CodecFactory is independent of the actual codec,
factor it out for reuse with XML codecs.

Change-Id: Ib6678a038482a2f50a8a55a0065158e3bc840cd8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7996: expose different implementations of JSONCodecFactory

We have four different implementations of JSONCodecFactory, each useful
in different circumstances. Rather than having a singleton create()
method, expose multiple methods so users can pick and choose the
implementation which is best suited to their use case.

Change-Id: I1c2e48ed2bc2734447e08e043d8505b741f1e401
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7996: reshuffle caching logic

This patch reworks JSONCodecFactory internals to split the codecs
by their type, allowing simple codecs to be reused across multiple
leaves.

Efficient implementation of this split requires exposing individual
StringCodec classes -- as we need to avoid the broken union codec.
This also has the added benefit of not performing instanceof checks
multiple types.

JSONCodec interface is updated to not be directly bound to the Codec
interface, but rather provide the GSON-specific methods and to expose
the expected data type class. This change allows us to optimize
the serialization side of union codecs, as they can check the input
data without incurring a ClassCastException.

Union codec is decoupled from AbstractStringUnionCodec and contains
pre-computed codecs. This is needed to eliminate the dependency
on the JSONCodecFactory itself and allow for efficient caching
of the codec without incurring further overhead of having to deal
with mutable codec.

Change-Id: I05f18fbaa4b3160d2a7017ec2428d1577f54af7d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 6183 - Shorthand case should create case node in schema tree

According to Rfc7950, if a case statement is omitted and implicit case
node is created, schema node identifiers MUST always explicitly include
the implicit case node identifiers.

This patch deals with both Yang 1.1 and Yang 1 in the same way.

Change-Id: I64fef2aee85855cb6300318f7c97e694b3105a0a
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Trim down TypeDefinitionAwareCodec

Storing an Optional runs contrary to its usual role and wastes
memory. We can simply calculate the optional and have a nullable
internal field, saving ~16 bytes per codec instance.

Change-Id: I184fbd8f390bf5703b3342a6dd09de599c236554
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup codecs a bit

- prevent unnecessary boxing
- add type arguments
- static methods
- do not use deprecated methods

Change-Id: Ic129d327804d3b28066c84d6101cbe262e2101b1
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7996: Use weak keys in SharedJSONCodecFactory

This speeds up hashing, as weak keys are forcing identity-based
hashCode/equals().

Change-Id: If6b0323ac8e80fc8833a13ff5b4406e908e7f558
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7996: Split JSONCodec into multiple implementations

Make JSONCodecFactory an abstract base class with four different
trade-offs in cpu/memory usage. The only implementation available
to clients is SharedJSONCodecFactory, which behaves exactly like
the previous implementation used to.

One user-visible change is that thread-safe implementations,
including SharedJSONCodedFactory, now keep a shared weak cache
for reuse when the same kind of factory is requested multiple times
for the same context.

Change-Id: I15342e6b4ed68ccbac9c099f63654d7456913934
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-8039: Enforce binary/string type length

Binary type does not enforce input data length based on the supplied
constraints. Introduce two separate classes to deal with restricted
and unrestricted binary types.

String type fails to do the same, retrofit StringStringCodec with
the appropriate check.

Change-Id: I82516b39d66cbf846ed3eed39ee9e266b882f45d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use TypedSchemaNode

Eliminate special cases for leafs and leaf-lists, as they now
share a common interface.

Change-Id: I0c2e6a3875e6934e94af6552a14546e19ac822dd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move hard-coded prefix

Prefix constant is used only in one branch, colocate it where it is
needed.

Change-Id: I2f0e954538877af602cc68c710cc491a39bebd7c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Rename XmlStreamUtils

The utilities come in two flavors, schema-aware and schema-less,
so split them out into two separate classes. This flushes out the fact
the schema-less version cannot serialize instance identifiers, so mark
that explicitly.

Change-Id: I59b0f63ba80b6cb44570df19bef2e20675755d01
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add XmlParserStream documentation

This is a slight refactor allowing XmlCodecFactory to be reused across
multiple invocations. It also clarifies the factory methods.

Change-Id: I6fe46424402f3ee87f0ddde554c661591a87efb1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7954: Throw an exception when parsing duplicate (sub)modules

In case we add the same YANG (sub)module to the YANG parsing
cycle twice, throw a SourceException which reports the problem
with colliding namespaces/names.

Change-Id: If0a0aff23ace2cdcbb3d87b639c9ef74f2302432
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Reduce visibility of codec methods

These are needlessly protected/public, lower them to package-private.

Change-Id: I06ef86402051be3a010d88470ed2c0569853dbb0
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7759: return deserialized type

Union codec should not be returning the string representation,
but rather the proper deserialized type.

Change-Id: I4c452ecd59ee72b9b69ead39c3c36868bcd74444
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use specific versions for odlparent imports

Felix (or something related) doesn't look for snapshots in version
ranges, which breaks integration/distribution, so we can't use version
ranges for feature dependencies (even though they don't currently end
up in the generated features) until we switch to release artifacts.

See
https://jenkins.opendaylight.org/releng/job/netconf-distribution-check-carbon/1468/
for an example of a broken build.

Change-Id: I1c50ba1d05ef1eb8fd06820f5e84c02e3ae43fad
Signed-off-by: Stephen Kitt <skitt@redhat.com>

BUG-7954: identify source of the offending statement

When we have a conflicting key we should also identify where it was
populated, as that may not be immediately obvious by looking at the
module source.

Change-Id: If48cb1af73b86bd7cbf6926dfc8fe696f796a20e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use UntrustedXML in tests

In order not to preliferate DocumentBuilderFactory instantiation,
use UntrustedXML everywhere in tests.

Change-Id: I412711035978679a69cc41118c006bf8d7cf5864
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove remants of yang-data-operations

This component is no longer built, remove its remnants.

Change-Id: Ibe1850ea8449cabc323c41df9025844346968af8
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not trust documents in anyxml

Parsing XMLs in anyxml is an untrusted operation, as they can
include various references to outside world. Fix this by using
a DocumentBuilder from UntrustedXML.

Change-Id: If212d5cc9629d415c7d22aba7d691215644a8669
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make XmlDocumentUtils use UntrustedXML

When dealing with incoming XML, we should not be trusting it. Instead
of open-coded DocumentBuilderFactory, use the one encapsulated in
UntrustedXML.

Change-Id: I3bcee704de8dc73428950ac59579b33aabe15bc0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6392: Fix lenient parsing of unkeyed list entries

The old xml parser can be set to ignore nodes
which do not exist in the corresponding YANG model
using a boolean flag. However, this flag is
ignored when parsing unkeyed list entries.

This patch fixes the issue

Change-Id: I798be8151d575f838e97a8fe44d04f47363491ba
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 5410 - XSD regular expressions are interpreted as Java regexes (2/2)

Removal of xsd-regex parts from Yangtools.

Change-Id: I8bbe225f187c6ae215ceb9e144cac6bdbe1bddd6
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7945: Fix schema validation for augmentation of case

Add modification strategy of case augmentation as child of choice.

Change-Id: Ie7b03f2d06ab279f0dd9c85edf9a370b0f63abac
Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

Bug 5410 - XSD regular expressions are interpreted as Java regexes (1/2)

As both '^' and '$' are special anchor characters in java regular
expressions which are implicitly present in XSD regular expressions,
we need to escape them in case they are not defined as part of
character ranges i.e. inside regular square brackets.

Change-Id: Iafbf350f88ebdf96c30e1ccedbd00b90a93d521a
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7182 related: yang-maven-plugin no hard-coded target/ (target-ide/)

Change-Id: Ic90f8f9b808d353cce289010b4907de55204091f
Signed-off-by: Michael Vorburger <vorburger@redhat.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7424: Disallow child namespace collisions

All leafs, leaf-lists, lists, containers, choices, rpcs,
notifications, and anyxmls defined (directly or through a uses
statement) within a parent node or at the top level of the module
or its submodules share the same identifier namespace.

Change-Id: I1852d2ca5ebd07ba6c1ed21a5ceded3e87d67467
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7865 - Extension argument is being restricted to identifier

Yang parser tries to create QName from unknownStatement argument by
process of SchemaPath construction what is incorrect, because argument
of unknownStatemet can be any string.

Change-Id: I60df2afb55efdc6b4c48f14809ecd77815180090
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-7424: introduce a putIfAbsent storage operation

The interface exposed by NamespaceBehaviour is not sufficient
to express the needs of all storages. Refactor addToLocalNamespace()
into two distict operations, create-or-replace and create so
we can cleanly implement ChildSchemaNodes namespace.

Change-Id: If85f6d87238e61f34ac022ffa63e62c9ae246d0a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7898: clean up CrossSourceStatementReactor interface

Warnings emitted by BuildGlobalContext about requested features
come from insufficient isolation of public and private APIs. Correct
this error by moving the warnings to the public interface methods,
so the incorrect use is allowed without breaking the API contract.

While we are touching this area, deprecate redundant BuildAction
methods.

Change-Id: Ic77df07851f15bb6faabc7c9b4b466626e028d2f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6856: Rpc definition should implicitly define input/output

Empty input and output statements are now automatically
added to every rpc statement that does not declare them.

Change-Id: I799137f18fe6ac382c8488684514b746dafbefb5
Signed-off-by: Igor Foltin <ifoltin@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 7879 - refine target node was not found

In case of uses-refine used in augment defined in submodule the yang
statment parser was not able to resolve target namespace, because augment
was definied in submodule. In consequence, leaf node retained its original
namespace and therefore refine target node was not found.

This patch fixes the bug described above.

Change-Id: I24668a2efb6853cfd07b515ea5671cd2bfde580c
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6878: Add support for parsing yang-specific XPath functions

YANG 1.1 (RFC7950) introduces a set of yang-specific XPath functions.
YANG statement parser can now parse YANG 1.1 models which contain
these functions

Change-Id: Icfbf95db0d04a3f077133c38341f250cde4e56eb
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 7182: YangToSourcesProcessor deletes output directory

Now that a c/52087 has added a lifecycle-mapping-metadata.xml into the
yang-maven-plugin, for this to really properly work in-IDE even on full
builds (we're far from making this work incrementally..) it's important
that the output directory is cleaned.

This is because I've observed in testing that otherwise something else
(I'm not clear what) seems to prevent overwriting already existing
*.java files.  I've verified that with this change, the typical use case
of e.g. git pull master, some changes in *.yang files, you Project >
Clean... (full build, only) - red is gone!  (Finally.)

A full delete of an output directory (on a full rebuild) is, unrelated,
better anyway, as it gets rid of previously generated classes with names
that theoretically possibly don't exist anymore, imagine e.g. after a
renaming in YANG.

This fix is particular to in-IDE code generation, following the
lifecycle mapping.  It typically was never a problem on CLI, cauz
everyone always just does "mvn clean install" anyway - but it won't hurt
there either.  But for in-IDE, we have to clean ourselves; thus this
change.

The two *Test changes fix test failures introduced by this change.
Unless a misunderstood the intent - those tests appear to be wrong - how
can they intend the outputBaseDir to be the SOURCE dir of those YANG
models?!?  (That's what they do as-is, and that's why the test fails,
when the source gets deleted.)

Change-Id: Ie47294511b6f9c57cefdb305344045e112e8d05a
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Remove checkstyle plugin declaration

Checkstyle should not be run in aggregator poms. This patch fixes
a maven warning about missing version and should result in faster
compilation times.

Change-Id: I07d810fd05568865eb31f2f00fcc482fa4d0e31f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Format Module revisions

Rather than printing out the date, use QNameModule's
getFormattedRevision() to print out revision in correct format.

Change-Id: I953429c331548fc1e0d83449e0c339d64a9790e4
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7568: account for module/submodule split

The set of modules in the project does not map 1:1 to the set
of actual files, as modules have submodules. Correctly account
for this difference and track them separately.

Change-Id: I9eb4de37e59a9c1e9ca47143dd4be52f54ee396a
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7568: fix wrong translation

Translation should occur not the file name path, not the source.

Change-Id: If90169f8144a985bc7882cb77b482fd8b463291b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7850: make SourceIdentifier.getRevision() return null

getRevision() should follow its general contract and return null,
not a special string, when the revision is not found.

Change-Id: I74cd2648d218733e4ae26f7e849b72bd62b367ef
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7568: expose file name mapping function

We currently perform a rather nasty hack with NamedFileInputStream
to communicate the target result file to the code generators.

Update the code generation interface to allow passing down a mapping
function. Once all plugins have been updated to remove use of
SourceStreamAware, we can switch it to renaming files.

Change-Id: I4370a778ed46f759dd796dfed7436cc3bd657287
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 6886 - [Yang 1.1] Update rules for handling of strings

In Yang 1.1 an unquoted string cannot contain any single or double
quote characters and in double quoted string the backslash must not be
followed by any other character as those which are specified in RFC7950
Section 6.1.3.

Change-Id: Iec284b176ae04f3a908eb3c9d18eb5907d1b4c51
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Fix resource-based YangTextSchemaSource

Resource-based lookup needs to trim the specified path, so that
only the file name remains -- otherwise the resulting source
identifier ends up including the full path.

Change-Id: I517139e16a2f259b22032462a607c3bd9a2277b3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7850: fix SourceIdentifier.toYangFileName()

Internals of this method assume the original, pre-broken semantics
of revision being null when not present. Fix this by comparing
to non-present string.

Change-Id: Id057ebfd5af31e83b6dc77145349825cff8f8f16
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate custom SimpleDateFormat instances

We have SimpleDateFormatUtil to capture a fast revision parser,
use that instead of rolling our own.

Change-Id: I9b907440b73d721d306d5a946fbee58b8be47bd1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7182: add M2E lifecycle mapping

Add lifecycle mapping metadata. Execution will probably not work completely,
as the plugin architecture requires BUG-175 to be addressed, i.e. individual
generators should not be touching filesystem directly.

Change-Id: I7995de75c1817fb7bbdbc5e85790ad4e61a39486
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update StmtTestUtils

Do not use deprecated YangStatementSourceImpl. Also adjust tests
to throw Exception, thus ridding them of some complexity.

Change-Id: I549197204adc64edb60d44cc439d02dbd39c815e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6885: [Yang 1.1] Disallow "when" and "if-feature" on list keys.

Starting with YANG 1.1, a leaf which is specified as a list key
cannot contain an if-feature or a when statement

Change-Id: I4e39dfb2d7597e1012354004f1cb6f0a56638b2a
Signed-off-by: Rashmi Pujar <rashmi.c.pujar@gmail.com>
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 6884 - [Yang 1.1] Submodule can reference all definitions in all submodules

Since Yang 1.1, it has been allowed a submodule to reference all definitions
in all submodules that belong to the same module, without using the "include"
statement. This patch also deals with possible circular chains of includes
between submodules.

Change-Id: I2b3d19fc2c867882fc89f042bbe5febaf89bc2ea
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Expand Identifiable documentation

Make sure the identifier returned cannot be null, as it does not make
sense.

Change-Id: I2d8c7a17487da66fe91f44a597d74abae82c10bd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6887: [Yang 1.1] Allow enumerations and bits to be subtyped

Starting with YANG 1.1, enumeration and bits types
can be restricted

An enumeration type can be restricted with one or more
"enum" statements, which enumerate a subset of the values
for the base type.

A bits type can be restricted with one or more "bit"
statements, which enumerate a subset of the values for
the base type.

Change-Id: If46991b858a2a9153a60de85645f6ec301fcb33f
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

BUG-7052: introduce YangStatementStreamSource

This untangles the parser implementation a bit, adding a more
modern StatementStreamSource.

Change-Id: Ic5fb23f088273e1a0993663bab237b6432924b47
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add utility YangTextSchemaSource factories

This adds the ability to directly instantiate a source from a File,
a combination of a file name and a ByteSource, or from a resource.

Also add SchemaSourceRepresentation.getSymbolicName(), which can be
used in error reporting to give humans some leads as to the source
of any problems encountered.

Change-Id: I1130d43f469bfa1556b015c5aa5f26472a69c51e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 7397 - yang-system-test could fail if zero yang files were found

Yang-system-test fails with non-zero exit code, if zero yang files
were found.

Change-Id: Id9f1b08e2e937d009a029202df1591b93a1510f1
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7396 - yang-system-test could support recursive search

Yang-system-test: added new option '-r' for recursively search
sub-directories for yang files.

Change-Id: I265c0dfa1006aee5b7bb1a85342d162866232a3b
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7480 - yang-system-test: -p directories are for dependency search

Yang statement parser is now able to distinguish between reqular and
library sources. Parser adds sources from library into resulting
SchemaContext only when needed to satisfy an import. In consequence,
only the sources required by regular sources are present in resulting
SchemaContext. Any other library sources are ignored and this also
applies to error reporting.

Also yang-system-test: -p directories are used now only for dependency
search.

Change-Id: I6a38fca16a923e7d2caa5a40e1c38469d98882e4
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6901 - [Yang 1.1] Default value MUST NOT be marked with an if-feature

Definition of the default values MUST NOT be marked with an
"if-feature" statement in Yang 1.1.

Change-Id: Id05519bea6f5a3f7fe9c82ede6cb5ab805dbc93c
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Eliminate a boxing warning

Method return type is Integer, hence use Integer.valueOf() instead
of Integer.parseInt(). Also switch to using a SourceException
constructor with built-in String.format().

Change-Id: Ie2b83d39ed8dd5c6d8ee5b15c349c2659ee9f96c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Deprecate TextToASTTransformer.TRANSFORMATION

This is a really clunky way of transforming text, useful for repositories.
Deprecate this field if favor of a synchronous
TextToASTTransformer.transformText() method.

Also cleanup checkstyle warnings in touched files.

Change-Id: Iebabcb84d92e480708be1180b174f57d1552d4ec
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7568: silence YangTextSchemaContextResolver

YangTextSchemaContextResolver should understand when we are expanding
a not-present revision and not emit info's then. We still log expansions
on debug and info about mismatches.

This silences the noise on controller startup, but does not completely
fix the issue.

Change-Id: I1b5e4eed9b288e2c6d48b494630eee0dd1fa38c4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move features to top level

Since our structure is more flat than it used to be there is no
need to keep features in common directory.

Change-Id: I59c8a97f3b93ae0a8fc350f866541ae93c8dd539
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7464: package forked TrieMap

Package TrieMap into features.

Change-Id: I37c8bde665c1ce445410772e38de1e594197f68a
Signed-off-by: Robert Varga <rovarga@cisco.com>

Fix RangeConstraintImpl

Malformed javadoc and a stray copy&paste reference.

Change-Id: I2879a861852df01d5cdab385342bc93256f8792d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup SchemaContextUtil

Fixes checkstyle offences and eclipse warnings.

Change-Id: I8501609d6437d2177dc44f3be45ae4cd56c8983e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use YangConstants.RFC6020_YANG_FILE_EXTENSION

Do not open-code ".yang" and use it from its canonical definition.

Change-Id: I3ba65a0a645b9d3b94fac46087202cfe7476a7ef
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate unused Util.listFiles()

This flavor is only used by its test, hence we do not need it.

Change-Id: I8cdab99e5a8d1e12b24bd21c77a6c69a60014e13
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate use of File[]

The array is used only as a filter, hence it is better to wrap it
in a collection and provide a filter on top of them.

Change-Id: I8067f128a80ded57a929fec3fcf68e84ddb7d487
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not use IOUtils

Guava provides a flexible alternative, so use that directly
rather than relying on commons-io.

Change-Id: I3959df3c0421e257f233d89a73a1904e67e4cfb9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate the use of com.google.common.collect.Maps

We can instantiate maps conveniently using <>. Furthermore
we do not need ConcurrentMap with Java 8, as the base Map
interface implements putIfAbsent().

Change-Id: Ifa98a7e624b456425c0ba79dd325f444ee32e8ad
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move Util.getInstance()

This method is only used in YangToSourcesProcessor, move it there
to increase clarity.

Change-Id: I1c070f84a235c9199f86f18204d3a9b08779386b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup artifacts pom.xml

- do not use project.groupId
- do not use project.version
- remove unused property

Change-Id: I7d04399c83ff71cb39c8f85b3c8b51f3617ad6a9
Signed-off-by: Robert Varga <rovarga@cisco.com>

Deprecate websocket-client

This component is no longer used anywhere and has no place in yangtools,
deprecate it, pending removal in 2.0.0.

Change-Id: I0b58fa7576798e4224be1f3f04fc5d49b9ed2290
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6875 - [Yang 1.1] Allow imports of multiple revisions of a module.

Since Yang 1.1, it is allowed to import a module multiple times even with
different revisions. This patch introduced this functionality for Yang 1.1
sources.

Change-Id: I99f36308079cd7bd0af412b03f63eb2bb75242ef
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6877: [Yang 1.1] Allow multiple base identities

Allow identities to be derived from multiple base
identities in Yang 1.1 models.

Change-Id: I543336f30ae593862820639ed966b9a7f59e899b
Signed-off-by: Igor Foltin <ifoltin@cisco.com>
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6261: Introduce resolution of deviation statement during SchemaContext assembly

YANG statement parser now resolves deviation statements in parsed YANG models.

Change-Id: Ia4dbdfd1ee196d418c94287be5ad03af5ffc485d
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

BUG-7061: mass-rename test files

This is a mass rename of .xml files to .yin.

Change-Id: Ifc8b8bcb130bfc2d60854796254220a8894c0f38
Signed-off-by: Robert Varga <rovarga@cisco.com>

Update javadocs related to *SchemaSource

Change-Id: Ib51ee7d60fcd21c79fcdc138f61007bd7f450742
Signed-off-by: Martin Ciglan <mciglan@cisco.com>

SourceIdentifier.create() method deprecation explained

    - javadoc
    - imports optimized

Change-Id: I3dfc20fd23a57051784a691875bce0260af39a5e
Signed-off-by: Martin Ciglan <mciglan@cisco.com>

Replace FindBugs :jsr305 by full :annotation (Bug 7663)

Change-Id: If0368dce54a853f00d69c177c3e848888e3b20b0
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Bug 7438: Allow identityref type to reference multiple base identities

Starting with YANG 1.1 (RFC7950), identityref type can reference multiple
base identities.

Change-Id: I448d5c002d233444c881ff26516a435825406d79
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

BUG-7474: produce Karaf 4 features

This is a simplified version of
https://git.opendaylight.org/gerrit/38638 without any changes to
bundles; it just delegates the actual features.xml generation to the
plugin. This requires a current snapshot of Karaf 4.0.9 to reduce the
resulting dependencies. The new features are generated for Karaf 4
only. (The existing features.xml is preserved for Karaf 3.)

Change-Id: I4cc4692459f637e06e64a1a2e432448f57c32e4c
Signed-off-by: Stephen Kitt <skitt@redhat.com>

Bug 6868: If-feature argument may be boolean expression

Since Yang 1.1, "if-feature" argument may be a boolean expression over
feature names. In this expression, a feature name evaluates to "true"
if and only if the feature is supported by the server.

Change-Id: Id68d9a101641a7775d8b2a049986431e9cb27662
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Do not override Immutables version

Immutables is define din odlparent, no need to specify
the version again.

Change-Id: I03aed6f7f52f34c0302ee930a6b2b8a723512156
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-5222: Reuse substatements across phases

Now that we can address substatements accurately, we can reuse
the same statements instead of throwing them out and re-instantiating
them. We still need to switch the root if the YangVersion changes,
as the statement support objects need to be reemitted.

This removes the need for ContextBuilder and its subclasses, simply
because all required information is available when createDeclaredChild()
is called, bringing further simplification to StatementContextWriter.

Once that indirection is removed, the code flow is improved, which
flushed out a failure to validate when an extension requires an arugment,
hence the test models need update to pass validation.

A final effect of these changes is that StatementContextBase.declared
becomes superfluous, as it really is just a view over declared
substatements, which allows us to eliminate that field and instead
project a view of StatementMap's values.

Change-Id: I6fd3e2e2de41305457958673b77a72073215940e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Must always use mockito-core instead of mockito-all

to prevent NoSuchMethodError: org.hamcrest.Matcher ...

Bug 7662 related
Change-Id: Ia34e4f4d0bf5a03cc311d69c3d9cfbe5362521ed
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Bug 7551 - Bad error message for pattern constrain

Correction of misleading error message that the YANG parser
associates with a pattern constraint.

Change-Id: I39a611bd864e50fea44d3baf4a210a228f974342
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6876: [Yang 1.1] Allow "augment" to add conditionally mandatory nodes

Since Yang 1.1, if an augmentation is made conditional with a
"when" statement, it is allowed to add mandatory nodes to target in
another module.

Change-Id: I0fb2509b26f8455870aa279702b4df4b6c718750
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-7464: update INode.GCAS_Complete()

Undo previous read on INode generation. It makes the the code
read a bit clunky, as the context of reasoning about the root
INode is lost.

While we're here, improve code readability with explicit
while(m != null) instead of a while(true)/if(m != null).

Change-Id: I01dde9603ff6fec98845036742375f3c5524ba00
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6873: [Yang 1.1] Add support for "require-instance" in leafref

Allow leafref type to have require-instance substatement in Yang 1.1 models.

Change-Id: I96cc337176abbb3e2fdb1ae22a83ba7810190fbe
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Fix LengthConstraintImpl javadoc

Add a missing closing brace.

Change-Id: I64c147e6fd50c06f6e13cc6268844e3a4def4532
Signed-off-by: Robert Varga <rovarga@cisco.com>

Revert "BUG-7446: pull in guava-21"

This reverts commit 75b18eff1ab6fcd22c47b837798653668bd797db.

Change-Id: I29a007f8874b480ecc55b1b4605e28f2f86b9fb9
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7464: eliminate console output

Use a Logger to log messages as needed instead of System.out,
fixing checkstyle warnings.

Change-Id: I07aa409856951e72a656ed35703ea29a05fd1397
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7464: improve keySet()/entrySet() bytecode

Shave off a few instructions by using expressions rather than
verbose assignment.

Change-Id: I12adc79be895cceea3feddfeb4cc100bcee0b883
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7464: fix checkstyle warnings

With no functional changes, this patch cleans up most
of the warnings reported by checkstyle.

Change-Id: I24833d1038eb98a04cecd18c3055757cb1ea7cbc
Signed-off-by: Robert Varga <rovarga@cisco.com>