Do not throw IllegalArgumentException

We have enough information to throw a SourceException, so do that
to propagate relevant diagnostics.

Change-Id: I5d7b5db1cba00fc3bea6f63025091086c6d2ed34
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 8523: Add support for parsing restconf:yang-data extension

Add support for yang-data extension to the YANG statement parser.
This extension is defined in RFC8040:
https://tools.ietf.org/html/rfc8040#section-8

Config and if-feature statements are ignored
when placed within a yang-data extension body.

Change-Id: Iccc1ffc76cf1ba1032552e68a4591d44f586c889
Signed-off-by: Igor Foltin <igor.foltin@pantheon.tech>

Enforce checkstyle on yang-data-codec-xml

Trivial cleanups and flip the switch.

Change-Id: I24e912f00d7374a894793b4ddf903a3587d85197
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 8597 - Empty description and reference of ModuleImport in some cases

If a module import is specified without 'revision-date' or with
'revision-date' equal to '1970-01-01', ModuleImport does not have
filled description and reference, even though they are declared
in yang source.

Change-Id: I217d09f5f3718aee6557bec309f53c278895ebe7
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Add missing version declaration

We have unfortunately had a missing version in the aggregator,
which then picks up the parent's version. Fix that.

Change-Id: Ifcbf2a63d295287a59495cebc910e2986669a727
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate to odlparent 1.8.0-Carbon

Per request of odlparent project we are downgrading all Nitrogen
projects to use the released odlparent 1.8.0-Carbon to allow for the
odlparent project to start performing semver style releases.

Jira: RELENG-159
RT: 41406
Change-Id: Ib5afa65181af8837ebd3f34cb180f42424d9f4b2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add vim gitignore rule

Change-Id: Ieef2faf55a4cf365bb2a12a16a1a7ccab0db4254
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Enable checkstyle on objectcache and mockito-config

Just a few fixes and flip the switch.

Change-Id: I83d8b9b4e959e03a912d2cbf4c3c26311af4fc0b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Enforce checkstyle in maven-plugin

Simple fixes to code and flip the switch.

Change-Id: I06bdd3d3e49c503c390a8cb46ecfeaa8fdf405d8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 4640: Change semantic-version to openconfig-version

The concept of semantic version already exists in the
openconfig-extensions YANG module in the form of
openconfig-version extension.

Rename the internal representation of semantic-version
statement to openconfig-version in the yang-parser-impl module.

Also adjust existing unit tests accordingly.

Change-Id: Ie647bfce5c1a462e6d269103e55a13e08f163dc6
Signed-off-by: Igor Foltin <igor.foltin@pantheon.tech>

Enforce checkstyle in yang-data-util

Fix up code formatting and activate enforcement.

Change-Id: I92419f38833fea7b68fe13a20619b4d1641f68de
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Activate checkstyle in yang-data-transform

Fix offences and make sure we enforce checkstyle.

Change-Id: Ic227322a5ce8520fd81ea17f98e43dda1ed55e2c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Activate checkstyle in yang-data-jaxen

Cleanup the code and enforce checkstyle.

Change-Id: Ieb6087afc1b98065bc2e0c941dd5ff0277c8244b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup checkstyle in yang-{data,model}-api

Clean up code and activate enforcement.

Change-Id: I66669e0ff80aefa6f3b187337d84efe73b10b320
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 7037 - Improve mapping of YANG extensions

Each extension definition is able to create an unknown statement
form of a regular yang statement. Created definitions of regular yang
statements are created only once per each yang statement and extension
definition. So we do not create a new ModelDefinedStatementDefinition
and a corresponding UnknownStatementImpl.Definition for each instance
of a regular yang statement when it is placed in an unknown statement's
body.

Change-Id: I5613eb36273e6b512637fb14456c64b023df3f1f
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Consolidate range to string code

Contraint range emission code is duplicate, consolidate and speed
it up. Also fix a few sonar and eclipse warnings.

Change-Id: I9826200c0dedf9e8d1bc7b7d53a7a13655cbe283
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix eclipse/checkstyle warnings

concepts/util should have their checkstyle enforced.

Change-Id: I752ce3c75e69446a1284b511b5221553d7187bb5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Revert "Bug 4640: Change semantic-version to openconfig-version"

This reverts commit e826b441fd88057793b5cea7e784522ea7adcd40.

Change-Id: I823a6789a02d47d03d7c2617310221a517c16ca0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Replace LOGGER/logger/log by LOG

Replace LOGGER/logger/log by LOG to follow the OpenDaylight
recommendations [1].

[1]
https://wiki.opendaylight.org/view/BestPractices/Logging_Best_Practices
Change-Id: Ia00a0401a433c445c1fcd17ab4bc436a04abe209
Signed-off-by: David Suarez <david.suarez.fuentes@ericsson.com>

Add hook for interning raw argument

Type statement typically has a low cardinality of arguments, hence
we can reuse the same object for things like 'type uint32'.

Change-Id: I34c11e1d1f18f8ecaf260d55eb20ffd09d8ae4b0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 00c0868216727e5333f9af896a7a26ddff7068d6)

BUG 8566 Introduce a fallback for ChoiceSchemaNode lookup

With the way parsing callbacks are handled between netconf and yangtools
theres no hook for case nodes, which we are missing in the path when doing
SchemaNode lookup. This introduces a callback that checks Choice children
for a possible match once the normal lookup fails.

Change-Id: Ieefc6771ec3c6892e00103cbab77f6340f197d62
Signed-off-by: Tomas Cere <tcere@cisco.com>

minor NotificationNodeContainer Javadoc fix

Change-Id: Ie6cde12272adc0d81236b1932a29b32161642934
Signed-off-by: Martin Ciglan <martin.ciglan@pantheon.tech>

Bug 4640: Change semantic-version to openconfig-version

The concept of semantic version already exists in the
openconfig-extensions YANG module in the form of
openconfig-version extension.

Refactor the semantic version related code to use
the openconfig-version naming.

Adjust existing unit tests accordingly.

Change-Id: I25f4f1a6e070b214d1f8ae466639c6dd41899a09
Signed-off-by: Igor Foltin <igor.foltin@pantheon.tech>

Add XMLInputFactory to UntrustedXML

Similar to other ways of accessing XML, this adds a convenience
accessor to XMLInputFactory.

Change-Id: I43f4e0fa2452d13b60e244d03cbf9d68bc391735
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix a couple of warnings

These methods can be made static.

Change-Id: I6943921e69b5291d6586ffba42fc246de80bd82a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix a few warnings

Raw types mostly.

Change-Id: If1facf5773c6b0ed3e1c1a5ae6ae5f1ceb862216
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup JsonParserStream

We can speed up namesakes manipulation by checking the return value
of Set.add(). Also use Preconditions.checkState().

Change-Id: I5759c426654914616925ed9144cbd909ec52245f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix attribute namespace lookup

During review process of Id214b78849998cf54e087685dcc78e3ded74ab69
we have broken writeAttributes() in the sense it is now sensitive
to attribute namespaces not hahving a prefix assigned in the writer.

Attributes are seldom used, but NETCONF uses them without emitting
them in the writer, hence the codec is not a drop-in replacement.

Add back the ability to map attributes, but also emit a warning if
the caller has not set up the namespace. The warning is emitted
only once for each namespace.

Also modify RandomPrefix to consult the NamespaceContext for already
existing prefix mappings.

Change-Id: Iaffcbfde06b7dffbf6e6ed02c0ba7d73fd053d6a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 8307: Add the option for activating deviation statements

YANG statement parser currently resolves all deviation statements.
Add the option to specify which of the processed YANG modules
can be deviated by the specified YANG modules. This information is
passed down to the statement parser in the form of
Map<QNameModule, Set<QNameModule>>. If no deviations should be
activated, use an empty Map. In default mode, that is when
the Map is not provided at all, all deviations are activated.

This patch handles only the statement reactor part.
SchemaContextFactory should be fixed in a separate patch.

Moreover, change the rules for allowed deviation target path.
A deviation statement cannot target nodes in the same module
as the one it is defined in. Adjust existing unit tests accordingly.

Change-Id: Ica0f8c09218e50fd4c3efeb4dc08acb4fa418798
Signed-off-by: Igor Foltin <ifoltin@cisco.com>
Signed-off-by: Igor Foltin <igor.foltin@pantheon.tech>

Bug 8083: Preliminary unit tests

A bunch of unit tests which were used
for the purpose of investigation of this bug

Change-Id: I393d3fba5a0046173c1da4993f3dbd40acddd833
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 7844 - Unable to create LeafRefContext for leafref

In order to get correct namespace for a prefix used in a leafref
path we need to find the module which contains definition
of leafref path and then a prefix need to be resolved based on
imports of this module.

Change-Id: Icfb599783e90e44935d5e18eea23b0ac0d86cbf0
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Do not use FileInputStream

https://www.cloudbees.com/blog/fileinputstream-fileoutputstream-considered-harmful

Change-Id: Ic3c9fab4ba21ac9da05d96e9a83597426f67331a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Make repo depend on single features only

Change-Id: I33b67267ebcbab193acbfe72611f02a0d0e32b4b
Signed-off-by: Vratko Polak <vrpolak@cisco.com>
(cherry picked from commit aed2812185a7c283e174d5aca499ca9aa048e4ed)

Silence all info messages about all features being used

This message:

2017-04-26 17:55:00,136 | INFO  | l for user karaf | CrossSourceStatementReactor      | 85 - org.opendaylight.yangtools.yang-parser-impl - 1.1.0.SNAPSHOT | Set of supported features has not been provided, so all features are supported by default.

is featured prominently during startup operations. As it turns out,
we do not have a proper API to express 'use everything', hence the
callers, which really mean that, are passing down nulls.

Expose proper Optional-based methods which are as expressive, thus
allowing us to side-step this pesky flood.

Change-Id: I11c95c58be01deac8bbb587883d152fc6e647a6c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix warnings in EffectiveSchemaContextTest

Returned values are a set, hence the instanceof check really is
just a non-null check. Fix this, silencing eclipse.

Change-Id: Ib7456b5b4152a68cdef2539481a27ccc8fb1d9c7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 8291 - Unit test

Added unit test for Bug 8291.

Change-Id: Iaf41b01924f3d644b94620d2b72968725b2b2177
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-8291: expose additional DataTreeFactory methods

There are use cases when we want to instantiate a DataTree rooted
at a list itself, which is something we cannot discover from
YangInstanceIdentifier because lists and containers share the same
identifier.

Therefore we need to expose a factory method which takes an initial
SchemaContext, from which we can derive the appropriate root node.

While we are at it, we also expose another factory method, which
takes additionally the initial tree state. Since the state is not
empty, we can run full validation on it before we give out the
DataTree -- allowing us to perform full enforcement of mandatory
nodes.

Change-Id: Id362234b9ef42d93ae01577809fb004864d05d1c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-8123: fix URL naming mixup

As it turns out URL.getFile() does the wrong thing, leading to us
taking the whole path as the module name, resulting in wrong comparison.

Change the code to analyze URL.getPath(), stripping it down to the
last component.

Change-Id: Ica3e387caf2924712151f4da5939487872f8e98c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

YANG XPath functions - unit tests and bugfix

Add more unit tests for YANG XPath functions
in yang-data-jaxen.

Fix deref function for leafrefs that reference
a leaf-list node.

Change-Id: I7bfe90a3a1a101b95a3b8ea3b1dd42963e5ea264
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

BUG-8123: be better at guessing identifiers

Given an URI we need to attempt to interpret it to improve our
guess of the module name and revision.

Change-Id: I4d74b06fb9f949c538911d215b6d90a383560f1f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 8bfdcd0056b08db284a87b55913691c0187c34bb)
(cherry picked from commit 9f390185b2869fd215a7cb1ee86b1760506d8662)

Bug 7050 - Document parser-impl package structure

Added initial javadoc to yang statement parser packages.

Change-Id: I2f18eb4ad01fee297f52953f2ef2aae24a69d253
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7038 - Rework 'type decimal64' lookup

Fix of hack in SourceSpecificContext, which attempts to lookup specific
complex types by considering only a QName's localName and routes
it via BUILTIN_TYPE_SUPPORTS to specific statement support.

This solution introduces argument specific statement sub-definitions.
If a StatementSupport has some argument specific sub-supports, processing
of a statement is routed to appropriate sub-support based on given
statement argument.

Change-Id: I602c0a919107a633f594a4393299f3f6623bd1c5
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Implement DocumentedNode interface to RevisionEffectiveStatementImpl
for overriding getDescription() and getReference() methods for
exposing it to others.

Change-Id: Ida77679f952f795d06a044c0fdc8f5c40d9455a7
Signed-off-by: Jakub Toth <jatoth@cisco.com>

Update the developer docs

Update the docs related to the usage of
if-feature resolution mode of the YANG statement parser.

Change-Id: Id2201d7082b2b744f98c09801530bc8ad2205d65
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

BUG-7698: do not allow nulls in registrations

This updates the AbstractObjectRegistration to not allow
nulls and updates ObjectRegistration to promise it will
not return a null from getInstance().

Change-Id: I10229d58af4a9f26f2f18128302b45bc721e546f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bump versions by x.(y+1).z for next dev cycle

Change-Id: I8e7c50cd46198955261abc44a15fed8f0f60d671
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Bug 7847: Implement YANG 1.1 XPath functions in YangFunctionContext

Introduce implementation of functions re-match, deref, derived-from,
derived-from-or-self, enum-value and bit-is-set in the yang-data-jaxen's
YangFunctionContext.

The functionality introduced in this patch is beta-quality and will
need more thorough testing in the future

Change-Id: Ia89f8b50dd7537cfafc2297ada8720648050bdbd
Signed-off-by: Igor Foltin <ifoltin@cisco.com>
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 8126 - Some augments are not being processed

If a node is marked as mandatory (e.g. "leaf" with "mandatory true;"),
yang statement parser does not perform augmentation of such node into
a target node in different module even though one of ancestors of the
target node is a non-mandatory choice or a non-mandatory list from the
same namespace as the mandatory node and so in fact it should not
be considered as augmenatation of mandatory node into different module
anymore and augmentation should be performed.

We also increase severity of the augment error log from debug to error.

Change-Id: Icb8554ba61ce0aa0fa25541dd5675f3aa8ba3d1b
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-7833: Fix identityref codecs

Introduce QNameCodecUtil to help JSON and XML codecs correctly implement
their identityref codecs. As it turns out, both only need to provide
proper mapping functions without having to deal with multiple codec
hierarchies.

The patch is also more strict about parsing the string, as it rejects
malformed identityrefs, i.e. those which contain invalid characters.

This fixes BUG-7833, which is triggered by invalid PUT, where we parse
an empty string as a null identityref.

Change-Id: I1f3086a0f9e930f7782dff8d6c39329d4b28ed14
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: unify JSONCodec and XmlCodec methods

This patch introduces TypeAwareCodec to define the common interface
which both these codecs implement. We adjust methods to conform
to this interface.

Change-Id: I25ccaf56c2e6013dee01016efe5fd7c960790f70
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: make XmlCodecFactory a subclass of AbstractCodecFactory

AbstractCodecFactory contains everything we need for efficient caching,
the only problem we need to solve is binding to NamespaceContext. This
patch does exactly that, decoupling XmlCodec from the generic Codec
interface, so that serialization and deserialization paths are explicit.

This flushes out the fact that the codecs are not used in the egress
path at all and rely on TypeDefinitionAwareCodec instead. That deficiency
will be fixed in a subsequent patch.

Change-Id: I0bdf8af673893f2dc4fcc8842b64f9bed1bc5236
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Speed up XpathStringParsingPathArgumentBuilder

Use an internal ArrayList to lower the amount of pointer-chasing
we do. Also make sure we format the error string only when it is
necessary.

Change-Id: Ic2ce96b45dd44b1d1da24ceb9452a2548f883446
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: factor out AbstractCodecFactory

Since the type decomposition logic can be shared between XML and
JSON codecs, factor it out into yang.data.util.codec, where it
can be efficiently shared.

JSONCodecFactory becomes a pure type binding provider, with all
of the logic abstracted out. We also reduce CodecCache method
visibility, as they are a package-private implementation detail.

Change-Id: I58e50dd966915e4e1a691add517c9a6d0b647c80
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7983: extract codec caching from JSONCodecFactory

Caching aspect of CodecFactory is independent of the actual codec,
factor it out for reuse with XML codecs.

Change-Id: Ib6678a038482a2f50a8a55a0065158e3bc840cd8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7996: expose different implementations of JSONCodecFactory

We have four different implementations of JSONCodecFactory, each useful
in different circumstances. Rather than having a singleton create()
method, expose multiple methods so users can pick and choose the
implementation which is best suited to their use case.

Change-Id: I1c2e48ed2bc2734447e08e043d8505b741f1e401
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7996: reshuffle caching logic

This patch reworks JSONCodecFactory internals to split the codecs
by their type, allowing simple codecs to be reused across multiple
leaves.

Efficient implementation of this split requires exposing individual
StringCodec classes -- as we need to avoid the broken union codec.
This also has the added benefit of not performing instanceof checks
multiple types.

JSONCodec interface is updated to not be directly bound to the Codec
interface, but rather provide the GSON-specific methods and to expose
the expected data type class. This change allows us to optimize
the serialization side of union codecs, as they can check the input
data without incurring a ClassCastException.

Union codec is decoupled from AbstractStringUnionCodec and contains
pre-computed codecs. This is needed to eliminate the dependency
on the JSONCodecFactory itself and allow for efficient caching
of the codec without incurring further overhead of having to deal
with mutable codec.

Change-Id: I05f18fbaa4b3160d2a7017ec2428d1577f54af7d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 6183 - Shorthand case should create case node in schema tree

According to Rfc7950, if a case statement is omitted and implicit case
node is created, schema node identifiers MUST always explicitly include
the implicit case node identifiers.

This patch deals with both Yang 1.1 and Yang 1 in the same way.

Change-Id: I64fef2aee85855cb6300318f7c97e694b3105a0a
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Trim down TypeDefinitionAwareCodec

Storing an Optional runs contrary to its usual role and wastes
memory. We can simply calculate the optional and have a nullable
internal field, saving ~16 bytes per codec instance.

Change-Id: I184fbd8f390bf5703b3342a6dd09de599c236554
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup codecs a bit

- prevent unnecessary boxing
- add type arguments
- static methods
- do not use deprecated methods

Change-Id: Ic129d327804d3b28066c84d6101cbe262e2101b1
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7996: Use weak keys in SharedJSONCodecFactory

This speeds up hashing, as weak keys are forcing identity-based
hashCode/equals().

Change-Id: If6b0323ac8e80fc8833a13ff5b4406e908e7f558
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7996: Split JSONCodec into multiple implementations

Make JSONCodecFactory an abstract base class with four different
trade-offs in cpu/memory usage. The only implementation available
to clients is SharedJSONCodecFactory, which behaves exactly like
the previous implementation used to.

One user-visible change is that thread-safe implementations,
including SharedJSONCodedFactory, now keep a shared weak cache
for reuse when the same kind of factory is requested multiple times
for the same context.

Change-Id: I15342e6b4ed68ccbac9c099f63654d7456913934
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-8039: Enforce binary/string type length

Binary type does not enforce input data length based on the supplied
constraints. Introduce two separate classes to deal with restricted
and unrestricted binary types.

String type fails to do the same, retrofit StringStringCodec with
the appropriate check.

Change-Id: I82516b39d66cbf846ed3eed39ee9e266b882f45d
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use TypedSchemaNode

Eliminate special cases for leafs and leaf-lists, as they now
share a common interface.

Change-Id: I0c2e6a3875e6934e94af6552a14546e19ac822dd
Signed-off-by: Robert Varga <rovarga@cisco.com>

Move hard-coded prefix

Prefix constant is used only in one branch, colocate it where it is
needed.

Change-Id: I2f0e954538877af602cc68c710cc491a39bebd7c
Signed-off-by: Robert Varga <rovarga@cisco.com>

Rename XmlStreamUtils

The utilities come in two flavors, schema-aware and schema-less,
so split them out into two separate classes. This flushes out the fact
the schema-less version cannot serialize instance identifiers, so mark
that explicitly.

Change-Id: I59b0f63ba80b6cb44570df19bef2e20675755d01
Signed-off-by: Robert Varga <rovarga@cisco.com>

Add XmlParserStream documentation

This is a slight refactor allowing XmlCodecFactory to be reused across
multiple invocations. It also clarifies the factory methods.

Change-Id: I6fe46424402f3ee87f0ddde554c661591a87efb1
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7954: Throw an exception when parsing duplicate (sub)modules

In case we add the same YANG (sub)module to the YANG parsing
cycle twice, throw a SourceException which reports the problem
with colliding namespaces/names.

Change-Id: If0a0aff23ace2cdcbb3d87b639c9ef74f2302432
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Reduce visibility of codec methods

These are needlessly protected/public, lower them to package-private.

Change-Id: I06ef86402051be3a010d88470ed2c0569853dbb0
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7759: return deserialized type

Union codec should not be returning the string representation,
but rather the proper deserialized type.

Change-Id: I4c452ecd59ee72b9b69ead39c3c36868bcd74444
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use specific versions for odlparent imports

Felix (or something related) doesn't look for snapshots in version
ranges, which breaks integration/distribution, so we can't use version
ranges for feature dependencies (even though they don't currently end
up in the generated features) until we switch to release artifacts.

See
https://jenkins.opendaylight.org/releng/job/netconf-distribution-check-carbon/1468/
for an example of a broken build.

Change-Id: I1c50ba1d05ef1eb8fd06820f5e84c02e3ae43fad
Signed-off-by: Stephen Kitt <skitt@redhat.com>

BUG-7954: identify source of the offending statement

When we have a conflicting key we should also identify where it was
populated, as that may not be immediately obvious by looking at the
module source.

Change-Id: If48cb1af73b86bd7cbf6926dfc8fe696f796a20e
Signed-off-by: Robert Varga <rovarga@cisco.com>

Use UntrustedXML in tests

In order not to preliferate DocumentBuilderFactory instantiation,
use UntrustedXML everywhere in tests.

Change-Id: I412711035978679a69cc41118c006bf8d7cf5864
Signed-off-by: Robert Varga <rovarga@cisco.com>

Remove remants of yang-data-operations

This component is no longer built, remove its remnants.

Change-Id: Ibe1850ea8449cabc323c41df9025844346968af8
Signed-off-by: Robert Varga <rovarga@cisco.com>

Do not trust documents in anyxml

Parsing XMLs in anyxml is an untrusted operation, as they can
include various references to outside world. Fix this by using
a DocumentBuilder from UntrustedXML.

Change-Id: If212d5cc9629d415c7d22aba7d691215644a8669
Signed-off-by: Robert Varga <rovarga@cisco.com>

Make XmlDocumentUtils use UntrustedXML

When dealing with incoming XML, we should not be trusting it. Instead
of open-coded DocumentBuilderFactory, use the one encapsulated in
UntrustedXML.

Change-Id: I3bcee704de8dc73428950ac59579b33aabe15bc0
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6392: Fix lenient parsing of unkeyed list entries

The old xml parser can be set to ignore nodes
which do not exist in the corresponding YANG model
using a boolean flag. However, this flag is
ignored when parsing unkeyed list entries.

This patch fixes the issue

Change-Id: I798be8151d575f838e97a8fe44d04f47363491ba
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 5410 - XSD regular expressions are interpreted as Java regexes (2/2)

Removal of xsd-regex parts from Yangtools.

Change-Id: I8bbe225f187c6ae215ceb9e144cac6bdbe1bddd6
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7945: Fix schema validation for augmentation of case

Add modification strategy of case augmentation as child of choice.

Change-Id: Ie7b03f2d06ab279f0dd9c85edf9a370b0f63abac
Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

Bug 5410 - XSD regular expressions are interpreted as Java regexes (1/2)

As both '^' and '$' are special anchor characters in java regular
expressions which are implicitly present in XSD regular expressions,
we need to escape them in case they are not defined as part of
character ranges i.e. inside regular square brackets.

Change-Id: Iafbf350f88ebdf96c30e1ccedbd00b90a93d521a
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 7182 related: yang-maven-plugin no hard-coded target/ (target-ide/)

Change-Id: Ic90f8f9b808d353cce289010b4907de55204091f
Signed-off-by: Michael Vorburger <vorburger@redhat.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7424: Disallow child namespace collisions

All leafs, leaf-lists, lists, containers, choices, rpcs,
notifications, and anyxmls defined (directly or through a uses
statement) within a parent node or at the top level of the module
or its submodules share the same identifier namespace.

Change-Id: I1852d2ca5ebd07ba6c1ed21a5ceded3e87d67467
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 7865 - Extension argument is being restricted to identifier

Yang parser tries to create QName from unknownStatement argument by
process of SchemaPath construction what is incorrect, because argument
of unknownStatemet can be any string.

Change-Id: I60df2afb55efdc6b4c48f14809ecd77815180090
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

BUG-7424: introduce a putIfAbsent storage operation

The interface exposed by NamespaceBehaviour is not sufficient
to express the needs of all storages. Refactor addToLocalNamespace()
into two distict operations, create-or-replace and create so
we can cleanly implement ChildSchemaNodes namespace.

Change-Id: If85f6d87238e61f34ac022ffa63e62c9ae246d0a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7898: clean up CrossSourceStatementReactor interface

Warnings emitted by BuildGlobalContext about requested features
come from insufficient isolation of public and private APIs. Correct
this error by moving the warnings to the public interface methods,
so the incorrect use is allowed without breaking the API contract.

While we are touching this area, deprecate redundant BuildAction
methods.

Change-Id: Ic77df07851f15bb6faabc7c9b4b466626e028d2f
Signed-off-by: Robert Varga <rovarga@cisco.com>

Bug 6856: Rpc definition should implicitly define input/output

Empty input and output statements are now automatically
added to every rpc statement that does not declare them.

Change-Id: I799137f18fe6ac382c8488684514b746dafbefb5
Signed-off-by: Igor Foltin <ifoltin@cisco.com>
Signed-off-by: Robert Varga <rovarga@cisco.com>
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 7879 - refine target node was not found

In case of uses-refine used in augment defined in submodule the yang
statment parser was not able to resolve target namespace, because augment
was definied in submodule. In consequence, leaf node retained its original
namespace and therefore refine target node was not found.

This patch fixes the bug described above.

Change-Id: I24668a2efb6853cfd07b515ea5671cd2bfde580c
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Bug 6878: Add support for parsing yang-specific XPath functions

YANG 1.1 (RFC7950) introduces a set of yang-specific XPath functions.
YANG statement parser can now parse YANG 1.1 models which contain
these functions

Change-Id: Icfbf95db0d04a3f077133c38341f250cde4e56eb
Signed-off-by: Igor Foltin <ifoltin@cisco.com>

Bug 7182: YangToSourcesProcessor deletes output directory

Now that a c/52087 has added a lifecycle-mapping-metadata.xml into the
yang-maven-plugin, for this to really properly work in-IDE even on full
builds (we're far from making this work incrementally..) it's important
that the output directory is cleaned.

This is because I've observed in testing that otherwise something else
(I'm not clear what) seems to prevent overwriting already existing
*.java files.  I've verified that with this change, the typical use case
of e.g. git pull master, some changes in *.yang files, you Project >
Clean... (full build, only) - red is gone!  (Finally.)

A full delete of an output directory (on a full rebuild) is, unrelated,
better anyway, as it gets rid of previously generated classes with names
that theoretically possibly don't exist anymore, imagine e.g. after a
renaming in YANG.

This fix is particular to in-IDE code generation, following the
lifecycle mapping.  It typically was never a problem on CLI, cauz
everyone always just does "mvn clean install" anyway - but it won't hurt
there either.  But for in-IDE, we have to clean ourselves; thus this
change.

The two *Test changes fix test failures introduced by this change.
Unless a misunderstood the intent - those tests appear to be wrong - how
can they intend the outputBaseDir to be the SOURCE dir of those YANG
models?!?  (That's what they do as-is, and that's why the test fails,
when the source gets deleted.)

Change-Id: Ie47294511b6f9c57cefdb305344045e112e8d05a
Signed-off-by: Michael Vorburger <vorburger@redhat.com>

Remove checkstyle plugin declaration

Checkstyle should not be run in aggregator poms. This patch fixes
a maven warning about missing version and should result in faster
compilation times.

Change-Id: I07d810fd05568865eb31f2f00fcc482fa4d0e31f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Format Module revisions

Rather than printing out the date, use QNameModule's
getFormattedRevision() to print out revision in correct format.

Change-Id: I953429c331548fc1e0d83449e0c339d64a9790e4
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7568: account for module/submodule split

The set of modules in the project does not map 1:1 to the set
of actual files, as modules have submodules. Correctly account
for this difference and track them separately.

Change-Id: I9eb4de37e59a9c1e9ca47143dd4be52f54ee396a
Signed-off-by: Robert Varga <rovarga@cisco.com>

BUG-7568: fix wrong translation

Translation should occur not the file name path, not the source.

Change-Id: If90169f8144a985bc7882cb77b482fd8b463291b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7850: make SourceIdentifier.getRevision() return null

getRevision() should follow its general contract and return null,
not a special string, when the revision is not found.

Change-Id: I74cd2648d218733e4ae26f7e849b72bd62b367ef
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7568: expose file name mapping function

We currently perform a rather nasty hack with NamedFileInputStream
to communicate the target result file to the code generators.

Update the code generation interface to allow passing down a mapping
function. Once all plugins have been updated to remove use of
SourceStreamAware, we can switch it to renaming files.

Change-Id: I4370a778ed46f759dd796dfed7436cc3bd657287
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bug 6886 - [Yang 1.1] Update rules for handling of strings

In Yang 1.1 an unquoted string cannot contain any single or double
quote characters and in double quoted string the backslash must not be
followed by any other character as those which are specified in RFC7950
Section 6.1.3.

Change-Id: Iec284b176ae04f3a908eb3c9d18eb5907d1b4c51
Signed-off-by: Peter Kajsa <pkajsa@cisco.com>

Fix resource-based YangTextSchemaSource

Resource-based lookup needs to trim the specified path, so that
only the file name remains -- otherwise the resulting source
identifier ends up including the full path.

Change-Id: I517139e16a2f259b22032462a607c3bd9a2277b3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7850: fix SourceIdentifier.toYangFileName()

Internals of this method assume the original, pre-broken semantics
of revision being null when not present. Fix this by comparing
to non-present string.

Change-Id: Id057ebfd5af31e83b6dc77145349825cff8f8f16
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate custom SimpleDateFormat instances

We have SimpleDateFormatUtil to capture a fast revision parser,
use that instead of rolling our own.

Change-Id: I9b907440b73d721d306d5a946fbee58b8be47bd1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

BUG-7182: add M2E lifecycle mapping

Add lifecycle mapping metadata. Execution will probably not work completely,
as the plugin architecture requires BUG-175 to be addressed, i.e. individual
generators should not be touching filesystem directly.

Change-Id: I7995de75c1817fb7bbdbc5e85790ad4e61a39486
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Update StmtTestUtils

Do not use deprecated YangStatementSourceImpl. Also adjust tests
to throw Exception, thus ridding them of some complexity.

Change-Id: I549197204adc64edb60d44cc439d02dbd39c815e
Signed-off-by: Robert Varga <rovarga@cisco.com>