Modernize yanglib-mdsal-writer

Use DataObjectIdentifier instance of InstanceIdentifier.

Change-Id: I9b4ce5f765d2a28ee0cad45cdd2e38f3a5e6ff65
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add ChunkOutputStream

Address the TODO left by the previous patch: ChunkOutputStream knows
the output and chunkSize, plus it gets a buffer.

write() methods now append to the buffer and frame it to output as
needed.

While we are here, also improve toString() implementations and add more
documentation.

Change-Id: I5cf0b91ab593bd9ab9151051bf828c9877f1386e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move EndpointInvariants

EndpointInvariants is a simple DTO, we can just move it to
impl package without exposing anything to the outside world.

JIRA: NETCONF-1379
Change-Id: I282a908b771132bcb71b5098c87f23b3f3b62fa4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move SegmentPeeler

SegmentPeeler is a utility useful to all users to transport-http, move
it there.

JIRA: NETCONF-1379
Change-Id: I281d48c548cee2752c58f13ec58320a6fddb8b8e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Finish RestconfSession/PendingRequest integration

We have all the bits and pieces concentrated in RestconfSession, now
implement request tracking as outlined in the FIXMEs, completing the
dispatch integration.

JIRA: NETCONF-1379
Change-Id: Icc5216b5496abda90cd2f1368f99134a07b09306
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out HTTPServerSession

RestconfSession has a top-half, which is RESTCONF-specific, and a
bottom-half, which is closely related to HTTPServer's channel setup.

This splits out HTTPServerSession, so that it can be moved to
transport-http and reused by other components if/when the need arises.

JIRA: NETCONF-1379
Change-Id: Iab96baab4b9469a6a5eaf2d3234cfdbb813a59a6
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate Http2Utils

This class is a case of false sharing:

1. most of the callers of copyStreamId() are server-side, so they
   can squat in ServerSseHandler.

2. connectionHandler() is differentiated by a boolean -- which selects
   the framer and deals with the setup of listeners.

Eliminate the entire class at the cost of duplicating ~15 lines of code.
While that may sound horrible, it is actually what we want to do,
because now we can evolve the setup on client side and server side of
things separately.

JIRA: NETCONF-1379
Change-Id: I3a5f4288f4b0d65fa53cc039e37b2dde70f46e87
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate RestconfRequest

The sole remaining user of this class is RestconfSession, which uses
it just as an indirection.

Fold RestconfRequest.execute() into RestconfSession.executeRequest(), so
that we get all the things in one place.

JIRA: NETCONF-1379
Change-Id: I085d5c1e020d31ab1deb38c5496f1ace0bcd8ce7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Refactor AbstractRequestProcessorTest wiring

This patch finishes the 'RequestDispatcher' refactoring saga by wiring
AbstractRequestProcessorTest to RestconfSession so that all requests
we send end up going through all of our validation.

This flushes out the fact we do not add a Host: header, which this patch
adds to all testing messages.

JIRA: NETCONF-1379
Change-Id: I907d689e1524b501070d2ef96a00df77ad37aa25
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Improve PendingRequest.execute()'s body handling

Empty body is not really valid in terms of RESTCONF -- in fact we have
some code to detect empty inputs in restconf-server-api.

Update PendingRequest's contract to allow for null bodies and deal with
that in PendingRequest{With,Without}Body.

With that expressiveness in place, rework RestconfSession's content
reference handling, so that we release the body as soon as the execution
is done.

JIRA: NETCONF-1379
Change-Id: Idb3b92450cabe6fd27661e70863fa8b64e3bc93a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add PendingRequestWithoutBody

We are getting our body handed as an InputStream and it is critical we
close it.

PendingRequestWithBody already deals with that, now we introduce
PendingRequestWithoutBody, which closes the stream prior to continuing
execution.

In order to prevent accidental mistakes, make AbstractPendingRequest a
sealed class allowing only these two subclasses, so that everybody else
has to pick on which side they are.

JIRA: NETCONF-1379
Change-Id: Ic06c133bb401f8ff8eeb5b1e2df55f074148a546
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate APIResource.firstSegment()

APIResource should not care how it is reached from EndpointRoot, move
that knownledge out.

JIRA: NETCONF-1379
Change-Id: I79704a1be259265048a0205db397819252dc28e1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out EndpointRoot

RestconfSession includes more functionality than it should, mostly
because there was no other place to stick it while we had
RestconfRequestDispatcher.

This patch introduces EndpointRoot, which acts as the semantic root
resource of a particular Endpoint, taking care of dispatching between
registered resources.

JIRA: NETCONF-1379
Change-Id: Id59841b92f5a568024463a7355d6bfdf2969a7c9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup OpenApiBodyWriter usage

OpenApiBodyWriter is a JAX-RS integration capable of streaming an entity
into an OutputStream, but we are misusing it to buffer entities in our
InputStreams.

Introduce OpenApiBodyBuffer to perform exactly the operation we need,
migrating complicated callers.

MetadataStream is straight-up replaced with pushing the MetadataEntity
into Response -- whence it is picked up by OpenApiBodyWriter.

JIRA: NETCONF-1370
Change-Id: Ic6f7b779b7afe28b90739351b48aff2aceedf0e0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up restconf-openapi dependencies

We are using jackson-databind only for tests, hence we can work with
just jackson-core.

Update our wiring and clean up dependencies, switch enforcement on, so
we do not regress.

JIRA: NETCONF-1370
Change-Id: Ia553b53e6d580a072eea67813062f8b27729e343
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump SSHD to 2.14.0

https://github.com/apache/mina-sshd/blob/master/docs/changes/2.14.0.md

Change-Id: I14fa8f3641550852705811a93521128768e15246
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Propagate TransportSession to NettyServerRequest

Subscriptions will need to be attaching resources to RestconfSession,
this patch ensures we expose it from ServerRequest.

JIRA: NETCONF-714
Change-Id: I7948ea3f76351de7b69ae0b99a15b20c79cfdc6f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename RestconfRequestDispatcher to APIResource

At this point there is only a teensy-tiny bit of the old 'dispatch()'
logic living in RestconfRequestDispatcher and it now really acts as a
the root of RESTCONF -- i.e. what RFC8040 calls 'API Resource'. Rename
it to match its function.

JIRA: NETCONF-1379
Change-Id: I18437f5346ff6c1c179a477514001a2c4bb692fa
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move RestconfRequestDispatcher processing

The entire RestconfRequestDispatcher.dispatch() thing is going to be
refactored. Move it to RestconfRequest, as it is completely independent
from RestconfRequestDispatcher.

JIRA: NETCONF-1379
Change-Id: I6a7ea7768fa467002beecc38d806898f46cca55c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up RestconfRequestDispatcher a bit

This class is becoming a normal resource, hence it should not be logging
things on behalf of the entire component.

Move the logging bits to RestconfTransportChannelListener and move the
prepare() method just below the constructor, so that it is clear what is
going away at some point.

JIRA: NETCONF-1379
Change-Id: Ia5b9f168c164ac30341ae3cdc43eb2a34b696b84
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Trim leaf resource method names

Now that each resource has its own class, we can shorten private method
names.

JIRA: NETCONF-1379
Change-Id: If2c257a3ac0fbda401ab24b12dc71539b89c03a9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

RestconfRequestDispatcher is an AbstractResource

We now have a clear definition of what a resource is -- but the
prepare() method has some tension between RestconfRequestDispatcher's
and AbstractResource's (and its subclasses') needs.

Resolve this tension by introducing AbstractLeafResource, which is what
DataResource et al. really are.

This allows us to redefine AbstractResource.prepare() to match exactly
what RestconfRequestDispatcher's idea, with AbstractLeafResource
providing the common glue during invocation.

JIRA: NETCONF-1379
Change-Id: I6e060eac0513c6188627a0543bd87708edbdbf6e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out RESTCONF request preparation

RestconfRequestDispatcher's organization is now such that there are two
three distinct parts to it:

1. the 'RESTCONF API root resource' part, dealing request
2. the preparation of subresources
3. the Netty pipeline part, dealing with interface to RestconfSession

In this patch we introduce AbstractResource to split out utilities and
constants shared for the first two parts. It additionally defines the
prepare() function, which we use from the last part.

We split out {Data,Modules,Operations,YLV}Resource, so that each hosts
only methods specific to them.

JIRA: NETCONF-1379
Change-Id: I0b42a3920146a30f22ce8bfdb3b5fd97693bfcdf
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Refactor RESTCONF request dispatch

The act of servicing an HTTP request has four distinct phases:
- request validation and binding, synchronous
- request execution, asynchronous
- result interpretation, synchronous
- result streaming, asynchronous

We have first two cobbled together in RestconfRequestDispatcher, while
the last two are handled synchronously in ResponseUtils and the various
RestconfRequest subclasses.

This patch tackles the problem in RestconfRequestDispatcher, separating
the two phases.

We introduce a prepare() method, whose sole raison d'etre is to
synchronously process the contents of HttpRequest, i.e. method, URI and
headers, so as to arrive at a specific request (and its parameters) that
we want to be executing.

The result is communicated via PreparedRequest, which is a sealed
interface with two specializations:

1. CompletedRequest, holding an immediate result -- typically an error
   response, or a response that is statically known (such as the answer
   to 'OPTIONS /restconf/operations HTTP/1.1')
2. PendingRequest, represents has a number of specializations for the
   various requests we can execute asynchronously

The former is handled by immediate conversion to a FullHttpResponse,
which is then sent to the client. The latter is then fed any request
body, if present and executed, with the results processed in the usual
way.

We also eliminate two implementation hotspots:

1. RequestParameters, which has comindled the various request-related
   concerns in a structure-like blob. We now track the various
   parameters in the various AbstractPendingRequest subclasses, keeping
   them colocated with their users.

2. ResponseUtils along with the message builder -- which are now
   replaces through the Response interface, which offers decoupling of
   response shapes from how they map to HTTP constructs -- which is
   really a pipeline-side concern.

The result is that we have separated out the concerns, so that each
processing stage has a natural view of what it needs to handle --
resulting in much more modular codebase, where individual concerns can
be further evolved without touching others.

Most significantly, the process of turning RestconfServer responses
into ByteBufs is driven completely from PendingRequestListener -- i.e.
fully at the discretion of the Netty pipeline side of the house.

JIRA: NETCONF-1379
Change-Id: I58b89a389faac4a305881f425b5ec6cfac0d77f4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use exhaustive switch in sessionEvent()

We really want full coverage of possible events, use a Java 21 trick
to get that.

Change-Id: I6f7005700406ad713ea302f0ef511c74a0ba1700
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use HttpRequest in PrincipalService

PrincipalService requires access to headers, nothing else. Make sure it
does not carry the baggage of FullHttpRequest.

JIRA: NETCONF-1379
Change-Id: Icae70e153118dc661fc7a50352a6503337ac7ba2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Separate out ugly assert

We have a rather funky test here, which happened to work because we had
no guards against thrown exceptions.

Those guards are coming back, hence this late-access to InputStream will
not work.

Refactor the test harness into its own class and mark it for
replacement.

JIRA: NETCONF-1379
Change-Id: I6f233fb4dc3a223b375d0e611e12dc5d8ccd0996
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add restconf.server.ImplementedMethod

We are making a check whether a particular method is implemented via a
Set.contains(). This involves a hash-based lookup and gives us a
boolean.

We can do better: define an ImplementedMethod enum, and use Map.get()
for the same check. This has the same lookup cost, but gives us a
singleton check, which we can use for more efficient dispatch.

JIRA: NETCONF-1379
Change-Id: Ic58a0d2d5cdf836b8acd40f5be5c6f1c40ecced7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose AbstractServerRequest.prettyPrint()

Having this method limited to subclasses is quite limiting -- it means
that classes in the same package as a subclass cannot reference it.

Rather than requiring subclasses to provide a different method that
bridges to prettyPrint(), make the method public, which does no harm.

JIRA: NETCONF-1379
Change-Id: Ib3f307d650756e405aef2a850a2af8dd579fac1e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

OpenAPI: Actions displayed under /rests/operations

Fixed base path for action to be /rests/data instead of
/rests/operations.

JIRA: NETCONF-1395
Change-Id: Iae1043447252d3ff97b0f067a99b5b0a94fdc06d
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>

Eliminate extractAcceptTypes()

This method is a simple internal intermediary, which actually hides
things from its caller. Inline it and drop a FIXME pointing out the
naivety of responseTypeFromAccept().

JIRA: NETCONF-1379
Change-Id: If22a569be1e740c64673f3675d6095126c197dba
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expand usability of MessageEncoding

Now that MessageEncoding is a well-defined, expand its usefulness by
including:
- direct RestconfStream.Encoding constant reference
- the set of producer-compatible media types

JIRA: NETCONF-1379
Change-Id: I586773cd08449224aba5568d90cecdcede9513fc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out NettyEndpointConfiguration.Encoding

This encoding enumeration is backed by a well-known specification,
namely RFC8040 section 5.2 "Message Encoding".

Promote this class to a top-level construct, adding the appropriate
documentation to ensure where this is coming from.

Update propagation within o.o.restconf.server, so that we do not
lose type safety to AsciiString.

Furthermore split out the from(String) method to restconf-nb, as its
contract is undocumented and is really only appropriate in parsing
the configuration file there.

JIRA: NETCONF-1379
Change-Id: I60499d255d94463e498d6aa1511715469d1b8ead
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out bootstrap factory

NettyEndpoint currently allocates its own BootstrapFactory and it fails
to clean it up.

Furthermore the configuration prevents users from sharing threads
between multiple subsystems as well as using split groups fro accepting
connections (boss) and servicing connections (worker).

Fix the leak and plug the capability gap by more closely following the
netconf-nb model -- and have the BootstrapFactory managed separately
outside of NettyEndpointConfiguration.

JIRA: NETCONF-1379
Change-Id: I2cd0e93fc29f1413b3b4438ce74a3327f72f3f1a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Retain Encoding in endpoint configuration

Do not peel Encoding, just forward requests for default encoding to it.

JIRA: NETCONF-1379
Change-Id: I8df2f190b030f505023ac6a5e28aeca54eb74343
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add response body example for ROOT operations GET

Hardcoded top-level container "ietf-restconf:operations" for
the OpenAPI-generated example.
Implemented fixed structure to ensure proper schema generation
for both JSON and XML.
Updated unit tests (UT) accordingly to reflect
the new changes.

JIRA: NETCONF-1343
Change-Id: I4aa9f4d782eee929cd49b445913683c3cd1ea33b
Signed-off-by: Yaroslav Lastivka <yaroslav.lastivka@pantheon.tech>

Update Netty RESTCONF API root path configuration

The 'restconf' configuration property defaults to "rests" for historical
reasons and controls the {+restconf} expansion on the JAX-RS endpoint.

In the Netty endpoint we want to retain the ability to control the path,
but want to start with the default of "restconf", to make the
out-of-the-box experience match RFC8040.

This patch introduces a separate "api-root-path" property, with a
well-documented syntax and semantics.

We propagate this property via NettyEndpointConfiguration in a decoded
form, so there is no confusion as to what the actual semantics are --
which is always a problem with naked Strings.

JIRA: NETCONF-1379
Change-Id: I14ae912082c9407cac796971686e75f0c23cf04f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add response body example for ROOT data GET

Added refs to root data GET requests to fill the response
for this path. Controller and devices have different
models wired up to them depending on what you can
actually see after executing GET request to them.

All UT test resources have been adapted for this change.

JIRA: NETCONF-1342
Change-Id: I38ec5df3183809e062fed1af09ba43cf59e1a034
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>

Add parameters for ROOT data GET

Added parameters for GET ROOT path object,
provides possibility to select config or nonconfig data.
Added possibility to set 'Accept' parameter inside header,
included empty content container for proper OpenAPI parsing.

JIRA: NETCONF-1338
Change-Id: I6584e58d1d8857b6abe202b63e14c03d6fd584d9
Signed-off-by: Yaroslav Lastivka <yaroslav.lastivka@pantheon.tech>

Fix request path interpretation

We are decoding the request path before processing it, which leads to
our inability to properly target values.

This patch introduces SegmentPeeler, which aids our traversal of the
path -- thus we can examine decoded segments while we still retain the
ability to pick up the remainder of the path in encoded form.

JIRA: NETCONF-1399
Change-Id: Ib7f7b08db8a97da7e9f60528f9834c50e6ce1ee4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

OpenApi: Avoid leaf names duplication

Slightly modified schema generation logic to add the name
of the module before augmentation nodes to avoid
duplication error for augmentations with the same name as
the augmented node. This should help to distinguish
between augmented and not augmented nodes.

JIRA: NETCONF-1361
Change-Id: Iddae59522949a147ef3a6877bef30cfba1d24b20
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Remove NettyEndpointConfiguration.baseUri()

The idea that the user needs to configure a hostname for Netty endpoint
is quite wrong: we get an absolute URI with each request and hence can
trivially derive restconfURI that the caller can use to reach us.

Remove the host-configuration knob and streamline
NettyEndpointConfiguration by propagating only the restconf() prefix.

JIRA: NETCONF-1379
Change-Id: Ia4857e74e109e04339865fec31f4261343ab953d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add String-based StorageEntry constructor

We have two places instantiating StorageEntry from strings:
- TestUtils.storageEntry()
- PlaintextLocalFileStorage.readData()

Expose the appropriate constructor and eliminate and let tests use that.

Change-Id: I4f0225ded5cc925c6197a3b12e36f84f36284856
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not allow StorageEntry to be subverted

Perform a defensive clone on {insert,put}Entry(), so that these cannot
be modified later.

Change-Id: Id41b1a157e3ec1ca30f26b0e37c20d59d7fb983e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

StorageEntry should not be a Map.Entry

StorageEntry is internal storage and as such it does not follow the
Map.Entry contract -- most notably it has a different hashCode().

Stop claiming we are implementing Map.Entry and instead use Map.entry()
to construct the one to give out to users.

Change-Id: I6ef9900f32d65d129edbbc7aa84e89177ca853e3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use a iterator mapping

Each of our entries snapshot is immutable, hence we can use iterator
transforms instead of linearizing to array.

Change-Id: Ic41fbfc35a39db704c78de1ccea5381dfd3ecb8b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup plaintext-localfile dependencies

We have superfluous dependencies specified and have them misordered. Fix
both up.

Change-Id: I3101f9f581c3eefeb1e92b4b5673028e3936c980
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove superfluous nullness annotations

Annotations are specified in interface contract, there is no point in
repeating them.

Change-Id: I0c346d62b7c1bde2b5978f7c80b707d601c5fe8a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not use Optional during lookup

We are using Optional only to remap it internally. Rename findByKey() to
lookupEntry() and return a nullable instead.

While we are here, also make sure we reject null keys consistently.

Change-Id: I404247e93e34f3e05405e6e0517d942f6b8a5489
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Specialize TransportChannelListeners

Take advantage of the ability to cap which TransportChannels a
particular listeners supports. This allows us to eliminate a cast in
RestconfTransportChannelListener.

JIRA: NETCONF-1400
Change-Id: I1f7000b724eb9f94bc28f9cec51f098165d5f722
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix private TransportChanneListener references

Our switch making TransportChanneListener a parameterized interface is
causing quite a few warnings.

This patch addresses warnings private to transport implementations,
without an ABI impact.

JIRA: NETCONF-1400
Change-Id: I5d3aa813f9ef4c859b72e774376031facf614ee5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Parameterize TransportChannelListener

TransportChannel types are exposed to users and some of them provide
useful information. Allow the TransportChannel type to be specified
for TransportChannelListener.

JIRA: NETCONF-1400
Change-Id: Ia5d589ff2496153ee6909350217bb31a4152b4ad
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Propagate Target URI to dispatcher

We need the Target URI in RestconfRequestDispatcher, so that we can
propagate the correct {+restconf} base, as seen by the client, to the
RestconfServer.

JIRA: NETCONF-1379
Change-Id: Iac3fb12bc708f72496f576260c7de7a0fb09c5c7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rework resource lookup

RestconfRequestDispatcher is using indirection via PathParameters to
interpret the requested path.

There are multiple problems here:
- the logic is quite undocumented
- there is an overload of PathArguments.EMPTY to report at least two
  distinct paths
- we are reporting 409 where we should be reporting 404, as noted in
  RFC8040 section 4.3
- the splitting works on decoded path, whereas the ApiPath.parse()
  should always we presented with an encoded path

This patch deals with the first three problems, documenting how we are
peeling the path and what gaps there are relative to the specification.

The last problem is marked with a FIXME and will be addressed in a
follow-up patch.

JIRA: NETCONF-1379
Change-Id: I408626a5e328bb938f727d9a549ca8297c9df3a9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Correct well-known error status code

We are now reporting unimplemented method from RestconfSession, hence
WellKnownResources can report a proper 405 Method Not Allowed by
default.

JIRA: NETCONF-1379
Change-Id: I62c4323e8bc4f4fe0c0f082bffec18dffab55f01
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reconstruct Target URI, part two

Reconstructing Target URI from its usual origin-form is a tad more
involved:

1. we need access to the URI scheme being used, which we now have
   conveniently available from HTTPTransportChannel
2. we need to ensure we have a Host header, that it contains only one
   value and that it is a valid authority

We employ java.net.URI for most of the parsing, combining and error
reporting functions. It also allows us to determine in the uri is in
absolute-form, in which case we can pick it up as is.

We use this URI to initialize QueryStringDecoder, so that its uri()
method reports the complete thing.

JIRA: NETCONF-1379
Change-Id: I6641a613f2fd4c63332ae29b0a876ca32a325a03
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reconstruct Target URI, part one

In order to correctly serve our requests, we need to properly
reconstruct target URI, as per HTTP/1.1 spec.

This patch deals with the simplest case, asterisk-form: it is only
allowed for OPTIONS request and reports all methods implemented by
the server. All other methods fails with either status 400.

That necessitates knowledge as to what methods are requested, hence
we have a statically-populated Set.

JIRA: NETCONF-1379
Change-Id: Id37044799460759d1066ad7a17524ee0c0284060
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose HttpScheme from HTTPTransportChannel

Downstream users may need to inquire as to whether the channel is secure
or not -- for example to follow RFC9110 Target URI construction.

Expose HttpScheme from HTTPTransportChannel, so that this information is
readility available.

JIRA: NETCONF-1379
Change-Id: Iba7f847246ab9c88a9804caba803f22ab704f406
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Specialize HTTPClient

We know statically whether a particular client is TLS-enabled, so use
two subclasses, each specialized for the task.

JIRA: NETCONF-1379
Change-Id: Ib46a3c779dd2f3bdf060561a754180f099fdc997
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move ResponseUtils.optionsResponse()

This method is only called from RestconfRequestDispatcher. Move it there
and simplify it by bypassing ResponseBuilder's complexities.

JIRA: NETCONF-1379
Change-Id: Ie7647fcc2eab6b8c1c9112da55283efb1b5819ae
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up NettyServerRequest subclasses

Almost all anonymous NettyServerRequest subclasses are inefficient in
that they retain RequestParameters twice:
- once in NettyServerRequest
- once via reference to 'params' method argument

Make sure we reference NettyServerRequest.requestParams instead of
params, reducing memory overhead of each request.

JIRA: NETCONF-1379
Change-Id: I0f7df86dbd8681f2d4e92f7dabefb6f6820709ef
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add FormattableServerRequest

We have two distinct NettyServerRequest subclasses doing exactly the
same thing. Share a single FormattableServerRequest class between the
two code paths.

JIRA: NETCONF-1379
Change-Id: Id30306ce9073afdd73d790282d3a023dde2c4c07
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Introduce RestconfRequest

The use of FutureCallback is misleading and not very well controlled.
Introduce RestconfRequest, which shows that the onFailure() path is
never taken.

This also provides us with an anchor point for future evolution, as we
must be mindful of asynchronous processing. The requirements are laid
down in a FIXME, which we will address in future improvements.

JIRA: NETCONF-1379
Change-Id: I3e9a25ce6932498654567c12ea431417e27a2c7b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not pass around RestconfServer

Now that we have localized request dispatch, we can access
RestconfServer via RestconfRequestDispatcher's field rather than passing
it around to static methods.

JIRA: NETCONF-1379
Change-Id: Ie1fd87d1f873b86d46ce68e8e127b13c4e13d5d8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Limit the number of candidates for string example

The number of candidates tried when a string example is generated
with regex & length constraints may increase exponentially as the
string length increases and this may cause out-of-memory error.

For example, if there are 10 transition paths at each step, then
the number of candidates becomes 1 million after just 6 characters.

Limit the maximum number of transitions allowed at each step to prevent
the exponential growth in search paths. This reduces the chance of
generating a conformant example a little, but prevents excessive use
of memory and CPU cycles.

JIRA: NETCONF-1398
Change-Id: I2d926a438da14395f56f93d1a98a56507c1c7ff2
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Do not use LinkedList in plaintext-*

Use an ArrayList instead.

Change-Id: I95676a3d3db5870d09d40c54151439d2e1667dd0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate RequestUtils

The only production caller is RestconfRequestDispatcher, move these
utility methods there.

Hide them and ensure AbstractRequestProcessorTest uses explicit
calls to ApiPath.parse().

JIRA: NETCONF-1379
Change-Id: I8f5c69f57d23f9bd74e9f49d0519f8e078c2c6da
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate ModulesRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: I268ba415f30daf492fe12573a3b09bb9ed8b3a6f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate OperationsRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: Ib51a3c83de9400c61304d99d4a3b21f99f502045
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate DataRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: I0ec4cdd2634cd707e5bbcef2617e4eebc3173923
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clarify FIXME for NETCONF-714

Clarify FIXME in NettyServerRequest to be part of NETCONF-714.

JIRA: NETCONF-714.
Change-Id: Idf7192ff65fd9d48a7d8d00f22b15c294a7faa49
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Fix testtool request failure to netty endpoint

Testtool uses java's HttpClient which includes
HTTP/2 upgrade headers by default when PATCH requests
being sent. This results 413 Entry too large response
from Netty-based server because HttpServerUpgradeHandler
is not expecting non-empty request body with
protocol upgrade request.

The fix limits protocol version for HttpClient to
HTTP 1.1 to omit upgrade headers.

JIRA: NETCONF-1376
Change-Id: I2c07edce78b521417cf073f5c0d757e58f557c91
Signed-off-by: Ruslan Kashapov <ruslan.kashapov@pantheon.tech>

Fix 401 Response headers for HTTP Transport

Auth handler updated to return WWW-Authenticate
header with 401 Unauthorized response.

JIRA: NETCONF-1394
Change-Id: I018b7c37ec08eae4525355001265f4151bafa298
Signed-off-by: Ruslan Kashapov <ruslan.kashapov@pantheon.tech>

Bump versions to 8.0.3-SNAPSHOT

This starts the next development iteration.

Change-Id: I02b4ab07c5385f86af946b821f1ede30d58b4ce9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Release netconf

Dispatch OPTIONS requests to RestconfServer

RestconfServer is providing guidance as to what kind of resource a
particular path represents. We take advantage of this, to ensure parity
with JaxRsRestconf.

JIRA: NETCONF-1210
Change-Id: Iab8aa05f2183f5f0f9b5f9d283bea9cdd9579eb6
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup OptionsResult

We need to differentiate between RPCs and actions, an unfortunate
side-effect of difference of their invocation modeling.

Split OPERATION into ACTION and RPC, and report them as appropriate.

JIRA: NETCONF-1210
Change-Id: Ia9948998ffedb4e7ff1025cb4e268ffeb1a68ad9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Adapt docs for netconf-node state encapsulation

Adapt user guide to changes caused by netconf-node state
encapsulation.

JIRA: NETCONF-1388
Change-Id: I477f14e814c0d4dfa3833454b8803c2a72fdc18e
Signed-off-by: Samuel Schneider <samuel.schneider@pantheon.tech>

Fix stream URLs for Netty RESTCONF

Restconf URI passed for URL construction require to be ended
with slash otherwise last path element will be dropped by URI#resolve.

JIRA: NETCONF-1390
Change-Id: I1707b8460741bd99a971359fd152152b60440c8c
Signed-off-by: Ruslan Kashapov <ruslan.kashapov@pantheon.tech>
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Translate RpcCredentials with a switch expression

We have an if/else cascade here, use a switch expression instead.

Change-Id: I6d98c2fcd07ab06f9a161ed663864b00347686ee
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Encapsulate netconf-node state

Encapsulate netconf device related configuration into its own container.
So mandatory credentials requirement is not enforced for anyone who is
not writing that container.

This allows using other custom topologies without issues.

JIRA: NETCONF-1382
Change-Id: If015222df4b4a885c832f8de35f3c482e9dfbc2a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
Signed-off-by: Samuel Schneider <samuel.schneider@pantheon.tech>

Add {data,operations}OPTIONS() methods

JAX-RS endpoint is doing a number of bad things w.r.t OPTIONS:
- it does not produce Accept-Patch header
- it exposes implementation structure via WADL
- it is not accurate for /data/* resources

Enrich RestconfServer API to allow querying the nature of a particular
data item and existence of operations -- which in turn allows us to
report accurate OPTIONS.

JIRA: NETCONF-1210
Change-Id: Iee4171eb9500bb996a63e682c946c20d6e401145
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Set correct SchemaInferenceStack for list example

In the method prepareFirstListExample, SchemaInferenceStack points
to the list, which is incorrect as we are processing its child.

This method is called only when the min-elements constraint is set.

JIRA: NETCONF-1389
Change-Id: I4ffb371751a71012ead461837f775a89957fd111
Signed-off-by: Peter Suna <peter.suna@pantheon.tech>

Fix string example generation error

Following a single regex transition path does not guarantee an example
conforming to the regex & length constraints.

Search all transition paths adding a character at a time until the
minimum length requirement & regex pattern are satisfied or the maximum
length limit is reached.

This guarantees the shortest possible example that satisfies the regex
& length constraints.

JIRA: NETCONF-1386
Change-Id: Ib7b7714330b5176541fe928dc5660c20579f8b2d
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Eliminate Http2SettingsFilter

We need Http2SettingsFilter only because Http2Utils.connectionHandler()
configures Http2ToHttpAdapter to send it out.

Do not override the default configuration, leading to HTTPClient's
adapter not sending these -- and hence we can ditch the filter.

JIRA: NETCONF-1379
Change-Id: I0be0ec6b7375b12c183bc2076276c0c6932455ba
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up restconf-nb dependencies

The dependencies are quite inaccurate now, clean them a up a bit.

Change-Id: I19229a1f8d9027173ea1f42f5fdfa90d336a2acc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up odl-restconf-nb

Clean up packaging, so we do not pull in duplicate bundles.

Change-Id: I379e1ebbdb203c23c0d8ae21554d04b9e3f32203
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add odl-restconf-(server-)api

Package restconf-api as a separate feature, so that it can be used from
other places.

Change-Id: I5b40e2814ec15b78b74948c1e2120010425dca7d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move restconf-server-jaxrs tests

Move tests into the artifact they are actually testing.

Change-Id: I2d504bcd40c98bb9f0bead309c7e5c7ef6c8e0bf
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Package transport-http in odl-netconf-transport

transport-http does not have a home. Make sure to include it in
odl-netconf-transport.

JIRA: NETCONF-1379
Change-Id: Ia6d12e1866a1eb22609586aee578015bb11688d2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Integrate transformation to NettyServerRequest

Make NettyServerRequest abstract, with a transform() method. This makes
it clear what specializations we have and also reduces the amount of
objects we allocate.

JIRA: NETCONF-1379
Change-Id: Ifddc410b929f6b8e64adbf2e94c40bc08856fea5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Slice XRD/JRD resource

We need to use ByteBuf.slice() so the reader index on shared buffer does
not get updated.

JIRA: NETCONF-1379
Change-Id: Ibd69b480748094fbbe227ef767f47f14b91943cb
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use a switch expression with DataPostResult

We have a sealed hierarchy, hence using a switch expression is
exhaustive and we can eliminate an impossible case. The same thing
applies to both RESTCONF endpoints.

Change-Id: Ia06223bbccb7fda2a33c67cc129c04cd1cc4a335
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use OPTIONS * for upgrade

GET / is a resource operation, which may result a ton of data, be
subject to access control, or actually be unimplemented.

Use OPTIONS *, which is well-documented to be a 'no-op' kind of HTTP
request.

Change-Id: I9e112ffa1817d09b77109171a3a221ed34c9bf6b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Advertize "defaults" RESTCONF capability

Advertizement of "defaults" RESTCONF capability is mandatory, yet we do
not do that.

Advertize it with basic-mode=explicit, which most closely matches the
semantics of the MD-SAL datastore.

JIRA: NETCONF-1380
Change-Id: I48577e606383fc7413a3cd2e95a5c8cbb52fb49f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not use karaf-services-maven-plugin

We are not really using services -- just publishing Karaf commands.

Add the MANIFEST header and ditch use of karaf-services-maven-plugin --
fixing a build-time warnings and eliminating the unnecessary code it
packages in the bundle.

Change-Id: Ia9dc9cf8f837ac77f0f9998a2943dc1bd73f5712
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix truststore-api dependencies

We are using nullness annotations, declare them to fix a warning.

Change-Id: I6ed2b81420fecb2023038b773cfaf3db2683ece8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix dependency issues in keystore/*

We have two dependency issues reported here, fix them up.

Change-Id: I9bdcc0ae7c7ca4289276e2d445ea6b34e20877bc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix create-notification-stream implementation

We have a mismatch in the output leaf name, as sal-remote.yang has a
day-0 modeling bug: what was supposed to be 'stream-name' is named
'notification-stream-identifier' instead.

Fix the implementation to use the correct container.

JIRA: NETCONF-1295
Change-Id: I9ea3d4b3bb6c70b4c087e597f67456a9a095f789
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate ResponseUtils.allowHeaderValue()

This creates a static string, from a set of methods. Rather than
performing magic, let's use hand-crafted equivalents.

Also do not share these strings with tests, but rather have tests assert
them separately.

JIRA: NETCONF-1379
Change-Id: Id241430ac633f3bb8c1166dea3e65c34c9266975
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>