Ensure backoffMillis is not less than expected

Keeping the last backoff value after randomization can
reduce the SleepingTask timeout to a much smaller value
than expected.

Fix this by keeping the backoff value before randomization.

JIRA: NETCONF-1408
Change-Id: Ie926c92f9e203515c9623d9c794e441a447962f7
Signed-off-by: Peter Suna <peter.suna@pantheon.tech>

Adopt draft-ietf-netconf-udp-client-server-04

Import ietf-udp-{client,server}.yang as found in the latest version of
draft-ietf-netconf-udp-client-server -- in transport-udp.

Change-Id: Id483a3f195346ebea51530be35cd6cb0d4c321e9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Adopt draft-ietf-netconf-netconf-client-server-37

Upgrade models to match current draft, at revision 2024-08-14.

Change-Id: Iee29808e943abf4945d7d11876f9ce57af5e420d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix odl-netconf-transport dependencies

Make sure we use a range for odl-mdsal-model-rfc7317-iana-crypt-hash.

Change-Id: I555ea90c0c840ee3ee107687d4e32336028571ea
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>
(cherry picked from commit 325167b5cb205456cbc6a5fe8fd84606c67d1c1c)

Convert transport-tls to a JPMS module

Now that we do not have generated code here, we can switch to being a
JPMS module, properly encapsulating our internals.

Change-Id: Ib8c06203408f53b40db996b868329ae928dd1745
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch to using RFC9645 models

ietf-tls-{client,common,server}.yang have been published in RFC9645 and
are available from MD-SAL.

Change-Id: If36b3c6070223fc81c34354bbcc6c4ea96289be2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Allow status code 201

The POST request returns 201 when resource is created successfully,
so it should not generate WARN log when the test tool sees the response
code. Include it in the list of accepted status codes.

JIRA: NETCONF-1410
Change-Id: I6b1d5e099bba285ecf6f1653ef9ce188eb12bd8c
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Refactor SessionListener integration

Disconnect SSHTransportStack from SessionListener, so the implementation
detail is hidden from users. An additional side-effect is that we no
longer need to suppress SpotBugs.

JIRA: NETCONF-1190
Change-Id: I79c28aba49064289dfa7ce903522b1da60482004
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Convert transport-tcp to a JPMS module

We have moved models out, convert now to a JPMS module to improve Java
integration.

Change-Id: I3eb8603af7a66f1f102d9a126bbdad492ee334cc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch to using RFC9644 models

ietf-ssh-{client,common,server}.yang have been published in RFC9644 and
are available from MD-SAL.

This patch switches to using them instead of the old draft, adapting to
the new way how algorithms are modeled.

Change-Id: Iaac864c7ec315794c92f6bd8313a580a9d4b75ec
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Switch to using RFC9643 models

ietf-tcp-{client,common,server}.yang have been published in RFC9643 and
are available from MD-SAL.

This patch switches to using them instead of the old draft, but only
supports single address binding for now.

It also requires updating the client/server models to match the
multi-listen capability -- which we pick up in the exact shape as the
latests drafts.

Change-Id: Id2ee382b6d988679a65a2812b51af8653e22d6c1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use RFC9642 ietf-keystore.yang

This model has been finalized and published and is available from
MD-SAL. Pick it up from there, leaving keystore-api a vacuous artifact
for now.

Change-Id: Ia99d3d1947fb343586d32f8ae6e420af5ffd6588
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use RFC9641 ietf-truststore.yang

This model has been finalized and published and is available from
MD-SAL. Pick it up from there, leaving truststore-api a vacuous artifact
for now.

Change-Id: I105a25b91ed2f06acec60295f1af716f7e69285d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use RFC9640 ietf-crypto-types

MD-SAL is providing ietf-crypto-types.yang, hence we do not have to
package it ourselves anymore.

Change-Id: I066a1055f78882ba8c5ab26639f9654da0d4f95a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump upstreams

Adopt:
- odlparent-14.0.4
- infrautils-7.0.4
- yangtools-14.0.5
- mdsal-14.0.3
- controller-10.0.3
- aaa-0.20.2

Change-Id: Ide732539861eda8d123f66a2c5849f326f4ed2f6
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup checkstyle

Upgraded checstyle is catching a lot of javadoc violations, this patch
fixes them up.

Change-Id: Ib156cb891e748b957cf0dd9415d043c35c62d01c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add RFC6415 constructs

The XRD and related contracts should be modeled, so that we can actually
look them up.

This creates LinkRelation and WellKnownURI constant registries and
models the XRD, at least the very bare bones we require.

We then proceed to define responses and use them in WellKnownResources.

JIRA: NETCONF-1379
Change-Id: Id24fe3dc9d1798440277286d182506feabafdc55
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix JAX-RS JRD output

'links' is an array, not a singleton -- correct that.

Change-Id: I10ef1929d1ec13a5a111e7063baeca62141892e8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove temp directory usage in plaintext-localfile

The PlaintextLocalFileStorageTest use the /tmp folder to store
new data-file and then replace original data-file in custom location.

This can cause error when move operation is performed accross
data stores. Fix this issue by storing new data-file in same
folder as original data-file.

Also removed the usage of /tmp folder in the tests.

JIRA: NETCONF-1396
Change-Id: I3124253567d9d47e59c61aa49f193980cff15d69
Signed-off-by: Peter Suna <peter.suna@pantheon.tech>

Introduce transport.http.ReadyResponse

ReadyResponse is a Response which can seamlessly translate to
HttpResponse, without throwing a checked exception.

Also promote EmptyRequestResponse to transport.http.

JIRA: NETCONF-1379
Change-Id: I8ce712a15dd692dcdd03cf00c9f92ed0be80a0d5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Modernize netconf-server-mdsal

Eliminate most of deprecation warnings by migrating to
DataObjectIdentifier.

Change-Id: I6fb2a22be4dc7c31d8f04907fa5da79fef71802a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use switch expression to assign type

Address the TODO we have left here.

Change-Id: I83191cd97b8fd2c6325325866f5f61b1483e2156
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reduce argument passing in PathsEntity

We are passing down arguments from fields. Stop doing that and reference
the fields instead.

Change-Id: I6e3d4143707426b81a4219e11e695a742c9d497d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add OpenApiServiceImpl.unboxOrZero()

Using Objects.requireNonNullElse() operates on objects, hence we are
bouncing between Integer and int.

Add unboxOrZero(), which does what it says on the tin: unboxes non-null
and returns 0 for nulls.

Change-Id: Ic69b4284dc0ddcabf69e46d7e458970e5b771dc9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Refactor PreparedRequest/Response class hierarchy

PreparedRequest, along with its sibling API components should really
live in transport-http.

This patch pulls it down, clreaning up the class hierchy.

JIRA: NETCONF-1379
Change-Id: Idada210d5236675037424650a52546bf6155c6a3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix SSH client re-authentication

The onKeyEstablished() callback is invoked whenever a key is
established, i.e. also after rekeying.

This leads to us attempting to trigger authentication again, which is
stopped cold by an ISE.

Fix this by bringing back the check we used to have in
NetconfCallHomeServer.

JIRA: NETCONF-1405
Change-Id: I2a15c319473f3a7a1082f5f58a9a30e9fbec8d73
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Modernize MonitoringToMdsalWriter

Switch to using DataObjectIdentifier.

Change-Id: Ib4ebe27d2bd90fd056eac627f72c153e50f35c94
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate OpenApi streams

There is no need to perform complicated buffering, as we have an
OpenApiEntityWriter.

We perform the following refactors:
- OpenApiInputStream is now DocumentEntity
- ComponentsStream is (for) now ComponentsEntity
- SchemasStream is now SchemasEntity

We also instantiate primary entities eagerly, as now they are costing us
nigh nothing and their presence makes it clearer as to what state is
encapsulated where.

JIRA: NETCONF-1370
Change-Id: I235ef442fddae47591348c2e73419972d3265c03
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix invalid use of @NonNull

Primitive types are not references, hence they can never be null.

Change-Id: Ia68c25593c3a4383970d59f5588f5ce6ba9cf2bc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Migrate to BindingDataCodecFactory

BindingDOMCodecFactory is deprecated, use its replacement.

Change-Id: I224714448be903660b635426f6b675007d6bbf34
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Modernize yanglib-mdsal-writer

Use DataObjectIdentifier instance of InstanceIdentifier.

Change-Id: I9b4ce5f765d2a28ee0cad45cdd2e38f3a5e6ff65
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add ChunkOutputStream

Address the TODO left by the previous patch: ChunkOutputStream knows
the output and chunkSize, plus it gets a buffer.

write() methods now append to the buffer and frame it to output as
needed.

While we are here, also improve toString() implementations and add more
documentation.

Change-Id: I5cf0b91ab593bd9ab9151051bf828c9877f1386e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move EndpointInvariants

EndpointInvariants is a simple DTO, we can just move it to
impl package without exposing anything to the outside world.

JIRA: NETCONF-1379
Change-Id: I282a908b771132bcb71b5098c87f23b3f3b62fa4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move SegmentPeeler

SegmentPeeler is a utility useful to all users to transport-http, move
it there.

JIRA: NETCONF-1379
Change-Id: I281d48c548cee2752c58f13ec58320a6fddb8b8e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Finish RestconfSession/PendingRequest integration

We have all the bits and pieces concentrated in RestconfSession, now
implement request tracking as outlined in the FIXMEs, completing the
dispatch integration.

JIRA: NETCONF-1379
Change-Id: Icc5216b5496abda90cd2f1368f99134a07b09306
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out HTTPServerSession

RestconfSession has a top-half, which is RESTCONF-specific, and a
bottom-half, which is closely related to HTTPServer's channel setup.

This splits out HTTPServerSession, so that it can be moved to
transport-http and reused by other components if/when the need arises.

JIRA: NETCONF-1379
Change-Id: Iab96baab4b9469a6a5eaf2d3234cfdbb813a59a6
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate Http2Utils

This class is a case of false sharing:

1. most of the callers of copyStreamId() are server-side, so they
   can squat in ServerSseHandler.

2. connectionHandler() is differentiated by a boolean -- which selects
   the framer and deals with the setup of listeners.

Eliminate the entire class at the cost of duplicating ~15 lines of code.
While that may sound horrible, it is actually what we want to do,
because now we can evolve the setup on client side and server side of
things separately.

JIRA: NETCONF-1379
Change-Id: I3a5f4288f4b0d65fa53cc039e37b2dde70f46e87
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate RestconfRequest

The sole remaining user of this class is RestconfSession, which uses
it just as an indirection.

Fold RestconfRequest.execute() into RestconfSession.executeRequest(), so
that we get all the things in one place.

JIRA: NETCONF-1379
Change-Id: I085d5c1e020d31ab1deb38c5496f1ace0bcd8ce7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Refactor AbstractRequestProcessorTest wiring

This patch finishes the 'RequestDispatcher' refactoring saga by wiring
AbstractRequestProcessorTest to RestconfSession so that all requests
we send end up going through all of our validation.

This flushes out the fact we do not add a Host: header, which this patch
adds to all testing messages.

JIRA: NETCONF-1379
Change-Id: I907d689e1524b501070d2ef96a00df77ad37aa25
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Improve PendingRequest.execute()'s body handling

Empty body is not really valid in terms of RESTCONF -- in fact we have
some code to detect empty inputs in restconf-server-api.

Update PendingRequest's contract to allow for null bodies and deal with
that in PendingRequest{With,Without}Body.

With that expressiveness in place, rework RestconfSession's content
reference handling, so that we release the body as soon as the execution
is done.

JIRA: NETCONF-1379
Change-Id: Idb3b92450cabe6fd27661e70863fa8b64e3bc93a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add PendingRequestWithoutBody

We are getting our body handed as an InputStream and it is critical we
close it.

PendingRequestWithBody already deals with that, now we introduce
PendingRequestWithoutBody, which closes the stream prior to continuing
execution.

In order to prevent accidental mistakes, make AbstractPendingRequest a
sealed class allowing only these two subclasses, so that everybody else
has to pick on which side they are.

JIRA: NETCONF-1379
Change-Id: Ic06c133bb401f8ff8eeb5b1e2df55f074148a546
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate APIResource.firstSegment()

APIResource should not care how it is reached from EndpointRoot, move
that knownledge out.

JIRA: NETCONF-1379
Change-Id: I79704a1be259265048a0205db397819252dc28e1
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out EndpointRoot

RestconfSession includes more functionality than it should, mostly
because there was no other place to stick it while we had
RestconfRequestDispatcher.

This patch introduces EndpointRoot, which acts as the semantic root
resource of a particular Endpoint, taking care of dispatching between
registered resources.

JIRA: NETCONF-1379
Change-Id: Id59841b92f5a568024463a7355d6bfdf2969a7c9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fixup OpenApiBodyWriter usage

OpenApiBodyWriter is a JAX-RS integration capable of streaming an entity
into an OutputStream, but we are misusing it to buffer entities in our
InputStreams.

Introduce OpenApiBodyBuffer to perform exactly the operation we need,
migrating complicated callers.

MetadataStream is straight-up replaced with pushing the MetadataEntity
into Response -- whence it is picked up by OpenApiBodyWriter.

JIRA: NETCONF-1370
Change-Id: Ic6f7b779b7afe28b90739351b48aff2aceedf0e0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up restconf-openapi dependencies

We are using jackson-databind only for tests, hence we can work with
just jackson-core.

Update our wiring and clean up dependencies, switch enforcement on, so
we do not regress.

JIRA: NETCONF-1370
Change-Id: Ia553b53e6d580a072eea67813062f8b27729e343
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Bump SSHD to 2.14.0

https://github.com/apache/mina-sshd/blob/master/docs/changes/2.14.0.md

Change-Id: I14fa8f3641550852705811a93521128768e15246
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Propagate TransportSession to NettyServerRequest

Subscriptions will need to be attaching resources to RestconfSession,
this patch ensures we expose it from ServerRequest.

JIRA: NETCONF-714
Change-Id: I7948ea3f76351de7b69ae0b99a15b20c79cfdc6f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rename RestconfRequestDispatcher to APIResource

At this point there is only a teensy-tiny bit of the old 'dispatch()'
logic living in RestconfRequestDispatcher and it now really acts as a
the root of RESTCONF -- i.e. what RFC8040 calls 'API Resource'. Rename
it to match its function.

JIRA: NETCONF-1379
Change-Id: I18437f5346ff6c1c179a477514001a2c4bb692fa
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move RestconfRequestDispatcher processing

The entire RestconfRequestDispatcher.dispatch() thing is going to be
refactored. Move it to RestconfRequest, as it is completely independent
from RestconfRequestDispatcher.

JIRA: NETCONF-1379
Change-Id: I6a7ea7768fa467002beecc38d806898f46cca55c
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up RestconfRequestDispatcher a bit

This class is becoming a normal resource, hence it should not be logging
things on behalf of the entire component.

Move the logging bits to RestconfTransportChannelListener and move the
prepare() method just below the constructor, so that it is clear what is
going away at some point.

JIRA: NETCONF-1379
Change-Id: Ia5b9f168c164ac30341ae3cdc43eb2a34b696b84
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Trim leaf resource method names

Now that each resource has its own class, we can shorten private method
names.

JIRA: NETCONF-1379
Change-Id: If2c257a3ac0fbda401ab24b12dc71539b89c03a9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

RestconfRequestDispatcher is an AbstractResource

We now have a clear definition of what a resource is -- but the
prepare() method has some tension between RestconfRequestDispatcher's
and AbstractResource's (and its subclasses') needs.

Resolve this tension by introducing AbstractLeafResource, which is what
DataResource et al. really are.

This allows us to redefine AbstractResource.prepare() to match exactly
what RestconfRequestDispatcher's idea, with AbstractLeafResource
providing the common glue during invocation.

JIRA: NETCONF-1379
Change-Id: I6e060eac0513c6188627a0543bd87708edbdbf6e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out RESTCONF request preparation

RestconfRequestDispatcher's organization is now such that there are two
three distinct parts to it:

1. the 'RESTCONF API root resource' part, dealing request
2. the preparation of subresources
3. the Netty pipeline part, dealing with interface to RestconfSession

In this patch we introduce AbstractResource to split out utilities and
constants shared for the first two parts. It additionally defines the
prepare() function, which we use from the last part.

We split out {Data,Modules,Operations,YLV}Resource, so that each hosts
only methods specific to them.

JIRA: NETCONF-1379
Change-Id: I0b42a3920146a30f22ce8bfdb3b5fd97693bfcdf
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Refactor RESTCONF request dispatch

The act of servicing an HTTP request has four distinct phases:
- request validation and binding, synchronous
- request execution, asynchronous
- result interpretation, synchronous
- result streaming, asynchronous

We have first two cobbled together in RestconfRequestDispatcher, while
the last two are handled synchronously in ResponseUtils and the various
RestconfRequest subclasses.

This patch tackles the problem in RestconfRequestDispatcher, separating
the two phases.

We introduce a prepare() method, whose sole raison d'etre is to
synchronously process the contents of HttpRequest, i.e. method, URI and
headers, so as to arrive at a specific request (and its parameters) that
we want to be executing.

The result is communicated via PreparedRequest, which is a sealed
interface with two specializations:

1. CompletedRequest, holding an immediate result -- typically an error
   response, or a response that is statically known (such as the answer
   to 'OPTIONS /restconf/operations HTTP/1.1')
2. PendingRequest, represents has a number of specializations for the
   various requests we can execute asynchronously

The former is handled by immediate conversion to a FullHttpResponse,
which is then sent to the client. The latter is then fed any request
body, if present and executed, with the results processed in the usual
way.

We also eliminate two implementation hotspots:

1. RequestParameters, which has comindled the various request-related
   concerns in a structure-like blob. We now track the various
   parameters in the various AbstractPendingRequest subclasses, keeping
   them colocated with their users.

2. ResponseUtils along with the message builder -- which are now
   replaces through the Response interface, which offers decoupling of
   response shapes from how they map to HTTP constructs -- which is
   really a pipeline-side concern.

The result is that we have separated out the concerns, so that each
processing stage has a natural view of what it needs to handle --
resulting in much more modular codebase, where individual concerns can
be further evolved without touching others.

Most significantly, the process of turning RestconfServer responses
into ByteBufs is driven completely from PendingRequestListener -- i.e.
fully at the discretion of the Netty pipeline side of the house.

JIRA: NETCONF-1379
Change-Id: I58b89a389faac4a305881f425b5ec6cfac0d77f4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use exhaustive switch in sessionEvent()

We really want full coverage of possible events, use a Java 21 trick
to get that.

Change-Id: I6f7005700406ad713ea302f0ef511c74a0ba1700
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use HttpRequest in PrincipalService

PrincipalService requires access to headers, nothing else. Make sure it
does not carry the baggage of FullHttpRequest.

JIRA: NETCONF-1379
Change-Id: Icae70e153118dc661fc7a50352a6503337ac7ba2
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Separate out ugly assert

We have a rather funky test here, which happened to work because we had
no guards against thrown exceptions.

Those guards are coming back, hence this late-access to InputStream will
not work.

Refactor the test harness into its own class and mark it for
replacement.

JIRA: NETCONF-1379
Change-Id: I6f233fb4dc3a223b375d0e611e12dc5d8ccd0996
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add restconf.server.ImplementedMethod

We are making a check whether a particular method is implemented via a
Set.contains(). This involves a hash-based lookup and gives us a
boolean.

We can do better: define an ImplementedMethod enum, and use Map.get()
for the same check. This has the same lookup cost, but gives us a
singleton check, which we can use for more efficient dispatch.

JIRA: NETCONF-1379
Change-Id: Ic58a0d2d5cdf836b8acd40f5be5c6f1c40ecced7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose AbstractServerRequest.prettyPrint()

Having this method limited to subclasses is quite limiting -- it means
that classes in the same package as a subclass cannot reference it.

Rather than requiring subclasses to provide a different method that
bridges to prettyPrint(), make the method public, which does no harm.

JIRA: NETCONF-1379
Change-Id: Ib3f307d650756e405aef2a850a2af8dd579fac1e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

OpenAPI: Actions displayed under /rests/operations

Fixed base path for action to be /rests/data instead of
/rests/operations.

JIRA: NETCONF-1395
Change-Id: Iae1043447252d3ff97b0f067a99b5b0a94fdc06d
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>

Eliminate extractAcceptTypes()

This method is a simple internal intermediary, which actually hides
things from its caller. Inline it and drop a FIXME pointing out the
naivety of responseTypeFromAccept().

JIRA: NETCONF-1379
Change-Id: If22a569be1e740c64673f3675d6095126c197dba
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expand usability of MessageEncoding

Now that MessageEncoding is a well-defined, expand its usefulness by
including:
- direct RestconfStream.Encoding constant reference
- the set of producer-compatible media types

JIRA: NETCONF-1379
Change-Id: I586773cd08449224aba5568d90cecdcede9513fc
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out NettyEndpointConfiguration.Encoding

This encoding enumeration is backed by a well-known specification,
namely RFC8040 section 5.2 "Message Encoding".

Promote this class to a top-level construct, adding the appropriate
documentation to ensure where this is coming from.

Update propagation within o.o.restconf.server, so that we do not
lose type safety to AsciiString.

Furthermore split out the from(String) method to restconf-nb, as its
contract is undocumented and is really only appropriate in parsing
the configuration file there.

JIRA: NETCONF-1379
Change-Id: I60499d255d94463e498d6aa1511715469d1b8ead
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Split out bootstrap factory

NettyEndpoint currently allocates its own BootstrapFactory and it fails
to clean it up.

Furthermore the configuration prevents users from sharing threads
between multiple subsystems as well as using split groups fro accepting
connections (boss) and servicing connections (worker).

Fix the leak and plug the capability gap by more closely following the
netconf-nb model -- and have the BootstrapFactory managed separately
outside of NettyEndpointConfiguration.

JIRA: NETCONF-1379
Change-Id: I2cd0e93fc29f1413b3b4438ce74a3327f72f3f1a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Retain Encoding in endpoint configuration

Do not peel Encoding, just forward requests for default encoding to it.

JIRA: NETCONF-1379
Change-Id: I8df2f190b030f505023ac6a5e28aeca54eb74343
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add response body example for ROOT operations GET

Hardcoded top-level container "ietf-restconf:operations" for
the OpenAPI-generated example.
Implemented fixed structure to ensure proper schema generation
for both JSON and XML.
Updated unit tests (UT) accordingly to reflect
the new changes.

JIRA: NETCONF-1343
Change-Id: I4aa9f4d782eee929cd49b445913683c3cd1ea33b
Signed-off-by: Yaroslav Lastivka <yaroslav.lastivka@pantheon.tech>

Update Netty RESTCONF API root path configuration

The 'restconf' configuration property defaults to "rests" for historical
reasons and controls the {+restconf} expansion on the JAX-RS endpoint.

In the Netty endpoint we want to retain the ability to control the path,
but want to start with the default of "restconf", to make the
out-of-the-box experience match RFC8040.

This patch introduces a separate "api-root-path" property, with a
well-documented syntax and semantics.

We propagate this property via NettyEndpointConfiguration in a decoded
form, so there is no confusion as to what the actual semantics are --
which is always a problem with naked Strings.

JIRA: NETCONF-1379
Change-Id: I14ae912082c9407cac796971686e75f0c23cf04f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add response body example for ROOT data GET

Added refs to root data GET requests to fill the response
for this path. Controller and devices have different
models wired up to them depending on what you can
actually see after executing GET request to them.

All UT test resources have been adapted for this change.

JIRA: NETCONF-1342
Change-Id: I38ec5df3183809e062fed1af09ba43cf59e1a034
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>

Add parameters for ROOT data GET

Added parameters for GET ROOT path object,
provides possibility to select config or nonconfig data.
Added possibility to set 'Accept' parameter inside header,
included empty content container for proper OpenAPI parsing.

JIRA: NETCONF-1338
Change-Id: I6584e58d1d8857b6abe202b63e14c03d6fd584d9
Signed-off-by: Yaroslav Lastivka <yaroslav.lastivka@pantheon.tech>

Fix request path interpretation

We are decoding the request path before processing it, which leads to
our inability to properly target values.

This patch introduces SegmentPeeler, which aids our traversal of the
path -- thus we can examine decoded segments while we still retain the
ability to pick up the remainder of the path in encoded form.

JIRA: NETCONF-1399
Change-Id: Ib7f7b08db8a97da7e9f60528f9834c50e6ce1ee4
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

OpenApi: Avoid leaf names duplication

Slightly modified schema generation logic to add the name
of the module before augmentation nodes to avoid
duplication error for augmentations with the same name as
the augmented node. This should help to distinguish
between augmented and not augmented nodes.

JIRA: NETCONF-1361
Change-Id: Iddae59522949a147ef3a6877bef30cfba1d24b20
Signed-off-by: Oleksandr Zharov <oleksandr.zharov@pantheon.tech>
Signed-off-by: Ivan Hrasko <ivan.hrasko@pantheon.tech>

Remove NettyEndpointConfiguration.baseUri()

The idea that the user needs to configure a hostname for Netty endpoint
is quite wrong: we get an absolute URI with each request and hence can
trivially derive restconfURI that the caller can use to reach us.

Remove the host-configuration knob and streamline
NettyEndpointConfiguration by propagating only the restconf() prefix.

JIRA: NETCONF-1379
Change-Id: Ia4857e74e109e04339865fec31f4261343ab953d
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add String-based StorageEntry constructor

We have two places instantiating StorageEntry from strings:
- TestUtils.storageEntry()
- PlaintextLocalFileStorage.readData()

Expose the appropriate constructor and eliminate and let tests use that.

Change-Id: I4f0225ded5cc925c6197a3b12e36f84f36284856
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not allow StorageEntry to be subverted

Perform a defensive clone on {insert,put}Entry(), so that these cannot
be modified later.

Change-Id: Id41b1a157e3ec1ca30f26b0e37c20d59d7fb983e
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

StorageEntry should not be a Map.Entry

StorageEntry is internal storage and as such it does not follow the
Map.Entry contract -- most notably it has a different hashCode().

Stop claiming we are implementing Map.Entry and instead use Map.entry()
to construct the one to give out to users.

Change-Id: I6ef9900f32d65d129edbbc7aa84e89177ca853e3
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Use a iterator mapping

Each of our entries snapshot is immutable, hence we can use iterator
transforms instead of linearizing to array.

Change-Id: Ic41fbfc35a39db704c78de1ccea5381dfd3ecb8b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Cleanup plaintext-localfile dependencies

We have superfluous dependencies specified and have them misordered. Fix
both up.

Change-Id: I3101f9f581c3eefeb1e92b4b5673028e3936c980
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Remove superfluous nullness annotations

Annotations are specified in interface contract, there is no point in
repeating them.

Change-Id: I0c346d62b7c1bde2b5978f7c80b707d601c5fe8a
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not use Optional during lookup

We are using Optional only to remap it internally. Rename findByKey() to
lookupEntry() and return a nullable instead.

While we are here, also make sure we reject null keys consistently.

Change-Id: I404247e93e34f3e05405e6e0517d942f6b8a5489
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Specialize TransportChannelListeners

Take advantage of the ability to cap which TransportChannels a
particular listeners supports. This allows us to eliminate a cast in
RestconfTransportChannelListener.

JIRA: NETCONF-1400
Change-Id: I1f7000b724eb9f94bc28f9cec51f098165d5f722
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Fix private TransportChanneListener references

Our switch making TransportChanneListener a parameterized interface is
causing quite a few warnings.

This patch addresses warnings private to transport implementations,
without an ABI impact.

JIRA: NETCONF-1400
Change-Id: I5d3aa813f9ef4c859b72e774376031facf614ee5
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Parameterize TransportChannelListener

TransportChannel types are exposed to users and some of them provide
useful information. Allow the TransportChannel type to be specified
for TransportChannelListener.

JIRA: NETCONF-1400
Change-Id: Ia5d589ff2496153ee6909350217bb31a4152b4ad
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Propagate Target URI to dispatcher

We need the Target URI in RestconfRequestDispatcher, so that we can
propagate the correct {+restconf} base, as seen by the client, to the
RestconfServer.

JIRA: NETCONF-1379
Change-Id: Iac3fb12bc708f72496f576260c7de7a0fb09c5c7
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Rework resource lookup

RestconfRequestDispatcher is using indirection via PathParameters to
interpret the requested path.

There are multiple problems here:
- the logic is quite undocumented
- there is an overload of PathArguments.EMPTY to report at least two
  distinct paths
- we are reporting 409 where we should be reporting 404, as noted in
  RFC8040 section 4.3
- the splitting works on decoded path, whereas the ApiPath.parse()
  should always we presented with an encoded path

This patch deals with the first three problems, documenting how we are
peeling the path and what gaps there are relative to the specification.

The last problem is marked with a FIXME and will be addressed in a
follow-up patch.

JIRA: NETCONF-1379
Change-Id: I408626a5e328bb938f727d9a549ca8297c9df3a9
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Correct well-known error status code

We are now reporting unimplemented method from RestconfSession, hence
WellKnownResources can report a proper 405 Method Not Allowed by
default.

JIRA: NETCONF-1379
Change-Id: I62c4323e8bc4f4fe0c0f082bffec18dffab55f01
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reconstruct Target URI, part two

Reconstructing Target URI from its usual origin-form is a tad more
involved:

1. we need access to the URI scheme being used, which we now have
   conveniently available from HTTPTransportChannel
2. we need to ensure we have a Host header, that it contains only one
   value and that it is a valid authority

We employ java.net.URI for most of the parsing, combining and error
reporting functions. It also allows us to determine in the uri is in
absolute-form, in which case we can pick it up as is.

We use this URI to initialize QueryStringDecoder, so that its uri()
method reports the complete thing.

JIRA: NETCONF-1379
Change-Id: I6641a613f2fd4c63332ae29b0a876ca32a325a03
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Reconstruct Target URI, part one

In order to correctly serve our requests, we need to properly
reconstruct target URI, as per HTTP/1.1 spec.

This patch deals with the simplest case, asterisk-form: it is only
allowed for OPTIONS request and reports all methods implemented by
the server. All other methods fails with either status 400.

That necessitates knowledge as to what methods are requested, hence
we have a statically-populated Set.

JIRA: NETCONF-1379
Change-Id: Id37044799460759d1066ad7a17524ee0c0284060
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Expose HttpScheme from HTTPTransportChannel

Downstream users may need to inquire as to whether the channel is secure
or not -- for example to follow RFC9110 Target URI construction.

Expose HttpScheme from HTTPTransportChannel, so that this information is
readility available.

JIRA: NETCONF-1379
Change-Id: Iba7f847246ab9c88a9804caba803f22ab704f406
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Specialize HTTPClient

We know statically whether a particular client is TLS-enabled, so use
two subclasses, each specialized for the task.

JIRA: NETCONF-1379
Change-Id: Ib46a3c779dd2f3bdf060561a754180f099fdc997
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Move ResponseUtils.optionsResponse()

This method is only called from RestconfRequestDispatcher. Move it there
and simplify it by bypassing ResponseBuilder's complexities.

JIRA: NETCONF-1379
Change-Id: Ie7647fcc2eab6b8c1c9112da55283efb1b5819ae
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Clean up NettyServerRequest subclasses

Almost all anonymous NettyServerRequest subclasses are inefficient in
that they retain RequestParameters twice:
- once in NettyServerRequest
- once via reference to 'params' method argument

Make sure we reference NettyServerRequest.requestParams instead of
params, reducing memory overhead of each request.

JIRA: NETCONF-1379
Change-Id: I0f7df86dbd8681f2d4e92f7dabefb6f6820709ef
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Add FormattableServerRequest

We have two distinct NettyServerRequest subclasses doing exactly the
same thing. Share a single FormattableServerRequest class between the
two code paths.

JIRA: NETCONF-1379
Change-Id: Id30306ce9073afdd73d790282d3a023dde2c4c07
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Introduce RestconfRequest

The use of FutureCallback is misleading and not very well controlled.
Introduce RestconfRequest, which shows that the onFailure() path is
never taken.

This also provides us with an anchor point for future evolution, as we
must be mindful of asynchronous processing. The requirements are laid
down in a FIXME, which we will address in future improvements.

JIRA: NETCONF-1379
Change-Id: I3e9a25ce6932498654567c12ea431417e27a2c7b
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Do not pass around RestconfServer

Now that we have localized request dispatch, we can access
RestconfServer via RestconfRequestDispatcher's field rather than passing
it around to static methods.

JIRA: NETCONF-1379
Change-Id: Ie1fd87d1f873b86d46ce68e8e127b13c4e13d5d8
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Limit the number of candidates for string example

The number of candidates tried when a string example is generated
with regex & length constraints may increase exponentially as the
string length increases and this may cause out-of-memory error.

For example, if there are 10 transition paths at each step, then
the number of candidates becomes 1 million after just 6 characters.

Limit the maximum number of transitions allowed at each step to prevent
the exponential growth in search paths. This reduces the chance of
generating a conformant example a little, but prevents excessive use
of memory and CPU cycles.

JIRA: NETCONF-1398
Change-Id: I2d926a438da14395f56f93d1a98a56507c1c7ff2
Signed-off-by: Sangwook Ha <sangwook.ha@verizon.com>

Do not use LinkedList in plaintext-*

Use an ArrayList instead.

Change-Id: I95676a3d3db5870d09d40c54151439d2e1667dd0
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate RequestUtils

The only production caller is RestconfRequestDispatcher, move these
utility methods there.

Hide them and ensure AbstractRequestProcessorTest uses explicit
calls to ApiPath.parse().

JIRA: NETCONF-1379
Change-Id: I8f5c69f57d23f9bd74e9f49d0519f8e078c2c6da
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate ModulesRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: I268ba415f30daf492fe12573a3b09bb9ed8b3a6f
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate OperationsRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: Ib51a3c83de9400c61304d99d4a3b21f99f502045
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>

Eliminate DataRequestProcessor

RestconfRequestDispatcher can host the static methods just as well, and
such organization is actually conducive to structuring dispatch based on
needs, rather than upfront parsing.

Also updates RFC references to point to their canonical web presence.

JIRA: NETCONF-1379
Change-Id: I0ec4cdd2634cd707e5bbcef2617e4eebc3173923
Signed-off-by: Robert Varga <robert.varga@pantheon.tech>