RestconfStrategy.patchData() should result in RestconfFuture
[netconf.git] / restconf / restconf-nb / src / main / java / org / opendaylight / restconf / nb / rfc8040 / rests / transactions / RestconfStrategy.java
1 /*
2  * Copyright (c) 2020 PANTHEON.tech, s.r.o. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.restconf.nb.rfc8040.rests.transactions;
9
10 import static com.google.common.base.Verify.verifyNotNull;
11 import static java.util.Objects.requireNonNull;
12
13 import com.google.common.util.concurrent.FutureCallback;
14 import com.google.common.util.concurrent.Futures;
15 import com.google.common.util.concurrent.ListenableFuture;
16 import com.google.common.util.concurrent.MoreExecutors;
17 import java.util.ArrayList;
18 import java.util.Collection;
19 import java.util.List;
20 import java.util.Map;
21 import java.util.NoSuchElementException;
22 import java.util.Optional;
23 import java.util.function.Function;
24 import java.util.stream.Collectors;
25 import org.eclipse.jdt.annotation.NonNull;
26 import org.eclipse.jdt.annotation.Nullable;
27 import org.opendaylight.mdsal.common.api.CommitInfo;
28 import org.opendaylight.mdsal.common.api.LogicalDatastoreType;
29 import org.opendaylight.mdsal.dom.api.DOMDataBroker;
30 import org.opendaylight.mdsal.dom.api.DOMMountPoint;
31 import org.opendaylight.mdsal.dom.api.DOMRpcResult;
32 import org.opendaylight.mdsal.dom.api.DOMRpcService;
33 import org.opendaylight.mdsal.dom.api.DOMTransactionChain;
34 import org.opendaylight.netconf.dom.api.NetconfDataTreeService;
35 import org.opendaylight.restconf.api.query.ContentParam;
36 import org.opendaylight.restconf.api.query.WithDefaultsParam;
37 import org.opendaylight.restconf.common.errors.RestconfDocumentedException;
38 import org.opendaylight.restconf.common.errors.RestconfError;
39 import org.opendaylight.restconf.common.errors.RestconfFuture;
40 import org.opendaylight.restconf.common.errors.SettableRestconfFuture;
41 import org.opendaylight.restconf.common.patch.PatchContext;
42 import org.opendaylight.restconf.common.patch.PatchStatusContext;
43 import org.opendaylight.restconf.common.patch.PatchStatusEntity;
44 import org.opendaylight.restconf.nb.rfc8040.Insert;
45 import org.opendaylight.yang.gen.v1.urn.ietf.params.xml.ns.yang.ietf.netconf.with.defaults.rev110601.WithDefaultsMode;
46 import org.opendaylight.yangtools.yang.common.Empty;
47 import org.opendaylight.yangtools.yang.common.ErrorTag;
48 import org.opendaylight.yangtools.yang.common.ErrorType;
49 import org.opendaylight.yangtools.yang.common.QName;
50 import org.opendaylight.yangtools.yang.common.QNameModule;
51 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier;
52 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.NodeIdentifier;
53 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.NodeIdentifierWithPredicates;
54 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.PathArgument;
55 import org.opendaylight.yangtools.yang.data.api.schema.ChoiceNode;
56 import org.opendaylight.yangtools.yang.data.api.schema.ContainerNode;
57 import org.opendaylight.yangtools.yang.data.api.schema.DataContainerChild;
58 import org.opendaylight.yangtools.yang.data.api.schema.LeafNode;
59 import org.opendaylight.yangtools.yang.data.api.schema.LeafSetEntryNode;
60 import org.opendaylight.yangtools.yang.data.api.schema.MapEntryNode;
61 import org.opendaylight.yangtools.yang.data.api.schema.MapNode;
62 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
63 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNodeContainer;
64 import org.opendaylight.yangtools.yang.data.api.schema.SystemLeafSetNode;
65 import org.opendaylight.yangtools.yang.data.api.schema.SystemMapNode;
66 import org.opendaylight.yangtools.yang.data.api.schema.UnkeyedListEntryNode;
67 import org.opendaylight.yangtools.yang.data.api.schema.UnkeyedListNode;
68 import org.opendaylight.yangtools.yang.data.api.schema.UserLeafSetNode;
69 import org.opendaylight.yangtools.yang.data.api.schema.UserMapNode;
70 import org.opendaylight.yangtools.yang.data.api.schema.builder.CollectionNodeBuilder;
71 import org.opendaylight.yangtools.yang.data.api.schema.builder.DataContainerNodeBuilder;
72 import org.opendaylight.yangtools.yang.data.api.schema.builder.NormalizedNodeContainerBuilder;
73 import org.opendaylight.yangtools.yang.data.impl.schema.Builders;
74 import org.opendaylight.yangtools.yang.data.impl.schema.ImmutableNodes;
75 import org.opendaylight.yangtools.yang.data.util.DataSchemaContext;
76 import org.opendaylight.yangtools.yang.data.util.DataSchemaContextTree;
77 import org.opendaylight.yangtools.yang.model.api.DataSchemaNode;
78 import org.opendaylight.yangtools.yang.model.api.EffectiveModelContext;
79 import org.opendaylight.yangtools.yang.model.api.LeafListSchemaNode;
80 import org.opendaylight.yangtools.yang.model.api.LeafSchemaNode;
81 import org.opendaylight.yangtools.yang.model.api.ListSchemaNode;
82 import org.opendaylight.yangtools.yang.model.api.RpcDefinition;
83 import org.slf4j.Logger;
84 import org.slf4j.LoggerFactory;
85
86 /**
87  * Baseline execution strategy for various RESTCONF operations.
88  *
89  * @see NetconfRestconfStrategy
90  * @see MdsalRestconfStrategy
91  */
92 // FIXME: it seems the first three operations deal with lifecycle of a transaction, while others invoke various
93 //        operations. This should be handled through proper allocation indirection.
94 public abstract class RestconfStrategy {
95     /**
96      * Result of a {@code PUT} request as defined in
97      * <a href="https://www.rfc-editor.org/rfc/rfc8040#section-4.5">RFC8040 section 4.5</a>. The definition makes it
98      * clear that the logical operation is {@code create-or-replace}.
99      */
100     public enum CreateOrReplaceResult {
101         /**
102          * A new resource has been created.
103          */
104         CREATED,
105         /*
106          * An existing resources has been replaced.
107          */
108         REPLACED;
109     }
110
111     private static final Logger LOG = LoggerFactory.getLogger(RestconfStrategy.class);
112
113     private final @NonNull EffectiveModelContext modelContext;
114     private final @Nullable DOMRpcService rpcService;
115
116     RestconfStrategy(final EffectiveModelContext modelContext, final @Nullable DOMRpcService rpcService) {
117         this.modelContext = requireNonNull(modelContext);
118         this.rpcService = rpcService;
119     }
120
121     /**
122      * Look up the appropriate strategy for a particular mount point.
123      *
124      * @param modelContext {@link EffectiveModelContext} of target mount point
125      * @param mountPoint Target mount point
126      * @return A strategy, or null if the mount point does not expose a supported interface
127      * @throws NullPointerException if any argument is {@code null}
128      */
129     public static @Nullable RestconfStrategy forMountPoint(final EffectiveModelContext modelContext,
130             final DOMMountPoint mountPoint) {
131         final var rpcService = mountPoint.getService(DOMRpcService.class).orElse(null);
132
133         final var netconfService = mountPoint.getService(NetconfDataTreeService.class);
134         if (netconfService.isPresent()) {
135             return new NetconfRestconfStrategy(modelContext, netconfService.orElseThrow(), rpcService);
136         }
137         final var dataBroker = mountPoint.getService(DOMDataBroker.class);
138         if (dataBroker.isPresent()) {
139             return new MdsalRestconfStrategy(modelContext, dataBroker.orElseThrow(), rpcService);
140         }
141         return null;
142     }
143
144     public final @NonNull EffectiveModelContext modelContext() {
145         return modelContext;
146     }
147
148     /**
149      * Lock the entire datastore.
150      *
151      * @return A {@link RestconfTransaction}. This transaction needs to be either committed or canceled before doing
152      *         anything else.
153      */
154     abstract RestconfTransaction prepareWriteExecution();
155
156     /**
157      * Read data from the datastore.
158      *
159      * @param store the logical data store which should be modified
160      * @param path the data object path
161      * @return a ListenableFuture containing the result of the read
162      */
163     abstract ListenableFuture<Optional<NormalizedNode>> read(LogicalDatastoreType store, YangInstanceIdentifier path);
164
165     /**
166      * Read data selected using fields from the datastore.
167      *
168      * @param store the logical data store which should be modified
169      * @param path the parent data object path
170      * @param fields paths to selected fields relative to parent path
171      * @return a ListenableFuture containing the result of the read
172      */
173     abstract ListenableFuture<Optional<NormalizedNode>> read(LogicalDatastoreType store, YangInstanceIdentifier path,
174         List<YangInstanceIdentifier> fields);
175
176     /**
177      * Check if data already exists in the configuration datastore.
178      *
179      * @param path the data object path
180      * @return a ListenableFuture containing the result of the check
181      */
182     // FIXME: this method should be hosted in RestconfTransaction
183     // FIXME: this method should only be needed in MdsalRestconfStrategy
184     abstract ListenableFuture<Boolean> exists(YangInstanceIdentifier path);
185
186     /**
187      * Delete data from the configuration datastore. If the data does not exist, this operation will fail, as outlined
188      * in <a href="https://www.rfc-editor.org/rfc/rfc8040#section-4.7">RFC8040 section 4.7</a>
189      *
190      * @param path Path to delete
191      * @return A {@link RestconfFuture}
192      * @throws NullPointerException if {@code path} is {@code null}
193      */
194     public final @NonNull RestconfFuture<Empty> delete(final YangInstanceIdentifier path) {
195         final var ret = new SettableRestconfFuture<Empty>();
196         delete(ret, requireNonNull(path));
197         return ret;
198     }
199
200     abstract void delete(@NonNull SettableRestconfFuture<Empty> future, @NonNull YangInstanceIdentifier path);
201
202     /**
203      * Merge data into the configuration datastore, as outlined in
204      * <a href="https://www.rfc-editor.org/rfc/rfc8040#section-4.6.1">RFC8040 section 4.6.1</a>.
205      *
206      * @param path Path to merge
207      * @param data Data to merge
208      * @return A {@link RestconfFuture}
209      * @throws NullPointerException if any argument is {@code null}
210      */
211     public final @NonNull RestconfFuture<Empty> merge(final YangInstanceIdentifier path, final NormalizedNode data) {
212         final var ret = new SettableRestconfFuture<Empty>();
213         merge(ret, requireNonNull(path), requireNonNull(data));
214         return ret;
215     }
216
217     private void merge(final @NonNull SettableRestconfFuture<Empty> future, final @NonNull YangInstanceIdentifier path,
218             final @NonNull NormalizedNode data) {
219         final var tx = prepareWriteExecution();
220         // FIXME: this method should be further specialized to eliminate this call -- it is only needed for MD-SAL
221         tx.ensureParentsByMerge(path);
222         tx.merge(path, data);
223         Futures.addCallback(tx.commit(), new FutureCallback<CommitInfo>() {
224             @Override
225             public void onSuccess(final CommitInfo result) {
226                 future.set(Empty.value());
227             }
228
229             @Override
230             public void onFailure(final Throwable cause) {
231                 future.setFailure(TransactionUtil.decodeException(cause, "MERGE", path));
232             }
233         }, MoreExecutors.directExecutor());
234     }
235
236     /**
237      * Check mount point and prepare variables for put data to DS.
238      *
239      * @param path    path of data
240      * @param data    data
241      * @param insert  {@link Insert}
242      * @return A {@link CreateOrReplaceResult}
243      */
244     public final @NonNull CreateOrReplaceResult putData(final YangInstanceIdentifier path, final NormalizedNode data,
245             final @Nullable Insert insert) {
246         final var exists = TransactionUtil.syncAccess(exists(path), path);
247
248         final ListenableFuture<? extends CommitInfo> commitFuture;
249         if (insert != null) {
250             final var parentPath = path.coerceParent();
251             checkListAndOrderedType(parentPath);
252             commitFuture = insertAndCommitPut(path, data, insert, parentPath);
253         } else {
254             commitFuture = replaceAndCommit(prepareWriteExecution(), path, data);
255         }
256
257         TransactionUtil.syncCommit(commitFuture, "PUT", path);
258         return exists ? CreateOrReplaceResult.REPLACED : CreateOrReplaceResult.CREATED;
259     }
260
261     private ListenableFuture<? extends CommitInfo> insertAndCommitPut(final YangInstanceIdentifier path,
262             final NormalizedNode data, final @NonNull Insert insert, final YangInstanceIdentifier parentPath) {
263         final var tx = prepareWriteExecution();
264
265         return switch (insert.insert()) {
266             case FIRST -> {
267                 final var readData = tx.readList(parentPath);
268                 if (readData == null || readData.isEmpty()) {
269                     yield replaceAndCommit(tx, path, data);
270                 }
271                 tx.remove(parentPath);
272                 tx.replace(path, data);
273                 tx.replace(parentPath, readData);
274                 yield tx.commit();
275             }
276             case LAST -> replaceAndCommit(tx, path, data);
277             case BEFORE -> {
278                 final var readData = tx.readList(parentPath);
279                 if (readData == null || readData.isEmpty()) {
280                     yield replaceAndCommit(tx, path, data);
281                 }
282                 insertWithPointPut(tx, path, data, verifyNotNull(insert.pointArg()), readData, true);
283                 yield tx.commit();
284             }
285             case AFTER -> {
286                 final var readData = tx.readList(parentPath);
287                 if (readData == null || readData.isEmpty()) {
288                     yield replaceAndCommit(tx, path, data);
289                 }
290                 insertWithPointPut(tx, path, data, verifyNotNull(insert.pointArg()), readData, false);
291                 yield tx.commit();
292             }
293         };
294     }
295
296     private void insertWithPointPut(final RestconfTransaction tx, final YangInstanceIdentifier path,
297             final NormalizedNode data, final @NonNull PathArgument pointArg, final NormalizedNodeContainer<?> readList,
298             final boolean before) {
299         tx.remove(path.getParent());
300
301         int lastItemPosition = 0;
302         for (var nodeChild : readList.body()) {
303             if (nodeChild.name().equals(pointArg)) {
304                 break;
305             }
306             lastItemPosition++;
307         }
308         if (!before) {
309             lastItemPosition++;
310         }
311
312         int lastInsertedPosition = 0;
313         final var emptySubtree = ImmutableNodes.fromInstanceId(modelContext, path.getParent());
314         tx.merge(YangInstanceIdentifier.of(emptySubtree.name()), emptySubtree);
315         for (var nodeChild : readList.body()) {
316             if (lastInsertedPosition == lastItemPosition) {
317                 tx.replace(path, data);
318             }
319             final var childPath = path.coerceParent().node(nodeChild.name());
320             tx.replace(childPath, nodeChild);
321             lastInsertedPosition++;
322         }
323     }
324
325     private static ListenableFuture<? extends CommitInfo> replaceAndCommit(final RestconfTransaction tx,
326             final YangInstanceIdentifier path, final NormalizedNode data) {
327         tx.replace(path, data);
328         return tx.commit();
329     }
330
331     private DataSchemaNode checkListAndOrderedType(final YangInstanceIdentifier path) {
332         // FIXME: we have this available in InstanceIdentifierContext
333         final var dataSchemaNode = DataSchemaContextTree.from(modelContext).findChild(path).orElseThrow()
334             .dataSchemaNode();
335
336         final String message;
337         if (dataSchemaNode instanceof ListSchemaNode listSchema) {
338             if (listSchema.isUserOrdered()) {
339                 return listSchema;
340             }
341             message = "Insert parameter can be used only with ordered-by user list.";
342         } else if (dataSchemaNode instanceof LeafListSchemaNode leafListSchema) {
343             if (leafListSchema.isUserOrdered()) {
344                 return leafListSchema;
345             }
346             message = "Insert parameter can be used only with ordered-by user leaf-list.";
347         } else {
348             message = "Insert parameter can be used only with list or leaf-list";
349         }
350         throw new RestconfDocumentedException(message, ErrorType.PROTOCOL, ErrorTag.BAD_ELEMENT);
351     }
352
353     /**
354      * Check mount point and prepare variables for post data.
355      *
356      * @param path    path
357      * @param data    data
358      * @param insert  {@link Insert}
359      */
360     public final void postData(final YangInstanceIdentifier path, final NormalizedNode data,
361             final @Nullable Insert insert) {
362         final ListenableFuture<? extends CommitInfo> future;
363         if (insert != null) {
364             final var parentPath = path.coerceParent();
365             checkListAndOrderedType(parentPath);
366             future = insertAndCommitPost(path, data, insert, parentPath);
367         } else {
368             future = createAndCommit(prepareWriteExecution(), path, data);
369         }
370         TransactionUtil.syncCommit(future, "POST", path);
371     }
372
373     private ListenableFuture<? extends CommitInfo> insertAndCommitPost(final YangInstanceIdentifier path,
374             final NormalizedNode data, final @NonNull Insert insert, final YangInstanceIdentifier parent) {
375         final var grandParent = parent.coerceParent();
376         final var tx = prepareWriteExecution();
377
378         return switch (insert.insert()) {
379             case FIRST -> {
380                 final var readData = tx.readList(grandParent);
381                 if (readData == null || readData.isEmpty()) {
382                     tx.replace(path, data);
383                 } else {
384                     checkItemDoesNotExists(exists(path), path);
385                     tx.remove(grandParent);
386                     tx.replace(path, data);
387                     tx.replace(grandParent, readData);
388                 }
389                 yield tx.commit();
390             }
391             case LAST -> createAndCommit(tx, path, data);
392             case BEFORE -> {
393                 final var readData = tx.readList(grandParent);
394                 if (readData == null || readData.isEmpty()) {
395                     tx.replace(path, data);
396                 } else {
397                     checkItemDoesNotExists(exists(path), path);
398                     insertWithPointPost(tx, path, data, verifyNotNull(insert.pointArg()), readData, grandParent, true);
399                 }
400                 yield tx.commit();
401             }
402             case AFTER -> {
403                 final var readData = tx.readList(grandParent);
404                 if (readData == null || readData.isEmpty()) {
405                     tx.replace(path, data);
406                 } else {
407                     checkItemDoesNotExists(exists(path), path);
408                     insertWithPointPost(tx, path, data, verifyNotNull(insert.pointArg()), readData, grandParent, false);
409                 }
410                 yield tx.commit();
411             }
412         };
413     }
414
415     /**
416      * Process edit operations of one {@link PatchContext}.
417      *
418      * @param patch Patch context to be processed
419      * @return {@link PatchStatusContext}
420      */
421     public final @NonNull RestconfFuture<PatchStatusContext> patchData(final PatchContext patch) {
422         final var editCollection = new ArrayList<PatchStatusEntity>();
423         final var tx = prepareWriteExecution();
424
425         boolean noError = true;
426         for (var patchEntity : patch.entities()) {
427             if (noError) {
428                 final var targetNode = patchEntity.getTargetNode();
429                 final var editId = patchEntity.getEditId();
430
431                 switch (patchEntity.getOperation()) {
432                     case Create:
433                         try {
434                             tx.create(targetNode, patchEntity.getNode());
435                             editCollection.add(new PatchStatusEntity(editId, true, null));
436                         } catch (RestconfDocumentedException e) {
437                             editCollection.add(new PatchStatusEntity(editId, false, e.getErrors()));
438                             noError = false;
439                         }
440                         break;
441                     case Delete:
442                         try {
443                             tx.delete(targetNode);
444                             editCollection.add(new PatchStatusEntity(editId, true, null));
445                         } catch (RestconfDocumentedException e) {
446                             editCollection.add(new PatchStatusEntity(editId, false, e.getErrors()));
447                             noError = false;
448                         }
449                         break;
450                     case Merge:
451                         try {
452                             tx.ensureParentsByMerge(targetNode);
453                             tx.merge(targetNode, patchEntity.getNode());
454                             editCollection.add(new PatchStatusEntity(editId, true, null));
455                         } catch (RestconfDocumentedException e) {
456                             editCollection.add(new PatchStatusEntity(editId, false, e.getErrors()));
457                             noError = false;
458                         }
459                         break;
460                     case Replace:
461                         try {
462                             tx.replace(targetNode, patchEntity.getNode());
463                             editCollection.add(new PatchStatusEntity(editId, true, null));
464                         } catch (RestconfDocumentedException e) {
465                             editCollection.add(new PatchStatusEntity(editId, false, e.getErrors()));
466                             noError = false;
467                         }
468                         break;
469                     case Remove:
470                         try {
471                             tx.remove(targetNode);
472                             editCollection.add(new PatchStatusEntity(editId, true, null));
473                         } catch (RestconfDocumentedException e) {
474                             editCollection.add(new PatchStatusEntity(editId, false, e.getErrors()));
475                             noError = false;
476                         }
477                         break;
478                     default:
479                         editCollection.add(new PatchStatusEntity(editId, false, List.of(
480                             new RestconfError(ErrorType.PROTOCOL, ErrorTag.OPERATION_NOT_SUPPORTED,
481                                 "Not supported Yang Patch operation"))));
482                         noError = false;
483                         break;
484                 }
485             } else {
486                 break;
487             }
488         }
489
490         final var ret = new SettableRestconfFuture<PatchStatusContext>();
491         // We have errors
492         if (!noError) {
493             tx.cancel();
494             ret.set(new PatchStatusContext(modelContext, patch.patchId(), List.copyOf(editCollection), false, null));
495             return ret;
496         }
497
498         Futures.addCallback(tx.commit(), new FutureCallback<CommitInfo>() {
499             @Override
500             public void onSuccess(final CommitInfo result) {
501                 ret.set(new PatchStatusContext(modelContext, patch.patchId(), List.copyOf(editCollection), true, null));
502             }
503
504             @Override
505             public void onFailure(final Throwable cause) {
506                 // if errors occurred during transaction commit then patch failed and global errors are reported
507                 ret.set(new PatchStatusContext(modelContext, patch.patchId(), List.copyOf(editCollection), false,
508                     TransactionUtil.decodeException(cause, "PATCH", null).getErrors()));
509             }
510         }, MoreExecutors.directExecutor());
511
512         return ret;
513     }
514
515     private void insertWithPointPost(final RestconfTransaction tx, final YangInstanceIdentifier path,
516             final NormalizedNode data, final PathArgument pointArg, final NormalizedNodeContainer<?> readList,
517             final YangInstanceIdentifier grandParentPath, final boolean before) {
518         tx.remove(grandParentPath);
519
520         int lastItemPosition = 0;
521         for (var nodeChild : readList.body()) {
522             if (nodeChild.name().equals(pointArg)) {
523                 break;
524             }
525             lastItemPosition++;
526         }
527         if (!before) {
528             lastItemPosition++;
529         }
530
531         int lastInsertedPosition = 0;
532         final var emptySubtree = ImmutableNodes.fromInstanceId(modelContext, grandParentPath);
533         tx.merge(YangInstanceIdentifier.of(emptySubtree.name()), emptySubtree);
534         for (var nodeChild : readList.body()) {
535             if (lastInsertedPosition == lastItemPosition) {
536                 tx.replace(path, data);
537             }
538             tx.replace(grandParentPath.node(nodeChild.name()), nodeChild);
539             lastInsertedPosition++;
540         }
541     }
542
543     private static ListenableFuture<? extends CommitInfo> createAndCommit(final RestconfTransaction tx,
544             final YangInstanceIdentifier path, final NormalizedNode data) {
545         try {
546             tx.create(path, data);
547         } catch (RestconfDocumentedException e) {
548             // close transaction if any and pass exception further
549             tx.cancel();
550             throw e;
551         }
552
553         return tx.commit();
554     }
555
556     /**
557      * Check if items do NOT already exists at specified {@code path}.
558      *
559      * @param existsFuture if checked data exists
560      * @param path         Path to be checked
561      * @throws RestconfDocumentedException if data already exists.
562      */
563     static void checkItemDoesNotExists(final ListenableFuture<Boolean> existsFuture,
564             final YangInstanceIdentifier path) {
565         if (TransactionUtil.syncAccess(existsFuture, path)) {
566             LOG.trace("Operation via Restconf was not executed because data at {} already exists", path);
567             throw new RestconfDocumentedException("Data already exists", ErrorType.PROTOCOL, ErrorTag.DATA_EXISTS,
568                 path);
569         }
570     }
571
572     /**
573      * Read specific type of data from data store via transaction. Close {@link DOMTransactionChain} if any
574      * inside of object {@link RestconfStrategy} provided as a parameter.
575      *
576      * @param content      type of data to read (config, state, all)
577      * @param path         the path to read
578      * @param defaultsMode value of with-defaults parameter
579      * @return {@link NormalizedNode}
580      */
581     public @Nullable NormalizedNode readData(final @NonNull ContentParam content,
582             final @NonNull YangInstanceIdentifier path, final WithDefaultsParam defaultsMode) {
583         return switch (content) {
584             case ALL -> {
585                 // PREPARE STATE DATA NODE
586                 final var stateDataNode = readDataViaTransaction(LogicalDatastoreType.OPERATIONAL, path);
587                 // PREPARE CONFIG DATA NODE
588                 final var configDataNode = readDataViaTransaction(LogicalDatastoreType.CONFIGURATION, path);
589
590                 yield mergeConfigAndSTateDataIfNeeded(stateDataNode, defaultsMode == null ? configDataNode
591                     : prepareDataByParamWithDef(configDataNode, path, defaultsMode.mode()));
592             }
593             case CONFIG -> {
594                 final var read = readDataViaTransaction(LogicalDatastoreType.CONFIGURATION, path);
595                 yield defaultsMode == null ? read
596                     : prepareDataByParamWithDef(read, path, defaultsMode.mode());
597             }
598             case NONCONFIG -> readDataViaTransaction(LogicalDatastoreType.OPERATIONAL, path);
599         };
600     }
601
602     /**
603      * Read specific type of data from data store via transaction with specified subtrees that should only be read.
604      * Close {@link DOMTransactionChain} inside of object {@link RestconfStrategy} provided as a parameter.
605      *
606      * @param content  type of data to read (config, state, all)
607      * @param path     the parent path to read
608      * @param withDefa value of with-defaults parameter
609      * @param fields   paths to selected subtrees which should be read, relative to to the parent path
610      * @return {@link NormalizedNode}
611      */
612     public @Nullable NormalizedNode readData(final @NonNull ContentParam content,
613             final @NonNull YangInstanceIdentifier path, final @Nullable WithDefaultsParam withDefa,
614             final @NonNull List<YangInstanceIdentifier> fields) {
615         return switch (content) {
616             case ALL -> {
617                 // PREPARE STATE DATA NODE
618                 final var stateDataNode = readDataViaTransaction(LogicalDatastoreType.OPERATIONAL, path, fields);
619                 // PREPARE CONFIG DATA NODE
620                 final var configDataNode = readDataViaTransaction(LogicalDatastoreType.CONFIGURATION, path, fields);
621
622                 yield mergeConfigAndSTateDataIfNeeded(stateDataNode, withDefa == null ? configDataNode
623                     : prepareDataByParamWithDef(configDataNode, path, withDefa.mode()));
624             }
625             case CONFIG -> {
626                 final var read = readDataViaTransaction(LogicalDatastoreType.CONFIGURATION, path, fields);
627                 yield withDefa == null ? read : prepareDataByParamWithDef(read, path, withDefa.mode());
628             }
629             case NONCONFIG -> readDataViaTransaction(LogicalDatastoreType.OPERATIONAL, path, fields);
630         };
631     }
632
633     private @Nullable NormalizedNode readDataViaTransaction(final LogicalDatastoreType store,
634             final YangInstanceIdentifier path) {
635         return TransactionUtil.syncAccess(read(store, path), path).orElse(null);
636     }
637
638     /**
639      * Read specific type of data {@link LogicalDatastoreType} via transaction in {@link RestconfStrategy} with
640      * specified subtrees that should only be read.
641      *
642      * @param store                 datastore type
643      * @param path                  parent path to selected fields
644      * @param closeTransactionChain if it is set to {@code true}, after transaction it will close transactionChain
645      *                              in {@link RestconfStrategy} if any
646      * @param fields                paths to selected subtrees which should be read, relative to to the parent path
647      * @return {@link NormalizedNode}
648      */
649     private @Nullable NormalizedNode readDataViaTransaction(final @NonNull LogicalDatastoreType store,
650             final @NonNull YangInstanceIdentifier path, final @NonNull List<YangInstanceIdentifier> fields) {
651         return TransactionUtil.syncAccess(read(store, path, fields), path).orElse(null);
652     }
653
654     private NormalizedNode prepareDataByParamWithDef(final NormalizedNode readData, final YangInstanceIdentifier path,
655             final WithDefaultsMode defaultsMode) {
656         final boolean trim = switch (defaultsMode) {
657             case Trim -> true;
658             case Explicit -> false;
659             case ReportAll, ReportAllTagged -> throw new RestconfDocumentedException(
660                 "Unsupported with-defaults value " + defaultsMode.getName());
661         };
662
663         // FIXME: we have this readily available in InstanceIdentifierContext
664         final var ctxNode = DataSchemaContextTree.from(modelContext).findChild(path).orElseThrow();
665         if (readData instanceof ContainerNode container) {
666             final var builder = Builders.containerBuilder().withNodeIdentifier(container.name());
667             buildCont(builder, container.body(), ctxNode, trim);
668             return builder.build();
669         } else if (readData instanceof MapEntryNode mapEntry) {
670             if (!(ctxNode.dataSchemaNode() instanceof ListSchemaNode listSchema)) {
671                 throw new IllegalStateException("Input " + mapEntry + " does not match " + ctxNode);
672             }
673
674             final var builder = Builders.mapEntryBuilder().withNodeIdentifier(mapEntry.name());
675             buildMapEntryBuilder(builder, mapEntry.body(), ctxNode, trim, listSchema.getKeyDefinition());
676             return builder.build();
677         } else {
678             throw new IllegalStateException("Unhandled data contract " + readData.contract());
679         }
680     }
681
682     private static void buildMapEntryBuilder(
683             final DataContainerNodeBuilder<NodeIdentifierWithPredicates, MapEntryNode> builder,
684             final Collection<@NonNull DataContainerChild> children, final DataSchemaContext ctxNode,
685             final boolean trim, final List<QName> keys) {
686         for (var child : children) {
687             final var childCtx = getChildContext(ctxNode, child);
688
689             if (child instanceof ContainerNode container) {
690                 appendContainer(builder, container, childCtx, trim);
691             } else if (child instanceof MapNode map) {
692                 appendMap(builder, map, childCtx, trim);
693             } else if (child instanceof LeafNode<?> leaf) {
694                 appendLeaf(builder, leaf, childCtx, trim, keys);
695             } else {
696                 // FIXME: we should never hit this, throw an ISE if this ever happens
697                 LOG.debug("Ignoring unhandled child contract {}", child.contract());
698             }
699         }
700     }
701
702     private static void appendContainer(final DataContainerNodeBuilder<?, ?> builder, final ContainerNode container,
703             final DataSchemaContext ctxNode, final boolean trim) {
704         final var childBuilder = Builders.containerBuilder().withNodeIdentifier(container.name());
705         buildCont(childBuilder, container.body(), ctxNode, trim);
706         builder.withChild(childBuilder.build());
707     }
708
709     private static void appendLeaf(final DataContainerNodeBuilder<?, ?> builder, final LeafNode<?> leaf,
710             final DataSchemaContext ctxNode, final boolean trim, final List<QName> keys) {
711         if (!(ctxNode.dataSchemaNode() instanceof LeafSchemaNode leafSchema)) {
712             throw new IllegalStateException("Input " + leaf + " does not match " + ctxNode);
713         }
714
715         // FIXME: Document now this works with the likes of YangInstanceIdentifier. I bet it does not.
716         final var defaultVal = leafSchema.getType().getDefaultValue().orElse(null);
717
718         // This is a combined check for when we need to emit the leaf.
719         if (
720             // We always have to emit key leaf values
721             keys.contains(leafSchema.getQName())
722             // trim == WithDefaultsParam.TRIM and the source is assumed to store explicit values:
723             //
724             //            When data is retrieved with a <with-defaults> parameter equal to
725             //            'trim', data nodes MUST NOT be reported if they contain the schema
726             //            default value.  Non-configuration data nodes containing the schema
727             //            default value MUST NOT be reported.
728             //
729             || trim && (defaultVal == null || !defaultVal.equals(leaf.body()))
730             // !trim == WithDefaultsParam.EXPLICIT and the source is assume to store explicit values... but I fail to
731             // grasp what we are doing here... emit only if it matches default ???!!!
732             // FIXME: The WithDefaultsParam.EXPLICIT says:
733             //
734             //            Data nodes set to the YANG default by the client are reported.
735             //
736             //        and RFC8040 (https://www.rfc-editor.org/rfc/rfc8040#page-60) says:
737             //
738             //            If the "with-defaults" parameter is set to "explicit", then the
739             //            server MUST adhere to the default-reporting behavior defined in
740             //            Section 3.3 of [RFC6243].
741             //
742             //        and then RFC6243 (https://www.rfc-editor.org/rfc/rfc6243#section-3.3) says:
743             //
744             //            When data is retrieved with a <with-defaults> parameter equal to
745             //            'explicit', a data node that was set by a client to its schema
746             //            default value MUST be reported.  A conceptual data node that would be
747             //            set by the server to the schema default value MUST NOT be reported.
748             //            Non-configuration data nodes containing the schema default value MUST
749             //            be reported.
750             //
751             // (rovarga): The source reports explicitly-defined leaves and does *not* create defaults by itself.
752             //            This seems to disregard the 'trim = true' case semantics (see above).
753             //            Combining the above, though, these checks are missing the 'non-config' check, which would
754             //            distinguish, but barring that this check is superfluous and results in the wrong semantics.
755             //            Without that input, this really should be  covered by the previous case.
756                 || !trim && defaultVal != null && defaultVal.equals(leaf.body())) {
757             builder.withChild(leaf);
758         }
759     }
760
761     private static void appendMap(final DataContainerNodeBuilder<?, ?> builder, final MapNode map,
762             final DataSchemaContext childCtx, final boolean trim) {
763         if (!(childCtx.dataSchemaNode() instanceof ListSchemaNode listSchema)) {
764             throw new IllegalStateException("Input " + map + " does not match " + childCtx);
765         }
766
767         final var childBuilder = switch (map.ordering()) {
768             case SYSTEM -> Builders.mapBuilder();
769             case USER -> Builders.orderedMapBuilder();
770         };
771         buildList(childBuilder.withNodeIdentifier(map.name()), map.body(), childCtx, trim,
772             listSchema.getKeyDefinition());
773         builder.withChild(childBuilder.build());
774     }
775
776     private static void buildList(final CollectionNodeBuilder<MapEntryNode, ? extends MapNode> builder,
777             final Collection<@NonNull MapEntryNode> entries, final DataSchemaContext ctxNode, final boolean trim,
778             final List<@NonNull QName> keys) {
779         for (var entry : entries) {
780             final var childCtx = getChildContext(ctxNode, entry);
781             final var mapEntryBuilder = Builders.mapEntryBuilder().withNodeIdentifier(entry.name());
782             buildMapEntryBuilder(mapEntryBuilder, entry.body(), childCtx, trim, keys);
783             builder.withChild(mapEntryBuilder.build());
784         }
785     }
786
787     private static void buildCont(final DataContainerNodeBuilder<NodeIdentifier, ContainerNode> builder,
788             final Collection<DataContainerChild> children, final DataSchemaContext ctxNode, final boolean trim) {
789         for (var child : children) {
790             final var childCtx = getChildContext(ctxNode, child);
791             if (child instanceof ContainerNode container) {
792                 appendContainer(builder, container, childCtx, trim);
793             } else if (child instanceof MapNode map) {
794                 appendMap(builder, map, childCtx, trim);
795             } else if (child instanceof LeafNode<?> leaf) {
796                 appendLeaf(builder, leaf, childCtx, trim, List.of());
797             }
798         }
799     }
800
801     private static @NonNull DataSchemaContext getChildContext(final DataSchemaContext ctxNode,
802             final NormalizedNode child) {
803         final var childId = child.name();
804         final var childCtx = ctxNode instanceof DataSchemaContext.Composite composite ? composite.childByArg(childId)
805             : null;
806         if (childCtx == null) {
807             throw new NoSuchElementException("Cannot resolve child " + childId + " in " + ctxNode);
808         }
809         return childCtx;
810     }
811
812     private static NormalizedNode mergeConfigAndSTateDataIfNeeded(final NormalizedNode stateDataNode,
813                                                                   final NormalizedNode configDataNode) {
814         // if no data exists
815         if (stateDataNode == null && configDataNode == null) {
816             return null;
817         }
818
819         // return config data
820         if (stateDataNode == null) {
821             return configDataNode;
822         }
823
824         // return state data
825         if (configDataNode == null) {
826             return stateDataNode;
827         }
828
829         // merge data from config and state
830         return mergeStateAndConfigData(stateDataNode, configDataNode);
831     }
832
833     /**
834      * Merge state and config data into a single NormalizedNode.
835      *
836      * @param stateDataNode  data node of state data
837      * @param configDataNode data node of config data
838      * @return {@link NormalizedNode}
839      */
840     private static @NonNull NormalizedNode mergeStateAndConfigData(
841             final @NonNull NormalizedNode stateDataNode, final @NonNull NormalizedNode configDataNode) {
842         validateNodeMerge(stateDataNode, configDataNode);
843         // FIXME: this check is bogus, as it confuses yang.data.api (NormalizedNode) with yang.model.api (RpcDefinition)
844         if (configDataNode instanceof RpcDefinition) {
845             return prepareRpcData(configDataNode, stateDataNode);
846         } else {
847             return prepareData(configDataNode, stateDataNode);
848         }
849     }
850
851     /**
852      * Validates whether the two NormalizedNodes can be merged.
853      *
854      * @param stateDataNode  data node of state data
855      * @param configDataNode data node of config data
856      */
857     private static void validateNodeMerge(final @NonNull NormalizedNode stateDataNode,
858                                           final @NonNull NormalizedNode configDataNode) {
859         final QNameModule moduleOfStateData = stateDataNode.name().getNodeType().getModule();
860         final QNameModule moduleOfConfigData = configDataNode.name().getNodeType().getModule();
861         if (!moduleOfStateData.equals(moduleOfConfigData)) {
862             throw new RestconfDocumentedException("Unable to merge data from different modules.");
863         }
864     }
865
866     /**
867      * Prepare and map data for rpc.
868      *
869      * @param configDataNode data node of config data
870      * @param stateDataNode  data node of state data
871      * @return {@link NormalizedNode}
872      */
873     private static @NonNull NormalizedNode prepareRpcData(final @NonNull NormalizedNode configDataNode,
874                                                           final @NonNull NormalizedNode stateDataNode) {
875         final var mapEntryBuilder = Builders.mapEntryBuilder()
876             .withNodeIdentifier((NodeIdentifierWithPredicates) configDataNode.name());
877
878         // MAP CONFIG DATA
879         mapRpcDataNode(configDataNode, mapEntryBuilder);
880         // MAP STATE DATA
881         mapRpcDataNode(stateDataNode, mapEntryBuilder);
882
883         return Builders.mapBuilder()
884             .withNodeIdentifier(NodeIdentifier.create(configDataNode.name().getNodeType()))
885             .addChild(mapEntryBuilder.build())
886             .build();
887     }
888
889     /**
890      * Map node to map entry builder.
891      *
892      * @param dataNode        data node
893      * @param mapEntryBuilder builder for mapping data
894      */
895     private static void mapRpcDataNode(final @NonNull NormalizedNode dataNode,
896             final @NonNull DataContainerNodeBuilder<NodeIdentifierWithPredicates, MapEntryNode> mapEntryBuilder) {
897         ((ContainerNode) dataNode).body().forEach(mapEntryBuilder::addChild);
898     }
899
900     /**
901      * Prepare and map all data from DS.
902      *
903      * @param configDataNode data node of config data
904      * @param stateDataNode  data node of state data
905      * @return {@link NormalizedNode}
906      */
907     @SuppressWarnings("unchecked")
908     private static @NonNull NormalizedNode prepareData(final @NonNull NormalizedNode configDataNode,
909                                                        final @NonNull NormalizedNode stateDataNode) {
910         if (configDataNode instanceof UserMapNode configMap) {
911             final var builder = Builders.orderedMapBuilder().withNodeIdentifier(configMap.name());
912             mapValueToBuilder(configMap.body(), ((UserMapNode) stateDataNode).body(), builder);
913             return builder.build();
914         } else if (configDataNode instanceof SystemMapNode configMap) {
915             final var builder = Builders.mapBuilder().withNodeIdentifier(configMap.name());
916             mapValueToBuilder(configMap.body(), ((SystemMapNode) stateDataNode).body(), builder);
917             return builder.build();
918         } else if (configDataNode instanceof MapEntryNode configEntry) {
919             final var builder = Builders.mapEntryBuilder().withNodeIdentifier(configEntry.name());
920             mapValueToBuilder(configEntry.body(), ((MapEntryNode) stateDataNode).body(), builder);
921             return builder.build();
922         } else if (configDataNode instanceof ContainerNode configContaienr) {
923             final var builder = Builders.containerBuilder().withNodeIdentifier(configContaienr.name());
924             mapValueToBuilder(configContaienr.body(), ((ContainerNode) stateDataNode).body(), builder);
925             return builder.build();
926         } else if (configDataNode instanceof ChoiceNode configChoice) {
927             final var builder = Builders.choiceBuilder().withNodeIdentifier(configChoice.name());
928             mapValueToBuilder(configChoice.body(), ((ChoiceNode) stateDataNode).body(), builder);
929             return builder.build();
930         } else if (configDataNode instanceof LeafNode configLeaf) {
931             // config trumps oper
932             return configLeaf;
933         } else if (configDataNode instanceof UserLeafSetNode) {
934             final var configLeafSet = (UserLeafSetNode<Object>) configDataNode;
935             final var builder = Builders.<Object>orderedLeafSetBuilder().withNodeIdentifier(configLeafSet.name());
936             mapValueToBuilder(configLeafSet.body(), ((UserLeafSetNode<Object>) stateDataNode).body(), builder);
937             return builder.build();
938         } else if (configDataNode instanceof SystemLeafSetNode) {
939             final var configLeafSet = (SystemLeafSetNode<Object>) configDataNode;
940             final var builder = Builders.<Object>leafSetBuilder().withNodeIdentifier(configLeafSet.name());
941             mapValueToBuilder(configLeafSet.body(), ((SystemLeafSetNode<Object>) stateDataNode).body(), builder);
942             return builder.build();
943         } else if (configDataNode instanceof LeafSetEntryNode<?> configEntry) {
944             // config trumps oper
945             return configEntry;
946         } else if (configDataNode instanceof UnkeyedListNode configList) {
947             final var builder = Builders.unkeyedListBuilder().withNodeIdentifier(configList.name());
948             mapValueToBuilder(configList.body(), ((UnkeyedListNode) stateDataNode).body(), builder);
949             return builder.build();
950         } else if (configDataNode instanceof UnkeyedListEntryNode configEntry) {
951             final var builder = Builders.unkeyedListEntryBuilder().withNodeIdentifier(configEntry.name());
952             mapValueToBuilder(configEntry.body(), ((UnkeyedListEntryNode) stateDataNode).body(), builder);
953             return builder.build();
954         } else {
955             throw new RestconfDocumentedException("Unexpected node type: " + configDataNode.getClass().getName());
956         }
957     }
958
959     /**
960      * Map value from container node to builder.
961      *
962      * @param configData collection of config data nodes
963      * @param stateData  collection of state data nodes
964      * @param builder    builder
965      */
966     private static <T extends NormalizedNode> void mapValueToBuilder(
967             final @NonNull Collection<T> configData, final @NonNull Collection<T> stateData,
968             final @NonNull NormalizedNodeContainerBuilder<?, PathArgument, T, ?> builder) {
969         final var configMap = configData.stream().collect(Collectors.toMap(NormalizedNode::name, Function.identity()));
970         final var stateMap = stateData.stream().collect(Collectors.toMap(NormalizedNode::name, Function.identity()));
971
972         // merge config and state data of children with different identifiers
973         mapDataToBuilder(configMap, stateMap, builder);
974
975         // merge config and state data of children with the same identifiers
976         mergeDataToBuilder(configMap, stateMap, builder);
977     }
978
979     /**
980      * Map data with different identifiers to builder. Data with different identifiers can be just added
981      * as childs to parent node.
982      *
983      * @param configMap map of config data nodes
984      * @param stateMap  map of state data nodes
985      * @param builder   - builder
986      */
987     private static <T extends NormalizedNode> void mapDataToBuilder(
988             final @NonNull Map<PathArgument, T> configMap, final @NonNull Map<PathArgument, T> stateMap,
989             final @NonNull NormalizedNodeContainerBuilder<?, PathArgument, T, ?> builder) {
990         configMap.entrySet().stream().filter(x -> !stateMap.containsKey(x.getKey())).forEach(
991             y -> builder.addChild(y.getValue()));
992         stateMap.entrySet().stream().filter(x -> !configMap.containsKey(x.getKey())).forEach(
993             y -> builder.addChild(y.getValue()));
994     }
995
996     /**
997      * Map data with the same identifiers to builder. Data with the same identifiers cannot be just added but we need to
998      * go one level down with {@code prepareData} method.
999      *
1000      * @param configMap immutable config data
1001      * @param stateMap  immutable state data
1002      * @param builder   - builder
1003      */
1004     @SuppressWarnings("unchecked")
1005     private static <T extends NormalizedNode> void mergeDataToBuilder(
1006             final @NonNull Map<PathArgument, T> configMap, final @NonNull Map<PathArgument, T> stateMap,
1007             final @NonNull NormalizedNodeContainerBuilder<?, PathArgument, T, ?> builder) {
1008         // it is enough to process only config data because operational contains the same data
1009         configMap.entrySet().stream().filter(x -> stateMap.containsKey(x.getKey())).forEach(
1010             y -> builder.addChild((T) prepareData(y.getValue(), stateMap.get(y.getKey()))));
1011     }
1012
1013     public @NonNull RestconfFuture<Optional<ContainerNode>> invokeRpc(final QName type, final ContainerNode input) {
1014         final var ret = new SettableRestconfFuture<Optional<ContainerNode>>();
1015
1016         final var local = rpcService;
1017         if (local != null) {
1018             Futures.addCallback(local.invokeRpc(requireNonNull(type), requireNonNull(input)),
1019                 new FutureCallback<DOMRpcResult>() {
1020                     @Override
1021                     public void onSuccess(final DOMRpcResult response) {
1022                         final var errors = response.errors();
1023                         if (errors.isEmpty()) {
1024                             ret.set(Optional.ofNullable(response.value()));
1025                         } else {
1026                             LOG.debug("RPC invocation reported {}", response.errors());
1027                             ret.setFailure(new RestconfDocumentedException("RPC implementation reported errors", null,
1028                                 response.errors()));
1029                         }
1030                     }
1031
1032                     @Override
1033                     public void onFailure(final Throwable cause) {
1034                         LOG.debug("RPC invocation failed, cause");
1035                         if (cause instanceof RestconfDocumentedException ex) {
1036                             ret.setFailure(ex);
1037                         } else {
1038                             // TODO: YangNetconfErrorAware if we ever get into a broader invocation scope
1039                             ret.setFailure(new RestconfDocumentedException(cause,
1040                                 new RestconfError(ErrorType.RPC, ErrorTag.OPERATION_FAILED, cause.getMessage())));
1041                         }
1042                     }
1043                 }, MoreExecutors.directExecutor());
1044         } else {
1045             LOG.debug("RPC invocation is not available");
1046             ret.setFailure(new RestconfDocumentedException("RPC invocation is not available",
1047                 ErrorType.PROTOCOL, ErrorTag.OPERATION_NOT_SUPPORTED));
1048         }
1049         return ret;
1050     }
1051 }