d0e85fd385f2a12e156650ea3b11b5b4814d23d6
[yangtools.git] / parser / yang-parser-rfc7950 / src / main / java / org / opendaylight / yangtools / yang / parser / rfc7950 / stmt / uses / UsesStatementSupport.java
1 /*
2  * Copyright (c) 2017 Pantheon Technologies, s.r.o. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.rfc7950.stmt.uses;
9
10 import static com.google.common.base.Verify.verify;
11 import static com.google.common.base.Verify.verifyNotNull;
12
13 import com.google.common.collect.ImmutableList;
14 import com.google.common.collect.ImmutableMap;
15 import java.util.ArrayList;
16 import java.util.Collection;
17 import java.util.LinkedHashMap;
18 import java.util.Map;
19 import java.util.Optional;
20 import org.eclipse.jdt.annotation.NonNull;
21 import org.opendaylight.yangtools.yang.common.Empty;
22 import org.opendaylight.yangtools.yang.common.QName;
23 import org.opendaylight.yangtools.yang.common.QNameModule;
24 import org.opendaylight.yangtools.yang.common.YangVersion;
25 import org.opendaylight.yangtools.yang.model.api.GroupingDefinition;
26 import org.opendaylight.yangtools.yang.model.api.SchemaNode;
27 import org.opendaylight.yangtools.yang.model.api.YangStmtMapping;
28 import org.opendaylight.yangtools.yang.model.api.meta.DeclarationReference;
29 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
30 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
31 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
32 import org.opendaylight.yangtools.yang.model.api.stmt.RefineEffectiveStatement;
33 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
34 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
35 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Descendant;
36 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaTreeEffectiveStatement;
37 import org.opendaylight.yangtools.yang.model.api.stmt.UsesEffectiveStatement;
38 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
39 import org.opendaylight.yangtools.yang.model.ri.stmt.DeclaredStatementDecorators;
40 import org.opendaylight.yangtools.yang.model.ri.stmt.DeclaredStatements;
41 import org.opendaylight.yangtools.yang.parser.api.YangParserConfiguration;
42 import org.opendaylight.yangtools.yang.parser.rfc7950.reactor.YangValidationBundles;
43 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.EffectiveStmtUtils;
44 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.refine.RefineEffectiveStatementImpl;
45 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.refine.RefineTargetNamespace;
46 import org.opendaylight.yangtools.yang.parser.spi.ParserNamespaces;
47 import org.opendaylight.yangtools.yang.parser.spi.meta.AbstractQNameStatementSupport;
48 import org.opendaylight.yangtools.yang.parser.spi.meta.BoundStmtCtx;
49 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
50 import org.opendaylight.yangtools.yang.parser.spi.meta.EffectiveStmtCtx.Current;
51 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
52 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
53 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.InferenceAction;
54 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.InferenceContext;
55 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.Prerequisite;
56 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
57 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
58 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
59 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
60 import org.opendaylight.yangtools.yang.parser.spi.meta.SubstatementValidator;
61 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
62 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundles;
63 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundles.ValidationBundleType;
64 import org.slf4j.Logger;
65 import org.slf4j.LoggerFactory;
66
67 public final class UsesStatementSupport
68         extends AbstractQNameStatementSupport<UsesStatement, UsesEffectiveStatement> {
69     private static final Logger LOG = LoggerFactory.getLogger(UsesStatementSupport.class);
70     private static final SubstatementValidator SUBSTATEMENT_VALIDATOR =
71         SubstatementValidator.builder(YangStmtMapping.USES)
72             .addAny(YangStmtMapping.AUGMENT)
73             .addOptional(YangStmtMapping.DESCRIPTION)
74             .addAny(YangStmtMapping.IF_FEATURE)
75             .addAny(YangStmtMapping.REFINE)
76             .addOptional(YangStmtMapping.REFERENCE)
77             .addOptional(YangStmtMapping.STATUS)
78             .addOptional(YangStmtMapping.WHEN)
79             .build();
80
81     public UsesStatementSupport(final YangParserConfiguration config) {
82         super(YangStmtMapping.USES, StatementPolicy.exactReplica(), config, SUBSTATEMENT_VALIDATOR);
83     }
84
85     @Override
86     public QName parseArgumentValue(final StmtContext<?, ?, ?> ctx, final String value) {
87         return StmtContextUtils.parseNodeIdentifier(ctx, value);
88     }
89
90     @Override
91     public void onFullDefinitionDeclared(final Mutable<QName, UsesStatement, UsesEffectiveStatement> usesNode) {
92         if (!usesNode.isSupportedByFeatures()) {
93             return;
94         }
95         super.onFullDefinitionDeclared(usesNode);
96
97         final ModelActionBuilder usesAction = usesNode.newInferenceAction(ModelProcessingPhase.EFFECTIVE_MODEL);
98         final QName groupingName = usesNode.argument();
99
100         final var sourceGroupingPre = usesAction.requiresCtx(usesNode, ParserNamespaces.GROUPING, groupingName,
101                 ModelProcessingPhase.EFFECTIVE_MODEL);
102         final Prerequisite<? extends Mutable<?, ?, ?>> targetNodePre = usesAction.mutatesEffectiveCtx(
103             usesNode.getParentContext());
104
105         usesAction.apply(new InferenceAction() {
106
107             @Override
108             public void apply(final InferenceContext ctx) {
109                 final Mutable<?, ?, ?> targetNodeStmtCtx = targetNodePre.resolve(ctx);
110                 final StmtContext<?, ?, ?> sourceGrpStmtCtx = sourceGroupingPre.resolve(ctx);
111
112                 copyFromSourceToTarget(sourceGrpStmtCtx, targetNodeStmtCtx, usesNode);
113                 resolveUsesNode(usesNode, targetNodeStmtCtx);
114                 StmtContextUtils.validateIfFeatureAndWhenOnListKeys(usesNode);
115                 usesNode.addToNs(SourceGroupingNamespace.INSTANCE, Empty.value(), sourceGrpStmtCtx);
116             }
117
118             @Override
119             public void prerequisiteFailed(final Collection<? extends Prerequisite<?>> failed) {
120                 InferenceException.throwIf(failed.contains(sourceGroupingPre), usesNode,
121                     "Grouping '%s' was not resolved.", groupingName);
122                 throw new InferenceException("Unknown error occurred.", usesNode);
123             }
124         });
125     }
126
127     @Override
128     protected UsesStatement createDeclared(final BoundStmtCtx<QName> ctx,
129             final ImmutableList<DeclaredStatement<?>> substatements) {
130         return DeclaredStatements.createUses(ctx.getRawArgument(), ctx.getArgument(), substatements);
131     }
132
133     @Override
134     protected UsesStatement attachDeclarationReference(final UsesStatement stmt, final DeclarationReference reference) {
135         return DeclaredStatementDecorators.decorateUses(stmt, reference);
136     }
137
138     @Override
139     protected UsesEffectiveStatement createEffective(final Current<QName, UsesStatement> stmt,
140             final ImmutableList<? extends EffectiveStatement<?, ?>> substatements) {
141         final EffectiveStatement<?, ?> source =
142             verifyNotNull(stmt.getFromNamespace(SourceGroupingNamespace.INSTANCE, Empty.value())).buildEffective();
143         verify(source instanceof GroupingDefinition, "Unexpected source %s", source);
144         final GroupingDefinition sourceGrouping = (GroupingDefinition) source;
145
146         final int flags = EffectiveStmtUtils.historyAndStatusFlags(stmt.history(), substatements);
147         final QName argument = stmt.getArgument();
148         final UsesStatement declared = stmt.declared();
149
150         if (substatements.isEmpty()) {
151             return argument.equals(declared.argument())
152                 ? new EmptyLocalUsesEffectiveStatement(declared, sourceGrouping, flags)
153                         : new SimpleCopiedUsesEffectiveStatement(declared, argument, sourceGrouping, flags);
154         }
155
156         if (declared.argument().equals(argument)) {
157             return new RegularLocalUsesEffectiveStatement(declared, sourceGrouping, flags, substatements);
158         }
159         if (findFirstStatement(substatements, RefineEffectiveStatement.class) == null) {
160             return new SimpleCopiedUsesEffectiveStatement(declared, argument, sourceGrouping, flags, substatements);
161         }
162         return new FullCopiedUsesEffectiveStatement(declared, argument, sourceGrouping, flags, substatements);
163     }
164
165     static @NonNull ImmutableMap<Descendant, SchemaNode> indexRefines(
166             final ImmutableList<? extends EffectiveStatement<?, ?>> substatements) {
167         final Map<Descendant, SchemaNode> refines = new LinkedHashMap<>();
168
169         for (EffectiveStatement<?, ?> effectiveStatement : substatements) {
170             if (effectiveStatement instanceof RefineEffectiveStatementImpl refineStmt) {
171                 refines.put(refineStmt.argument(), refineStmt.getRefineTargetNode());
172             }
173         }
174
175         return ImmutableMap.copyOf(refines);
176     }
177
178     /**
179      * Copy statements from a grouping to a target node.
180      *
181      * @param sourceGrpStmtCtx
182      *            source grouping statement context
183      * @param targetCtx
184      *            target context
185      * @param usesNode
186      *            uses node
187      * @throws SourceException
188      *             instance of SourceException
189      */
190     private static void copyFromSourceToTarget(final StmtContext<?, ?, ?> sourceGrpStmtCtx,
191             final Mutable<?, ?, ?> targetCtx, final Mutable<QName, UsesStatement, UsesEffectiveStatement> usesNode) {
192         final var declared = sourceGrpStmtCtx.declaredSubstatements();
193         final var effective = sourceGrpStmtCtx.effectiveSubstatements();
194         final var buffer = new ArrayList<Mutable<?, ?, ?>>(declared.size() + effective.size());
195         final QNameModule newQNameModule = getNewQNameModule(targetCtx, sourceGrpStmtCtx);
196
197         for (StmtContext<?, ?, ?> original : declared) {
198             if (shouldCopy(original)) {
199                 original.copyAsChildOf(targetCtx, CopyType.ADDED_BY_USES, newQNameModule).ifPresent(copy -> {
200                     if (!original.isSupportedByFeatures() || !original.isSupportedToBuildEffective()) {
201                         copy.setUnsupported();
202                     }
203                     buffer.add(copy);
204                 });
205             }
206         }
207
208         for (StmtContext<?, ?, ?> original : effective) {
209             if (shouldCopy(original)) {
210                 original.copyAsChildOf(targetCtx, CopyType.ADDED_BY_USES, newQNameModule).ifPresent(buffer::add);
211             }
212         }
213
214         targetCtx.addEffectiveSubstatements(buffer);
215         usesNode.addAsEffectOfStatement(buffer);
216     }
217
218     private static boolean shouldCopy(final StmtContext<?, ?, ?> stmt) {
219         // https://tools.ietf.org/html/rfc7950#section-7.13:
220         //
221         //        The effect of a "uses" reference to a grouping is that the nodes
222         //        defined by the grouping are copied into the current schema tree and
223         //        are then updated according to the "refine" and "augment" statements.
224         //
225         // This means that the statement that is about to be copied (and can be subjected to buildEffective() I think)
226         // is actually a SchemaTreeEffectiveStatement
227         if (SchemaTreeEffectiveStatement.class.isAssignableFrom(
228                 stmt.publicDefinition().getEffectiveRepresentationClass())) {
229             return true;
230         }
231
232         // As per https://tools.ietf.org/html/rfc7950#section-7.13.2:
233         //
234         //        o  Any node can get refined extensions, if the extension allows
235         //           refinement.  See Section 7.19 for details.
236         //
237         // and https://tools.ietf.org/html/rfc7950#section-7.19:
238         //
239         //        An extension can allow refinement (see Section 7.13.2) and deviations
240         //        (Section 7.20.3.2), but the mechanism for how this is defined is
241         //        outside the scope of this specification.
242         //
243         // This is actively used out there (tailf-common.yang's tailf:action), which is incorrect, though. They do
244         // publish a bunch of metadata (through tailf-meta-extension.yang), but fail to publish a key aspect of the
245         // statement: it attaches to schema tree namespace (just as RFC7950 action does). Such an extension would
246         // automatically result in the extension being picked up by the above check and everybody would live happily
247         // ever after.
248         //
249         // We do not live in that world yet, hence we do the following and keep our fingers crossed.
250         // FIXME: YANGTOOLS-403: this should not be necessary once we implement the above (although tests will complain)
251         return StmtContextUtils.isUnknownStatement(stmt);
252     }
253
254     private static QNameModule getNewQNameModule(final StmtContext<?, ?, ?> targetCtx,
255             final StmtContext<?, ?, ?> stmtContext) {
256         if (targetCtx.getParentContext() == null) {
257             return targetCtx.getFromNamespace(ParserNamespaces.MODULECTX_TO_QNAME, targetCtx);
258         }
259         if (targetCtx.publicDefinition() == YangStmtMapping.AUGMENT) {
260             return StmtContextUtils.getRootModuleQName(targetCtx);
261         }
262
263         final Object targetStmtArgument = targetCtx.argument();
264         final Object sourceStmtArgument = stmtContext.argument();
265         if (targetStmtArgument instanceof QName && sourceStmtArgument instanceof QName) {
266             return ((QName) targetStmtArgument).getModule();
267         }
268
269         return null;
270     }
271
272     private static void resolveUsesNode(final Mutable<QName, UsesStatement, UsesEffectiveStatement> usesNode,
273             final StmtContext<?, ?, ?> targetNodeStmtCtx) {
274         for (Mutable<?, ?, ?> subStmtCtx : usesNode.mutableDeclaredSubstatements()) {
275             if (subStmtCtx.producesDeclared(RefineStatement.class) && areFeaturesSupported(subStmtCtx)) {
276                 performRefine(subStmtCtx, targetNodeStmtCtx);
277             }
278         }
279     }
280
281     private static boolean areFeaturesSupported(final StmtContext<?, ?, ?> subStmtCtx) {
282         /*
283          * In case of Yang 1.1, checks whether features are supported.
284          */
285         return !YangVersion.VERSION_1_1.equals(subStmtCtx.yangVersion()) || subStmtCtx.isSupportedByFeatures();
286     }
287
288     private static void performRefine(final Mutable<?, ?, ?> subStmtCtx, final StmtContext<?, ?, ?> usesParentCtx) {
289         final Object refineArgument = subStmtCtx.argument();
290         InferenceException.throwIf(!(refineArgument instanceof SchemaNodeIdentifier), subStmtCtx,
291             "Invalid refine argument %s. It must be instance of SchemaNodeIdentifier.", refineArgument);
292
293         // FIXME: this really should be handled via separate inference, i.e. we first instantiate the template and when
294         //        it appears, this refine will trigger on it. This reinforces the FIXME below.
295         final Optional<StmtContext<?, ?, ?>> optRefineTargetCtx = ParserNamespaces.findSchemaTreeStatement(
296             usesParentCtx, (SchemaNodeIdentifier) refineArgument);
297         InferenceException.throwIf(!optRefineTargetCtx.isPresent(), subStmtCtx, "Refine target node %s not found.",
298             refineArgument);
299
300         // FIXME: This communicates the looked-up target node to RefineStatementSupport.buildEffective(). We should do
301         //        this trick through a shared namespace or similar reactor-agnostic meeting place. It really feels like
302         //        an inference action RefineStatementSupport should be doing.
303         final StmtContext<?, ?, ?> refineTargetNodeCtx = optRefineTargetCtx.get();
304         if (StmtContextUtils.isUnknownStatement(refineTargetNodeCtx)) {
305             LOG.trace("Refine node '{}' in uses '{}' has target node unknown statement '{}'. "
306                 + "Refine has been skipped. At line: {}", subStmtCtx.argument(),
307                 subStmtCtx.coerceParentContext().argument(), refineTargetNodeCtx.argument(),
308                 subStmtCtx.sourceReference());
309         } else {
310             verify(refineTargetNodeCtx instanceof Mutable, "Unexpected target %s", refineTargetNodeCtx);
311             addOrReplaceNodes(subStmtCtx, (Mutable<?, ?, ?>) refineTargetNodeCtx);
312         }
313
314         // Target is a prerequisite for the 'refine', hence if the target is not supported, the refine is not supported
315         // as well. Otherwise add a pointer to the target into refine's local namespace.
316         if (refineTargetNodeCtx.isSupportedToBuildEffective()) {
317             subStmtCtx.addToNs(RefineTargetNamespace.INSTANCE, Empty.value(), refineTargetNodeCtx);
318         } else {
319             subStmtCtx.setUnsupported();
320         }
321     }
322
323     private static void addOrReplaceNodes(final StmtContext<?, ?, ?> subStmtCtx,
324             final Mutable<?, ?, ?> refineTargetNodeCtx) {
325         for (StmtContext<?, ?, ?> refineSubstatementCtx : subStmtCtx.declaredSubstatements()) {
326             if (isSupportedRefineSubstatement(refineSubstatementCtx)) {
327                 addOrReplaceNode(refineSubstatementCtx, refineTargetNodeCtx);
328             }
329         }
330     }
331
332     private static void addOrReplaceNode(final StmtContext<?, ?, ?> refineSubstatementCtx,
333             final Mutable<?, ?, ?> refineTargetNodeCtx) {
334
335         final StatementDefinition refineSubstatementDef = refineSubstatementCtx.publicDefinition();
336
337         // FIXME: this is quite costly, use an explicit block
338         SourceException.throwIf(!isSupportedRefineTarget(refineSubstatementCtx, refineTargetNodeCtx),
339                 refineSubstatementCtx,
340                 "Error in module '%s' in the refine of uses '%s': can not perform refine of '%s' for the target '%s'.",
341                 refineSubstatementCtx.getRoot().rawArgument(), refineSubstatementCtx.coerceParentContext().argument(),
342                 refineSubstatementCtx.publicDefinition(), refineTargetNodeCtx.publicDefinition());
343
344         if (!isAllowedToAddByRefine(refineSubstatementDef)) {
345             refineTargetNodeCtx.removeStatementFromEffectiveSubstatements(refineSubstatementDef);
346         }
347         // FIXME: childCopyOf() should handle this through per-statement copy policy, right?
348         refineTargetNodeCtx.addEffectiveSubstatement(refineSubstatementCtx.replicaAsChildOf(refineTargetNodeCtx));
349     }
350
351     // FIXME: clarify this and inline into single caller
352     private static boolean isAllowedToAddByRefine(final StatementDefinition publicDefinition) {
353         return YangStmtMapping.MUST.equals(publicDefinition);
354     }
355
356     private static boolean isSupportedRefineSubstatement(final StmtContext<?, ?, ?> refineSubstatementCtx) {
357         final Collection<?> supportedRefineSubstatements = refineSubstatementCtx.getFromNamespace(
358                 ValidationBundles.NAMESPACE, ValidationBundleType.SUPPORTED_REFINE_SUBSTATEMENTS);
359
360         return supportedRefineSubstatements == null || supportedRefineSubstatements.isEmpty()
361                 || supportedRefineSubstatements.contains(refineSubstatementCtx.publicDefinition())
362                 || StmtContextUtils.isUnknownStatement(refineSubstatementCtx);
363     }
364
365     private static boolean isSupportedRefineTarget(final StmtContext<?, ?, ?> refineSubstatementCtx,
366             final StmtContext<?, ?, ?> refineTargetNodeCtx) {
367         final Collection<?> supportedRefineTargets = YangValidationBundles.SUPPORTED_REFINE_TARGETS.get(
368             refineSubstatementCtx.publicDefinition());
369
370         return supportedRefineTargets == null || supportedRefineTargets.isEmpty()
371                 || supportedRefineTargets.contains(refineTargetNodeCtx.publicDefinition());
372     }
373 }