yang/yang-parser-rfc7950/src/main/java/org/opendaylight/yangtools/yang/parser/rfc7950/stmt/augment/AbstractAugmentStatementSupport.java

   1 /*
   2  * Copyright (c) 2017 Pantheon Technologies, s.r.o. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.rfc7950.stmt.augment;
   9
  10 import static com.google.common.base.Verify.verify;
  11
  12 import com.google.common.base.Verify;
  13 import com.google.common.collect.ImmutableList;
  14 import com.google.common.collect.ImmutableSet;
  15 import com.google.common.collect.Lists;
  16 import java.util.ArrayList;
  17 import java.util.Collection;
  18 import java.util.List;
  19 import java.util.Objects;
  20 import java.util.Optional;
  21 import java.util.regex.Pattern;
  22 import org.opendaylight.yangtools.yang.common.QName;
  23 import org.opendaylight.yangtools.yang.model.api.AugmentationSchemaNode;
  24 import org.opendaylight.yangtools.yang.model.api.Status;
  25 import org.opendaylight.yangtools.yang.model.api.YangStmtMapping;
  26 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
  27 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
  28 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentEffectiveStatement;
  29 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
  30 import org.opendaylight.yangtools.yang.model.api.stmt.DataDefinitionStatement;
  31 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  32 import org.opendaylight.yangtools.yang.model.api.stmt.StatusEffectiveStatement;
  33 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
  34 import org.opendaylight.yangtools.yang.model.api.stmt.WhenEffectiveStatement;
  35 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.ArgumentUtils;
  36 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.BaseStatementSupport;
  37 import org.opendaylight.yangtools.yang.parser.rfc7950.stmt.EffectiveStatementMixins.EffectiveStatementWithFlags.FlagsBuilder;
  38 import org.opendaylight.yangtools.yang.parser.spi.SchemaTreeNamespace;
  39 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
  40 import org.opendaylight.yangtools.yang.parser.spi.meta.EffectiveStmtCtx.Current;
  41 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
  42 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
  43 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.InferenceAction;
  44 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.InferenceContext;
  45 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder.Prerequisite;
  46 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
  47 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  48 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
  49 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  50 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
  51 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace;
  52 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace.ValidationBundleType;
  53 import org.opendaylight.yangtools.yang.parser.stmt.reactor.StatementContextBase;
  54 import org.slf4j.Logger;
  55 import org.slf4j.LoggerFactory;
  56
  57 abstract class AbstractAugmentStatementSupport
  58         extends BaseStatementSupport<SchemaNodeIdentifier, AugmentStatement, AugmentEffectiveStatement> {
  59     private static final Logger LOG = LoggerFactory.getLogger(AbstractAugmentStatementSupport.class);
  60     private static final Pattern PATH_REL_PATTERN1 = Pattern.compile("\\.\\.?\\s*/(.+)");
  61     private static final Pattern PATH_REL_PATTERN2 = Pattern.compile("//.*");
  62
  63     AbstractAugmentStatementSupport() {
  64         super(YangStmtMapping.AUGMENT);
  65     }
  66
  67     @Override
  68     public final SchemaNodeIdentifier parseArgumentValue(final StmtContext<?, ?, ?> ctx, final String value) {
  69         SourceException.throwIf(PATH_REL_PATTERN1.matcher(value).matches()
  70             || PATH_REL_PATTERN2.matcher(value).matches(), ctx.getStatementSourceReference(),
  71             "Augment argument \'%s\' is not valid, it can be only absolute path; or descendant if used in uses",
  72             value);
  73
  74         return ArgumentUtils.nodeIdentifierFromPath(ctx, value);
  75     }
  76
  77     @Override
  78     public final void onFullDefinitionDeclared(
  79             final Mutable<SchemaNodeIdentifier, AugmentStatement, AugmentEffectiveStatement> augmentNode) {
  80         if (!augmentNode.isSupportedByFeatures()) {
  81             // We need this augment node to be present, but it should not escape to effective world
  82             augmentNode.setIsSupportedToBuildEffective(false);
  83         }
  84
  85         super.onFullDefinitionDeclared(augmentNode);
  86
  87         if (StmtContextUtils.isInExtensionBody(augmentNode)) {
  88             return;
  89         }
  90
  91         final ModelActionBuilder augmentAction = augmentNode.newInferenceAction(ModelProcessingPhase.EFFECTIVE_MODEL);
  92         augmentAction.requiresCtx(augmentNode, ModelProcessingPhase.EFFECTIVE_MODEL);
  93         final Prerequisite<Mutable<?, ?, EffectiveStatement<?, ?>>> target = augmentAction.mutatesEffectiveCtxPath(
  94             getSearchRoot(augmentNode), SchemaTreeNamespace.class,
  95             augmentNode.coerceStatementArgument().getNodeIdentifiers());
  96
  97         augmentAction.apply(new InferenceAction() {
  98             @Override
  99             public void apply(final InferenceContext ctx) {
 100                 final StatementContextBase<?, ?, ?> augmentTargetCtx =
 101                         (StatementContextBase<?, ?, ?>) target.resolve(ctx);
 102                 if (!isSupportedAugmentTarget(augmentTargetCtx)
 103                         || StmtContextUtils.isInExtensionBody(augmentTargetCtx)) {
 104                     augmentNode.setIsSupportedToBuildEffective(false);
 105                     return;
 106                 }
 107
 108                 // We are targeting a context which is creating implicit nodes. In order to keep things consistent,
 109                 // we will need to circle back when creating effective statements.
 110                 if (augmentTargetCtx.hasImplicitParentSupport()) {
 111                     augmentNode.addToNs(AugmentImplicitHandlingNamespace.class, augmentNode, augmentTargetCtx);
 112                 }
 113
 114                 final StatementContextBase<?, ?, ?> augmentSourceCtx = (StatementContextBase<?, ?, ?>) augmentNode;
 115                 // FIXME: this is a workaround for models which augment a node which is added via an extension
 116                 //        which we do not handle. This needs to be reworked in terms of unknown schema nodes.
 117                 try {
 118                     copyFromSourceToTarget(augmentSourceCtx, augmentTargetCtx);
 119                     augmentTargetCtx.addEffectiveSubstatement(augmentSourceCtx);
 120                 } catch (final SourceException e) {
 121                     LOG.warn("Failed to add augmentation {} defined at {}",
 122                         augmentTargetCtx.getStatementSourceReference(),
 123                             augmentSourceCtx.getStatementSourceReference(), e);
 124                 }
 125             }
 126
 127             @Override
 128             public void prerequisiteFailed(final Collection<? extends Prerequisite<?>> failed) {
 129                 /*
 130                  * Do not fail, if it is an uses-augment to an unknown node.
 131                  */
 132                 if (YangStmtMapping.USES == augmentNode.coerceParentContext().getPublicDefinition()) {
 133                     final SchemaNodeIdentifier augmentArg = augmentNode.coerceStatementArgument();
 134                     final Optional<StmtContext<?, ?, ?>> targetNode = SchemaTreeNamespace.findNode(
 135                         getSearchRoot(augmentNode), augmentArg);
 136                     if (targetNode.isPresent() && StmtContextUtils.isUnknownStatement(targetNode.get())) {
 137                         augmentNode.setIsSupportedToBuildEffective(false);
 138                         LOG.warn("Uses-augment to unknown node {}. Augmentation has not been performed. At line: {}",
 139                             augmentArg, augmentNode.getStatementSourceReference());
 140                         return;
 141                     }
 142                 }
 143
 144                 throw new InferenceException(augmentNode.getStatementSourceReference(),
 145                         "Augment target '%s' not found", augmentNode.getStatementArgument());
 146             }
 147         });
 148     }
 149
 150     @Override
 151     protected final AugmentStatement createDeclared(final StmtContext<SchemaNodeIdentifier, AugmentStatement, ?> ctx,
 152             final ImmutableList<? extends DeclaredStatement<?>> substatements) {
 153         return new RegularAugmentStatement(ctx.coerceRawStatementArgument(), ctx.coerceStatementArgument(),
 154             substatements);
 155     }
 156
 157     @Override
 158     protected final AugmentStatement createEmptyDeclared(
 159             final StmtContext<SchemaNodeIdentifier, AugmentStatement, ?> ctx) {
 160         return new EmptyAugmentStatement(ctx.coerceRawStatementArgument(), ctx.coerceStatementArgument());
 161     }
 162
 163     @Override
 164     protected final List<? extends StmtContext<?, ?, ?>> statementsToBuild(
 165             final Current<SchemaNodeIdentifier, AugmentStatement> stmt,
 166             final List<? extends StmtContext<?, ?, ?>> substatements) {
 167         // Pick up the marker left by onFullDefinitionDeclared() inference action. If it is present we need to pass our
 168         // children through target's implicit wrapping.
 169         final StatementContextBase<?, ?, ?> implicitDef = stmt.getFromNamespace(AugmentImplicitHandlingNamespace.class,
 170             stmt.caerbannog());
 171         return implicitDef == null ? substatements : Lists.transform(substatements, subCtx -> {
 172             verify(subCtx instanceof StatementContextBase);
 173             return implicitDef.wrapWithImplicit((StatementContextBase<?, ?, ?>) subCtx);
 174         });
 175     }
 176
 177     @Override
 178     protected final AugmentEffectiveStatement createEffective(
 179             final Current<SchemaNodeIdentifier, AugmentStatement> stmt,
 180             final ImmutableList<? extends EffectiveStatement<?, ?>> substatements) {
 181         final int flags = new FlagsBuilder()
 182                 .setStatus(findFirstArgument(substatements, StatusEffectiveStatement.class, Status.CURRENT))
 183                 .toFlags();
 184
 185         return new AugmentEffectiveStatementImpl(stmt.declared(), stmt.getArgument(), flags,
 186             StmtContextUtils.getRootModuleQName(stmt.caerbannog()), substatements, stmt.sourceReference(),
 187             (AugmentationSchemaNode) stmt.original());
 188     }
 189
 190     private static StmtContext<?, ?, ?> getSearchRoot(final StmtContext<?, ?, ?> augmentContext) {
 191         // Augment is in uses - we need to augment instantiated nodes in parent.
 192         final StmtContext<?, ?, ?> parent = augmentContext.coerceParentContext();
 193         if (YangStmtMapping.USES == parent.getPublicDefinition()) {
 194             return parent.getParentContext();
 195         }
 196         return parent;
 197     }
 198
 199     final void copyFromSourceToTarget(final StatementContextBase<?, ?, ?> sourceCtx,
 200             final StatementContextBase<?, ?, ?> targetCtx) {
 201         final CopyType typeOfCopy = sourceCtx.coerceParentContext().producesDeclared(UsesStatement.class)
 202                 ? CopyType.ADDED_BY_USES_AUGMENTATION : CopyType.ADDED_BY_AUGMENTATION;
 203         /*
 204          * Since Yang 1.1, if an augmentation is made conditional with a
 205          * "when" statement, it is allowed to add mandatory nodes.
 206          */
 207         final boolean skipCheckOfMandatoryNodes = allowsMandatory(sourceCtx);
 208         final boolean unsupported = !sourceCtx.isSupportedByFeatures();
 209
 210         final Collection<? extends Mutable<?, ?, ?>> declared = sourceCtx.mutableDeclaredSubstatements();
 211         final Collection<? extends Mutable<?, ?, ?>> effective = sourceCtx.mutableEffectiveSubstatements();
 212         final Collection<Mutable<?, ?, ?>> buffer = new ArrayList<>(declared.size() + effective.size());
 213
 214         for (final Mutable<?, ?, ?> originalStmtCtx : declared) {
 215             copyStatement(originalStmtCtx, targetCtx, typeOfCopy, buffer, skipCheckOfMandatoryNodes,
 216                 unsupported || !originalStmtCtx.isSupportedByFeatures());
 217         }
 218         for (final Mutable<?, ?, ?> originalStmtCtx : effective) {
 219             copyStatement(originalStmtCtx, targetCtx, typeOfCopy, buffer, skipCheckOfMandatoryNodes, unsupported);
 220         }
 221
 222         targetCtx.addEffectiveSubstatements(buffer);
 223     }
 224
 225     abstract boolean allowsMandatory(StmtContext<?, ?, ?> ctx);
 226
 227     static boolean hasWhenSubstatement(final StmtContext<?, ?, ?> ctx) {
 228         return ctx.hasSubstatement(WhenEffectiveStatement.class);
 229     }
 230
 231     private static void copyStatement(final Mutable<?, ?, ?> original, final StatementContextBase<?, ?, ?> target,
 232             final CopyType typeOfCopy, final Collection<Mutable<?, ?, ?>> buffer,
 233             final boolean skipCheckOfMandatoryNodes, final boolean unsupported) {
 234         // We always copy statements, but if either the source statement or the augmentation which causes it are not
 235         // supported to build we also mark the target as such.
 236         if (needToCopyByAugment(original)) {
 237             validateNodeCanBeCopiedByAugment(original, target, typeOfCopy, skipCheckOfMandatoryNodes);
 238
 239             final Mutable<?, ?, ?> copy = target.childCopyOf(original, typeOfCopy);
 240             if (unsupported) {
 241                 copy.setIsSupportedToBuildEffective(false);
 242             }
 243             buffer.add(copy);
 244         } else if (isReusedByAugment(original) && !unsupported) {
 245             buffer.add(original);
 246         }
 247     }
 248
 249     private static void validateNodeCanBeCopiedByAugment(final StmtContext<?, ?, ?> sourceCtx,
 250             final StatementContextBase<?, ?, ?> targetCtx, final CopyType typeOfCopy,
 251             final boolean skipCheckOfMandatoryNodes) {
 252         if (!skipCheckOfMandatoryNodes && typeOfCopy == CopyType.ADDED_BY_AUGMENTATION
 253                 && requireCheckOfMandatoryNodes(sourceCtx, targetCtx)) {
 254             checkForMandatoryNodes(sourceCtx);
 255         }
 256
 257         // Data definition statements must not collide on their namespace
 258         if (sourceCtx.producesDeclared(DataDefinitionStatement.class)) {
 259             for (final StmtContext<?, ?, ?> subStatement : targetCtx.allSubstatements()) {
 260                 if (subStatement.producesDeclared(DataDefinitionStatement.class)) {
 261                     InferenceException.throwIf(
 262                         Objects.equals(sourceCtx.getStatementArgument(), subStatement.getStatementArgument()),
 263                         sourceCtx.getStatementSourceReference(),
 264                         "An augment cannot add node named '%s' because this name is already used in target",
 265                         sourceCtx.rawStatementArgument());
 266                 }
 267             }
 268         }
 269     }
 270
 271     private static void checkForMandatoryNodes(final StmtContext<?, ?, ?> sourceCtx) {
 272         if (StmtContextUtils.isNonPresenceContainer(sourceCtx)) {
 273             /*
 274              * We need to iterate over both declared and effective sub-statements,
 275              * because a mandatory node can be:
 276              * a) declared in augment body
 277              * b) added to augment body also via uses of a grouping and
 278              * such sub-statements are stored in effective sub-statements collection.
 279              */
 280             sourceCtx.allSubstatementsStream().forEach(AbstractAugmentStatementSupport::checkForMandatoryNodes);
 281         }
 282
 283         InferenceException.throwIf(StmtContextUtils.isMandatoryNode(sourceCtx),
 284                 sourceCtx.getStatementSourceReference(),
 285                 "An augment cannot add node '%s' because it is mandatory and in module different than target",
 286                 sourceCtx.rawStatementArgument());
 287     }
 288
 289     private static boolean requireCheckOfMandatoryNodes(final StmtContext<?, ?, ?> sourceCtx,
 290             Mutable<?, ?, ?> targetCtx) {
 291         /*
 292          * If the statement argument is not QName, it cannot be mandatory
 293          * statement, therefore return false and skip mandatory nodes validation
 294          */
 295         final Object arg = sourceCtx.getStatementArgument();
 296         if (!(arg instanceof QName)) {
 297             return false;
 298         }
 299         final QName sourceStmtQName = (QName) arg;
 300
 301         // RootStatementContext, for example
 302         final Mutable<?, ?, ?> root = targetCtx.getRoot();
 303         do {
 304             final Object targetArg = targetCtx.getStatementArgument();
 305             Verify.verify(targetArg instanceof QName, "Argument of augment target statement must be QName, not %s",
 306                 targetArg);
 307             final QName targetStmtQName = (QName) targetArg;
 308             /*
 309              * If target is from another module, return true and perform mandatory nodes validation
 310              */
 311             if (!targetStmtQName.getModule().equals(sourceStmtQName.getModule())) {
 312                 return true;
 313             }
 314
 315             /*
 316              * If target or one of the target's ancestors from the same namespace
 317              * is a presence container
 318              * or is non-mandatory choice
 319              * or is non-mandatory list
 320              * return false and skip mandatory nodes validation, because these nodes
 321              * are not mandatory node containers according to RFC 6020 section 3.1.
 322              */
 323             if (StmtContextUtils.isPresenceContainer(targetCtx)
 324                     || StmtContextUtils.isNotMandatoryNodeOfType(targetCtx, YangStmtMapping.CHOICE)
 325                     || StmtContextUtils.isNotMandatoryNodeOfType(targetCtx, YangStmtMapping.LIST)) {
 326                 return false;
 327             }
 328
 329             // This could be an augmentation stacked on top of a previous augmentation from the same module, which is
 330             // conditional -- in which case we do not run further checks
 331             if (targetCtx.getCopyHistory().getLastOperation() == CopyType.ADDED_BY_AUGMENTATION) {
 332                 final Optional<? extends StmtContext<?, ?, ?>> optPrevCopy = targetCtx.getPreviousCopyCtx();
 333                 if (optPrevCopy.isPresent()) {
 334                     final StmtContext<?, ?, ?> original = optPrevCopy.get();
 335                     final Object origArg = original.coerceStatementArgument();
 336                     Verify.verify(origArg instanceof QName, "Unexpected statement argument %s", origArg);
 337
 338                     if (sourceStmtQName.getModule().equals(((QName) origArg).getModule())
 339                             && hasWhenSubstatement(getParentAugmentation(original))) {
 340                         return false;
 341                     }
 342                 }
 343             }
 344         } while ((targetCtx = targetCtx.getParentContext()) != root);
 345
 346         /*
 347          * All target node's parents belong to the same module as source node,
 348          * therefore return false and skip mandatory nodes validation.
 349          */
 350         return false;
 351     }
 352
 353     private static StmtContext<?, ?, ?> getParentAugmentation(final StmtContext<?, ?, ?> child) {
 354         StmtContext<?, ?, ?> parent = Verify.verifyNotNull(child.getParentContext(), "Child %s has not parent", child);
 355         while (parent.getPublicDefinition() != YangStmtMapping.AUGMENT) {
 356             parent = Verify.verifyNotNull(parent.getParentContext(), "Failed to find augmentation parent of %s", child);
 357         }
 358         return parent;
 359     }
 360
 361     private static final ImmutableSet<YangStmtMapping> NOCOPY_DEF_SET = ImmutableSet.of(YangStmtMapping.USES,
 362         YangStmtMapping.WHEN, YangStmtMapping.DESCRIPTION, YangStmtMapping.REFERENCE, YangStmtMapping.STATUS);
 363
 364     private static boolean needToCopyByAugment(final StmtContext<?, ?, ?> stmtContext) {
 365         return !NOCOPY_DEF_SET.contains(stmtContext.getPublicDefinition());
 366     }
 367
 368     private static final ImmutableSet<YangStmtMapping> REUSED_DEF_SET = ImmutableSet.of(YangStmtMapping.TYPEDEF);
 369
 370     private static boolean isReusedByAugment(final StmtContext<?, ?, ?> stmtContext) {
 371         return REUSED_DEF_SET.contains(stmtContext.getPublicDefinition());
 372     }
 373
 374     static boolean isSupportedAugmentTarget(final StmtContext<?, ?, ?> substatementCtx) {
 375         /*
 376          * :TODO Substatement must be allowed augment target type e.g.
 377          * Container, etc... and must not be for example grouping, identity etc.
 378          * It is problem in case when more than one substatements have the same
 379          * QName, for example Grouping and Container are siblings and they have
 380          * the same QName. We must find the Container and the Grouping must be
 381          * ignored as disallowed augment target.
 382          */
 383         final Collection<?> allowedAugmentTargets = substatementCtx.getFromNamespace(
 384             ValidationBundlesNamespace.class, ValidationBundleType.SUPPORTED_AUGMENT_TARGETS);
 385
 386         // if no allowed target is returned we consider all targets allowed
 387         return allowedAugmentTargets == null || allowedAugmentTargets.isEmpty()
 388                 || allowedAugmentTargets.contains(substatementCtx.getPublicDefinition());
 389     }
 390 }