yang/yang-parser-reactor/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/reactor/StatementContextBase.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
   9
  10 import static com.google.common.base.Preconditions.checkArgument;
  11 import static com.google.common.base.Preconditions.checkNotNull;
  12 import static com.google.common.base.Preconditions.checkState;
  13 import static com.google.common.base.Verify.verify;
  14 import static java.util.Objects.requireNonNull;
  15
  16 import com.google.common.annotations.Beta;
  17 import com.google.common.base.MoreObjects;
  18 import com.google.common.base.MoreObjects.ToStringHelper;
  19 import com.google.common.collect.ImmutableCollection;
  20 import com.google.common.collect.ImmutableList;
  21 import com.google.common.collect.ImmutableMultimap;
  22 import com.google.common.collect.Multimap;
  23 import com.google.common.collect.Multimaps;
  24 import java.util.ArrayList;
  25 import java.util.Collection;
  26 import java.util.Collections;
  27 import java.util.EnumMap;
  28 import java.util.EventListener;
  29 import java.util.Iterator;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Map.Entry;
  33 import java.util.Optional;
  34 import java.util.Set;
  35 import org.eclipse.jdt.annotation.NonNull;
  36 import org.eclipse.jdt.annotation.Nullable;
  37 import org.opendaylight.yangtools.yang.common.QName;
  38 import org.opendaylight.yangtools.yang.common.QNameModule;
  39 import org.opendaylight.yangtools.yang.common.YangVersion;
  40 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
  41 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
  42 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
  43 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
  44 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
  45 import org.opendaylight.yangtools.yang.model.api.meta.StatementSource;
  46 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
  47 import org.opendaylight.yangtools.yang.model.api.stmt.ConfigStatement;
  48 import org.opendaylight.yangtools.yang.model.api.stmt.DeviationStatement;
  49 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
  50 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  51 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
  52 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
  53 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
  54 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
  55 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
  56 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
  57 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
  58 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
  59 import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
  60 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
  61 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
  62 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
  63 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceNotAvailableException;
  64 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
  65 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
  66 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport.CopyPolicy;
  67 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  68 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
  69 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  70 import org.opendaylight.yangtools.yang.parser.spi.source.ImplicitSubstatement;
  71 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
  72 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
  73 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
  74 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
  75 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.PredicateValueAddedListener;
  76 import org.slf4j.Logger;
  77 import org.slf4j.LoggerFactory;
  78
  79 /**
  80  * Core reactor statement implementation of {@link Mutable}.
  81  *
  82  * @param <A> Argument type
  83  * @param <D> Declared Statement representation
  84  * @param <E> Effective Statement representation
  85  */
  86 public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
  87         extends NamespaceStorageSupport implements Mutable<A, D, E> {
  88     /**
  89      * Event listener when an item is added to model namespace.
  90      */
  91     interface OnNamespaceItemAdded extends EventListener {
  92         /**
  93          * Invoked whenever a new item is added to a namespace.
  94          */
  95         void namespaceItemAdded(StatementContextBase<?, ?, ?> context, Class<?> namespace, Object key, Object value);
  96     }
  97
  98     /**
  99      * Event listener when a parsing {@link ModelProcessingPhase} is completed.
 100      */
 101     interface OnPhaseFinished extends EventListener {
 102         /**
 103          * Invoked whenever a processing phase has finished.
 104          */
 105         boolean phaseFinished(StatementContextBase<?, ?, ?> context, ModelProcessingPhase finishedPhase);
 106     }
 107
 108     /**
 109      * Interface for all mutations within an {@link ModelActionBuilder.InferenceAction}.
 110      */
 111     interface ContextMutation {
 112
 113         boolean isFinished();
 114     }
 115
 116     private static final Logger LOG = LoggerFactory.getLogger(StatementContextBase.class);
 117
 118     // Flag bit assignments
 119     private static final int IS_SUPPORTED_BY_FEATURES    = 0x01;
 120     private static final int HAVE_SUPPORTED_BY_FEATURES  = 0x02;
 121     private static final int IS_IGNORE_IF_FEATURE        = 0x04;
 122     private static final int HAVE_IGNORE_IF_FEATURE      = 0x08;
 123     // Note: these four are related
 124     private static final int IS_IGNORE_CONFIG            = 0x10;
 125     private static final int HAVE_IGNORE_CONFIG          = 0x20;
 126     private static final int IS_CONFIGURATION            = 0x40;
 127     private static final int HAVE_CONFIGURATION          = 0x80;
 128
 129     // Have-and-set flag constants, also used as masks
 130     private static final int SET_SUPPORTED_BY_FEATURES = HAVE_SUPPORTED_BY_FEATURES | IS_SUPPORTED_BY_FEATURES;
 131     private static final int SET_CONFIGURATION = HAVE_CONFIGURATION | IS_CONFIGURATION;
 132     // Note: implies SET_CONFIGURATION, allowing fewer bit operations to be performed
 133     private static final int SET_IGNORE_CONFIG = HAVE_IGNORE_CONFIG | IS_IGNORE_CONFIG | SET_CONFIGURATION;
 134     private static final int SET_IGNORE_IF_FEATURE = HAVE_IGNORE_IF_FEATURE | IS_IGNORE_IF_FEATURE;
 135
 136     private final CopyHistory copyHistory;
 137     // Note: this field can strictly be derived in InferredStatementContext, but it forms the basis of many of our
 138     //       operations, hence we want to keep it close by.
 139     private final @NonNull StatementDefinitionContext<A, D, E> definition;
 140
 141     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
 142     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
 143     private List<StatementContextBase<?, ?, ?>> effective = ImmutableList.of();
 144     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
 145
 146     private @Nullable ModelProcessingPhase completedPhase;
 147     private @Nullable E effectiveInstance;
 148
 149     // Master flag controlling whether this context can yield an effective statement
 150     // FIXME: investigate the mechanics that are being supported by this, as it would be beneficial if we can get rid
 151     //        of this flag -- eliminating the initial alignment shadow used by below gap-filler fields.
 152     private boolean isSupportedToBuildEffective = true;
 153
 154     // Flag for use with AbstractResumedStatement. This is hiding in the alignment shadow created by above boolean
 155     private boolean fullyDefined;
 156
 157     // Flags for use with SubstatementContext. These are hiding in the alignment shadow created by above boolean and
 158     // hence improve memory layout.
 159     private byte flags;
 160
 161     // SchemaPath cache for use with SubstatementContext and InferredStatementContext. This hurts RootStatementContext
 162     // a bit in terms of size -- but those are only a few and SchemaPath is on its way out anyway.
 163     private volatile SchemaPath schemaPath;
 164
 165     // Copy constructor used by subclasses to implement reparent()
 166     StatementContextBase(final StatementContextBase<A, D, E> original) {
 167         this.copyHistory = original.copyHistory;
 168         this.definition = original.definition;
 169
 170         this.isSupportedToBuildEffective = original.isSupportedToBuildEffective;
 171         this.fullyDefined = original.fullyDefined;
 172         this.completedPhase = original.completedPhase;
 173         this.flags = original.flags;
 174     }
 175
 176     StatementContextBase(final StatementDefinitionContext<A, D, E> def) {
 177         this.definition = requireNonNull(def);
 178         this.copyHistory = CopyHistory.original();
 179     }
 180
 181     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final CopyHistory copyHistory) {
 182         this.definition = requireNonNull(def);
 183         this.copyHistory = requireNonNull(copyHistory);
 184     }
 185
 186     @Override
 187     public Collection<? extends StmtContext<?, ?, ?>> getEffectOfStatement() {
 188         return effectOfStatement;
 189     }
 190
 191     @Override
 192     public void addAsEffectOfStatement(final StmtContext<?, ?, ?> ctx) {
 193         if (effectOfStatement.isEmpty()) {
 194             effectOfStatement = new ArrayList<>(1);
 195         }
 196         effectOfStatement.add(ctx);
 197     }
 198
 199     @Override
 200     public void addAsEffectOfStatement(final Collection<? extends StmtContext<?, ?, ?>> ctxs) {
 201         if (ctxs.isEmpty()) {
 202             return;
 203         }
 204
 205         if (effectOfStatement.isEmpty()) {
 206             effectOfStatement = new ArrayList<>(ctxs.size());
 207         }
 208         effectOfStatement.addAll(ctxs);
 209     }
 210
 211     @Override
 212     public boolean isSupportedByFeatures() {
 213         final int fl = flags & SET_SUPPORTED_BY_FEATURES;
 214         if (fl != 0) {
 215             return fl == SET_SUPPORTED_BY_FEATURES;
 216         }
 217         if (isIgnoringIfFeatures()) {
 218             flags |= SET_SUPPORTED_BY_FEATURES;
 219             return true;
 220         }
 221
 222         /*
 223          * If parent is supported, we need to check if-features statements of this context.
 224          */
 225         if (isParentSupportedByFeatures()) {
 226             // If the set of supported features has not been provided, all features are supported by default.
 227             final Set<QName> supportedFeatures = getFromNamespace(SupportedFeaturesNamespace.class,
 228                     SupportedFeatures.SUPPORTED_FEATURES);
 229             if (supportedFeatures == null || StmtContextUtils.checkFeatureSupport(this, supportedFeatures)) {
 230                 flags |= SET_SUPPORTED_BY_FEATURES;
 231                 return true;
 232             }
 233         }
 234
 235         // Either parent is not supported or this statement is not supported
 236         flags |= HAVE_SUPPORTED_BY_FEATURES;
 237         return false;
 238     }
 239
 240     protected abstract boolean isParentSupportedByFeatures();
 241
 242     @Override
 243     public boolean isSupportedToBuildEffective() {
 244         return isSupportedToBuildEffective;
 245     }
 246
 247     @Override
 248     public void setIsSupportedToBuildEffective(final boolean isSupportedToBuildEffective) {
 249         this.isSupportedToBuildEffective = isSupportedToBuildEffective;
 250     }
 251
 252     @Override
 253     public CopyHistory getCopyHistory() {
 254         return copyHistory;
 255     }
 256
 257     @Override
 258     public ModelProcessingPhase getCompletedPhase() {
 259         return completedPhase;
 260     }
 261
 262     @Override
 263     public void setCompletedPhase(final ModelProcessingPhase completedPhase) {
 264         this.completedPhase = completedPhase;
 265     }
 266
 267     @Override
 268     public abstract StatementContextBase<?, ?, ?> getParentContext();
 269
 270     /**
 271      * Returns the model root for this statement.
 272      *
 273      * @return root context of statement
 274      */
 275     @Override
 276     public abstract RootStatementContext<?, ?, ?> getRoot();
 277
 278     @Override
 279     public final @NonNull Registry getBehaviourRegistry() {
 280         return getRoot().getBehaviourRegistryImpl();
 281     }
 282
 283     @Override
 284     public final YangVersion getRootVersion() {
 285         return getRoot().getRootVersionImpl();
 286     }
 287
 288     @Override
 289     public final void setRootVersion(final YangVersion version) {
 290         getRoot().setRootVersionImpl(version);
 291     }
 292
 293     @Override
 294     public final void addMutableStmtToSeal(final MutableStatement mutableStatement) {
 295         getRoot().addMutableStmtToSealImpl(mutableStatement);
 296     }
 297
 298     @Override
 299     public final void addRequiredSource(final SourceIdentifier dependency) {
 300         getRoot().addRequiredSourceImpl(dependency);
 301     }
 302
 303     @Override
 304     public final void setRootIdentifier(final SourceIdentifier identifier) {
 305         getRoot().setRootIdentifierImpl(identifier);
 306     }
 307
 308     @Override
 309     public final boolean isEnabledSemanticVersioning() {
 310         return getRoot().isEnabledSemanticVersioningImpl();
 311     }
 312
 313     @Override
 314     public StatementSource getStatementSource() {
 315         return getStatementSourceReference().getStatementSource();
 316     }
 317
 318     @Override
 319     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromCurrentStmtCtxNamespace(
 320             final Class<N> type) {
 321         return getLocalNamespace(type);
 322     }
 323
 324     @Override
 325     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromNamespace(final Class<N> type) {
 326         return getNamespace(type);
 327     }
 328
 329     /**
 330      * Associate a value with a key within a namespace.
 331      *
 332      * @param type Namespace type
 333      * @param key Key
 334      * @param value value
 335      * @param <K> namespace key type
 336      * @param <V> namespace value type
 337      * @param <N> namespace type
 338      * @param <T> key type
 339      * @param <U> value type
 340      * @throws NamespaceNotAvailableException when the namespace is not available.
 341      */
 342     @Override
 343     public final <K, V, T extends K, U extends V, N extends IdentifierNamespace<K, V>> void addToNs(
 344             final Class<N> type, final T key, final U value) {
 345         addToNamespace(type, key, value);
 346     }
 347
 348     @Override
 349     public abstract Collection<? extends StatementContextBase<?, ?, ?>> mutableDeclaredSubstatements();
 350
 351     /**
 352      * Return a value associated with specified key within a namespace.
 353      *
 354      * @param type Namespace type
 355      * @param key Key
 356      * @param <K> namespace key type
 357      * @param <V> namespace value type
 358      * @param <N> namespace type
 359      * @param <T> key type
 360      * @return Value, or null if there is no element
 361      * @throws NamespaceNotAvailableException when the namespace is not available.
 362      */
 363     @Override
 364     public final <K, V, T extends K, N extends IdentifierNamespace<K, V>> V getFromNamespace(final Class<N> type,
 365             final T key) {
 366         return getBehaviourRegistry().getNamespaceBehaviour(type).getFrom(this, key);
 367     }
 368
 369     @Override
 370     public Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
 371         if (effective instanceof ImmutableCollection) {
 372             return effective;
 373         }
 374
 375         return Collections.unmodifiableCollection(effective);
 376     }
 377
 378     /**
 379      * Remove a set of statements from effective statements.
 380      *
 381      * @param statements statements to be removed
 382      * @deprecated This method was used by EffectiveStatementBase to restore proper order of effects of uses statements.
 383      *             It is no longer used in that capacity and slated for removal.
 384      */
 385     // FIXME: 5.0.0: remove this method
 386     @Deprecated(forRemoval = true)
 387     public void removeStatementsFromEffectiveSubstatements(
 388             final Collection<? extends StmtContext<?, ?, ?>> statements) {
 389         if (!effective.isEmpty()) {
 390             effective.removeAll(statements);
 391             shrinkEffective();
 392         }
 393     }
 394
 395     private void shrinkEffective() {
 396         if (effective.isEmpty()) {
 397             effective = ImmutableList.of();
 398         }
 399     }
 400
 401     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
 402         if (effective.isEmpty()) {
 403             return;
 404         }
 405
 406         final Iterator<? extends StmtContext<?, ?, ?>> iterator = effective.iterator();
 407         while (iterator.hasNext()) {
 408             final StmtContext<?, ?, ?> next = iterator.next();
 409             if (statementDef.equals(next.getPublicDefinition())) {
 410                 iterator.remove();
 411             }
 412         }
 413
 414         shrinkEffective();
 415     }
 416
 417     /**
 418      * Removes a statement context from the effective substatements based on its statement definition (i.e statement
 419      * keyword) and raw (in String form) statement argument. The statement context is removed only if both statement
 420      * definition and statement argument match with one of the effective substatements' statement definition
 421      * and argument.
 422      *
 423      * <p>
 424      * If the statementArg parameter is null, the statement context is removed based only on its statement definition.
 425      *
 426      * @param statementDef statement definition of the statement context to remove
 427      * @param statementArg statement argument of the statement context to remove
 428      */
 429     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
 430             final String statementArg) {
 431         if (statementArg == null) {
 432             removeStatementFromEffectiveSubstatements(statementDef);
 433         }
 434
 435         if (effective.isEmpty()) {
 436             return;
 437         }
 438
 439         final Iterator<StatementContextBase<?, ?, ?>> iterator = effective.iterator();
 440         while (iterator.hasNext()) {
 441             final Mutable<?, ?, ?> next = iterator.next();
 442             if (statementDef.equals(next.getPublicDefinition()) && statementArg.equals(next.rawStatementArgument())) {
 443                 iterator.remove();
 444             }
 445         }
 446
 447         shrinkEffective();
 448     }
 449
 450     // YANG example: RPC/action statements always have 'input' and 'output' defined
 451     @Beta
 452     public <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> @NonNull Mutable<X, Y, Z>
 453             appendImplicitSubstatement(final StatementSupport<X, Y, Z> support, final String rawArg) {
 454         // FIXME: YANGTOOLS-652: This does not need to be a SubstatementContext, in can be a specialized
 455         //                       StatementContextBase subclass.
 456         final Mutable<X, Y, Z> ret = new SubstatementContext<>(this, new StatementDefinitionContext<>(support),
 457                 ImplicitSubstatement.of(getStatementSourceReference()), rawArg);
 458         support.onStatementAdded(ret);
 459         addEffectiveSubstatement(ret);
 460         return ret;
 461     }
 462
 463     /**
 464      * Adds an effective statement to collection of substatements.
 465      *
 466      * @param substatement substatement
 467      * @throws IllegalStateException
 468      *             if added in declared phase
 469      * @throws NullPointerException
 470      *             if statement parameter is null
 471      */
 472     public void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
 473         verifyStatement(substatement);
 474         beforeAddEffectiveStatement(1);
 475         effective.add((StatementContextBase<?, ?, ?>) substatement);
 476     }
 477
 478     /**
 479      * Adds an effective statement to collection of substatements.
 480      *
 481      * @param statements substatements
 482      * @throws IllegalStateException
 483      *             if added in declared phase
 484      * @throws NullPointerException
 485      *             if statement parameter is null
 486      */
 487     public void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
 488         if (!statements.isEmpty()) {
 489             statements.forEach(StatementContextBase::verifyStatement);
 490             beforeAddEffectiveStatement(statements.size());
 491             effective.addAll((Collection<? extends StatementContextBase<?, ?, ?>>) statements);
 492         }
 493     }
 494
 495     private static void verifyStatement(final Mutable<?, ?, ?> stmt) {
 496         verify(stmt instanceof StatementContextBase, "Unexpected statement %s", stmt);
 497     }
 498
 499     private void beforeAddEffectiveStatement(final int toAdd) {
 500         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
 501         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
 502                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
 503                 "Effective statement cannot be added in declared phase at: %s", getStatementSourceReference());
 504
 505         if (effective.isEmpty()) {
 506             effective = new ArrayList<>(toAdd);
 507         }
 508     }
 509
 510     // Exists only due to memory optimization
 511     final boolean fullyDefined() {
 512         return fullyDefined;
 513     }
 514
 515     // Exists only due to memory optimization, should live in AbstractResumedStatement
 516     final void setFullyDefined() {
 517         fullyDefined = true;
 518     }
 519
 520     @Override
 521     public E buildEffective() {
 522         final E existing = effectiveInstance;
 523         return existing != null ? existing : (effectiveInstance = definition.getFactory().createEffective(this));
 524     }
 525
 526     /**
 527      * Try to execute current {@link ModelProcessingPhase} of source parsing.
 528      *
 529      * @param phase to be executed (completed)
 530      * @return if phase was successfully completed
 531      * @throws SourceException when an error occurred in source parsing
 532      */
 533     final boolean tryToCompletePhase(final ModelProcessingPhase phase) {
 534         final boolean finished = phaseMutation.isEmpty() ? true : runMutations(phase);
 535         if (completeChildren(phase) && finished) {
 536             onPhaseCompleted(phase);
 537             return true;
 538         }
 539         return false;
 540     }
 541
 542     private boolean completeChildren(final ModelProcessingPhase phase) {
 543         boolean finished = true;
 544         for (final StatementContextBase<?, ?, ?> child : mutableDeclaredSubstatements()) {
 545             finished &= child.tryToCompletePhase(phase);
 546         }
 547         for (final StatementContextBase<?, ?, ?> child : effective) {
 548             finished &= child.tryToCompletePhase(phase);
 549         }
 550         return finished;
 551     }
 552
 553     private boolean runMutations(final ModelProcessingPhase phase) {
 554         final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
 555         return openMutations.isEmpty() ? true : runMutations(phase, openMutations);
 556     }
 557
 558     private boolean runMutations(final ModelProcessingPhase phase, final Collection<ContextMutation> openMutations) {
 559         boolean finished = true;
 560         final Iterator<ContextMutation> it = openMutations.iterator();
 561         while (it.hasNext()) {
 562             final ContextMutation current = it.next();
 563             if (current.isFinished()) {
 564                 it.remove();
 565             } else {
 566                 finished = false;
 567             }
 568         }
 569
 570         if (openMutations.isEmpty()) {
 571             phaseMutation.removeAll(phase);
 572             if (phaseMutation.isEmpty()) {
 573                 phaseMutation = ImmutableMultimap.of();
 574             }
 575         }
 576         return finished;
 577     }
 578
 579     /**
 580      * Occurs on end of {@link ModelProcessingPhase} of source parsing.
 581      *
 582      * @param phase
 583      *            that was to be completed (finished)
 584      * @throws SourceException
 585      *             when an error occurred in source parsing
 586      */
 587     private void onPhaseCompleted(final ModelProcessingPhase phase) {
 588         completedPhase = phase;
 589
 590         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
 591         if (listeners.isEmpty()) {
 592             return;
 593         }
 594
 595         final Iterator<OnPhaseFinished> listener = listeners.iterator();
 596         while (listener.hasNext()) {
 597             final OnPhaseFinished next = listener.next();
 598             if (next.phaseFinished(this, phase)) {
 599                 listener.remove();
 600             }
 601         }
 602
 603         if (listeners.isEmpty()) {
 604             phaseListeners.removeAll(phase);
 605             if (phaseListeners.isEmpty()) {
 606                 phaseListeners = ImmutableMultimap.of();
 607             }
 608         }
 609     }
 610
 611     /**
 612      * Ends declared section of current node.
 613      */
 614     void endDeclared(final ModelProcessingPhase phase) {
 615         definition.onDeclarationFinished(this, phase);
 616     }
 617
 618     /**
 619      * Return the context in which this statement was defined.
 620      *
 621      * @return statement definition
 622      */
 623     protected final @NonNull StatementDefinitionContext<A, D, E> definition() {
 624         return definition;
 625     }
 626
 627     @Override
 628     protected void checkLocalNamespaceAllowed(final Class<? extends IdentifierNamespace<?, ?>> type) {
 629         definition.checkNamespaceAllowed(type);
 630     }
 631
 632     @Override
 633     protected <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceElementAdded(final Class<N> type, final K key,
 634             final V value) {
 635         // definition().onNamespaceElementAdded(this, type, key, value);
 636     }
 637
 638     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type, final K key,
 639             final OnNamespaceItemAdded listener) {
 640         final Object potential = getFromNamespace(type, key);
 641         if (potential != null) {
 642             LOG.trace("Listener on {} key {} satisfied immediately", type, key);
 643             listener.namespaceItemAdded(this, type, key, potential);
 644             return;
 645         }
 646
 647         getBehaviour(type).addListener(new KeyedValueAddedListener<>(this, key) {
 648             @Override
 649             void onValueAdded(final Object value) {
 650                 listener.namespaceItemAdded(StatementContextBase.this, type, key, value);
 651             }
 652         });
 653     }
 654
 655     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type,
 656             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
 657             final OnNamespaceItemAdded listener) {
 658         final Optional<Entry<K, V>> existing = getFromNamespace(type, criterion);
 659         if (existing.isPresent()) {
 660             final Entry<K, V> entry = existing.get();
 661             LOG.debug("Listener on {} criterion {} found a pre-existing match: {}", type, criterion, entry);
 662             waitForPhase(entry.getValue(), type, phase, criterion, listener);
 663             return;
 664         }
 665
 666         final NamespaceBehaviourWithListeners<K, V, N> behaviour = getBehaviour(type);
 667         behaviour.addListener(new PredicateValueAddedListener<K, V>(this) {
 668             @Override
 669             boolean onValueAdded(final K key, final V value) {
 670                 if (criterion.match(key)) {
 671                     LOG.debug("Listener on {} criterion {} matched added key {}", type, criterion, key);
 672                     waitForPhase(value, type, phase, criterion, listener);
 673                     return true;
 674                 }
 675
 676                 return false;
 677             }
 678         });
 679     }
 680
 681     final <K, V, N extends IdentifierNamespace<K, V>> void selectMatch(final Class<N> type,
 682             final NamespaceKeyCriterion<K> criterion, final OnNamespaceItemAdded listener) {
 683         final Optional<Entry<K, V>> optMatch = getFromNamespace(type, criterion);
 684         checkState(optMatch.isPresent(), "Failed to find a match for criterion %s in namespace %s node %s", criterion,
 685             type, this);
 686         final Entry<K, V> match = optMatch.get();
 687         listener.namespaceItemAdded(StatementContextBase.this, type, match.getKey(), match.getValue());
 688     }
 689
 690     final <K, V, N extends IdentifierNamespace<K, V>> void waitForPhase(final Object value, final Class<N> type,
 691             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
 692             final OnNamespaceItemAdded listener) {
 693         ((StatementContextBase<?, ? ,?>) value).addPhaseCompletedListener(phase,
 694             (context, phaseCompleted) -> {
 695                 selectMatch(type, criterion, listener);
 696                 return true;
 697             });
 698     }
 699
 700     private <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getBehaviour(
 701             final Class<N> type) {
 702         final NamespaceBehaviour<K, V, N> behaviour = getBehaviourRegistry().getNamespaceBehaviour(type);
 703         checkArgument(behaviour instanceof NamespaceBehaviourWithListeners, "Namespace %s does not support listeners",
 704             type);
 705
 706         return (NamespaceBehaviourWithListeners<K, V, N>) behaviour;
 707     }
 708
 709     @Override
 710     public StatementDefinition getPublicDefinition() {
 711         return definition.getPublicView();
 712     }
 713
 714     @Override
 715     public ModelActionBuilder newInferenceAction(final ModelProcessingPhase phase) {
 716         return getRoot().getSourceContext().newInferenceAction(phase);
 717     }
 718
 719     private static <T> Multimap<ModelProcessingPhase, T> newMultimap() {
 720         return Multimaps.newListMultimap(new EnumMap<>(ModelProcessingPhase.class), () -> new ArrayList<>(1));
 721     }
 722
 723     /**
 724      * Adds {@link OnPhaseFinished} listener for a {@link ModelProcessingPhase} end. If the base has already completed
 725      * the listener is notified immediately.
 726      *
 727      * @param phase requested completion phase
 728      * @param listener listener to invoke
 729      * @throws NullPointerException if any of the arguments is null
 730      */
 731     void addPhaseCompletedListener(final ModelProcessingPhase phase, final OnPhaseFinished listener) {
 732         checkNotNull(phase, "Statement context processing phase cannot be null at: %s", getStatementSourceReference());
 733         checkNotNull(listener, "Statement context phase listener cannot be null at: %s", getStatementSourceReference());
 734
 735         ModelProcessingPhase finishedPhase = completedPhase;
 736         while (finishedPhase != null) {
 737             if (phase.equals(finishedPhase)) {
 738                 listener.phaseFinished(this, finishedPhase);
 739                 return;
 740             }
 741             finishedPhase = finishedPhase.getPreviousPhase();
 742         }
 743         if (phaseListeners.isEmpty()) {
 744             phaseListeners = newMultimap();
 745         }
 746
 747         phaseListeners.put(phase, listener);
 748     }
 749
 750     /**
 751      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
 752      *
 753      * @throws IllegalStateException
 754      *             when the mutation was registered after phase was completed
 755      */
 756     void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
 757         ModelProcessingPhase finishedPhase = completedPhase;
 758         while (finishedPhase != null) {
 759             checkState(!phase.equals(finishedPhase), "Mutation registered after phase was completed at: %s",
 760                 getStatementSourceReference());
 761             finishedPhase = finishedPhase.getPreviousPhase();
 762         }
 763
 764         if (phaseMutation.isEmpty()) {
 765             phaseMutation = newMultimap();
 766         }
 767         phaseMutation.put(phase, mutation);
 768     }
 769
 770     @Override
 771     public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<N> namespace,
 772             final KT key,final StmtContext<?, ?, ?> stmt) {
 773         addContextToNamespace(namespace, key, stmt);
 774     }
 775
 776     @Override
 777     public Optional<? extends Mutable<?, ?, ?>> copyAsChildOf(final Mutable<?, ?, ?> parent, final CopyType type,
 778             final QNameModule targetModule) {
 779         checkEffectiveModelCompleted(this);
 780
 781         final StatementSupport<A, D, E> support = definition.support();
 782         final CopyPolicy policy = support.applyCopyPolicy(this, parent, type, targetModule);
 783         switch (policy) {
 784             case CONTEXT_INDEPENDENT:
 785                 if (hasEmptySubstatements()) {
 786                     // This statement is context-independent and has no substatements -- hence it can be freely shared.
 787                     return Optional.of(this);
 788                 }
 789                 // FIXME: YANGTOOLS-694: filter out all context-independent substatements, eliminate fall-through
 790                 // fall through
 791             case DECLARED_COPY:
 792                 // FIXME: YANGTOOLS-694: this is still to eager, we really want to copy as a lazily-instantiated
 793                 //                       context, so that we can support building an effective statement without copying
 794                 //                       anything -- we will typically end up not being inferred against. In that case,
 795                 //                       this slim context should end up dealing with differences at buildContext()
 796                 //                       time. This is a YANGTOOLS-1067 prerequisite (which will deal with what can and
 797                 //                       cannot be shared across instances).
 798                 return Optional.of(parent.childCopyOf(this, type, targetModule));
 799             case IGNORE:
 800                 return Optional.empty();
 801             case REJECT:
 802                 throw new IllegalStateException("Statement " + support.getPublicView() + " should never be copied");
 803             default:
 804                 throw new IllegalStateException("Unhandled policy " + policy);
 805         }
 806     }
 807
 808     @Override
 809     public <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
 810             final StmtContext<X, Y, Z> stmt, final CopyType type, final QNameModule targetModule) {
 811         checkEffectiveModelCompleted(stmt);
 812         checkArgument(stmt instanceof StatementContextBase, "Unsupported statement %s", stmt);
 813         return childCopyOf((StatementContextBase<X, Y, Z>)stmt, type, targetModule);
 814     }
 815
 816     private <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
 817             final StatementContextBase<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
 818         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(
 819             original.getPublicDefinition());
 820
 821         final StatementContextBase<X, Y, Z> result;
 822         final InferredStatementContext<X, Y, Z> copy;
 823
 824         if (implicitParent.isPresent()) {
 825             final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent.get());
 826             result = new SubstatementContext(this, def, original.getStatementSourceReference(),
 827                 original.rawStatementArgument(), original.getStatementArgument(), type);
 828
 829             final CopyType childCopyType;
 830             switch (type) {
 831                 case ADDED_BY_AUGMENTATION:
 832                     childCopyType = CopyType.ORIGINAL;
 833                     break;
 834                 case ADDED_BY_USES_AUGMENTATION:
 835                     childCopyType = CopyType.ADDED_BY_USES;
 836                     break;
 837                 case ADDED_BY_USES:
 838                 case ORIGINAL:
 839                 default:
 840                     childCopyType = type;
 841             }
 842
 843             copy = new InferredStatementContext<>(result, original, childCopyType, type, targetModule);
 844             result.addEffectiveSubstatement(copy);
 845         } else {
 846             result = copy = new InferredStatementContext<>(this, original, type, type, targetModule);
 847         }
 848
 849         original.definition.onStatementAdded(copy);
 850         return result;
 851     }
 852
 853     private static void checkEffectiveModelCompleted(final StmtContext<?, ?, ?> stmt) {
 854         final ModelProcessingPhase phase = stmt.getCompletedPhase();
 855         checkState(phase == ModelProcessingPhase.EFFECTIVE_MODEL,
 856                 "Attempted to copy statement %s which has completed phase %s", stmt, phase);
 857     }
 858
 859     @Beta
 860     public final boolean hasImplicitParentSupport() {
 861         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
 862     }
 863
 864     @Beta
 865     public final StatementContextBase<?, ?, ?> wrapWithImplicit(final StatementContextBase<?, ?, ?> original) {
 866         final Optional<StatementSupport<?, ?, ?>> optImplicit = definition.getImplicitParentFor(
 867             original.getPublicDefinition());
 868         if (optImplicit.isEmpty()) {
 869             return original;
 870         }
 871
 872         final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(optImplicit.get());
 873         final CopyType type = original.getCopyHistory().getLastOperation();
 874         final SubstatementContext<?, ?, ?> result = new SubstatementContext(original.getParentContext(), def,
 875             original.getStatementSourceReference(), original.rawStatementArgument(), original.getStatementArgument(),
 876             type);
 877
 878         result.addEffectiveSubstatement(original.reparent(result));
 879         result.setCompletedPhase(original.getCompletedPhase());
 880         return result;
 881     }
 882
 883     abstract StatementContextBase<A, D, E> reparent(StatementContextBase<?, ?, ?> newParent);
 884
 885     /**
 886      * Indicate that the set of substatements is empty. This is a preferred shortcut to substatement stream filtering.
 887      *
 888      * @return True if {@link #allSubstatements()} and {@link #allSubstatementsStream()} would return an empty stream.
 889      */
 890     abstract boolean hasEmptySubstatements();
 891
 892     final boolean hasEmptyEffectiveSubstatements() {
 893         return effective.isEmpty();
 894     }
 895
 896     /**
 897      * Config statements are not all that common which means we are performing a recursive search towards the root
 898      * every time {@link #isConfiguration()} is invoked. This is quite expensive because it causes a linear search
 899      * for the (usually non-existent) config statement.
 900      *
 901      * <p>
 902      * This method maintains a resolution cache, so once we have returned a result, we will keep on returning the same
 903      * result without performing any lookups, solely to support {@link SubstatementContext#isConfiguration()}.
 904      *
 905      * <p>
 906      * Note: use of this method implies that {@link #isIgnoringConfig()} is realized with
 907      *       {@link #isIgnoringConfig(StatementContextBase)}.
 908      */
 909     final boolean isConfiguration(final StatementContextBase<?, ?, ?> parent) {
 910         final int fl = flags & SET_CONFIGURATION;
 911         if (fl != 0) {
 912             return fl == SET_CONFIGURATION;
 913         }
 914         if (isIgnoringConfig(parent)) {
 915             // Note: SET_CONFIGURATION has been stored in flags
 916             return true;
 917         }
 918
 919         final StmtContext<Boolean, ?, ?> configStatement = StmtContextUtils.findFirstSubstatement(this,
 920             ConfigStatement.class);
 921         final boolean isConfig;
 922         if (configStatement != null) {
 923             isConfig = configStatement.coerceStatementArgument();
 924             if (isConfig) {
 925                 // Validity check: if parent is config=false this cannot be a config=true
 926                 InferenceException.throwIf(!parent.isConfiguration(), getStatementSourceReference(),
 927                         "Parent node has config=false, this node must not be specifed as config=true");
 928             }
 929         } else {
 930             // If "config" statement is not specified, the default is the same as the parent's "config" value.
 931             isConfig = parent.isConfiguration();
 932         }
 933
 934         // Resolved, make sure we cache this return
 935         flags |= isConfig ? SET_CONFIGURATION : HAVE_CONFIGURATION;
 936         return isConfig;
 937     }
 938
 939     protected abstract boolean isIgnoringConfig();
 940
 941     /**
 942      * This method maintains a resolution cache for ignore config, so once we have returned a result, we will
 943      * keep on returning the same result without performing any lookups. Exists only to support
 944      * {@link SubstatementContext#isIgnoringConfig()}.
 945      *
 946      * <p>
 947      * Note: use of this method implies that {@link #isConfiguration()} is realized with
 948      *       {@link #isConfiguration(StatementContextBase)}.
 949      */
 950     final boolean isIgnoringConfig(final StatementContextBase<?, ?, ?> parent) {
 951         final int fl = flags & SET_IGNORE_CONFIG;
 952         if (fl != 0) {
 953             return fl == SET_IGNORE_CONFIG;
 954         }
 955         if (definition.support().isIgnoringConfig() || parent.isIgnoringConfig()) {
 956             flags |= SET_IGNORE_CONFIG;
 957             return true;
 958         }
 959
 960         flags |= HAVE_IGNORE_CONFIG;
 961         return false;
 962     }
 963
 964     protected abstract boolean isIgnoringIfFeatures();
 965
 966     /**
 967      * This method maintains a resolution cache for ignore if-feature, so once we have returned a result, we will
 968      * keep on returning the same result without performing any lookups. Exists only to support
 969      * {@link SubstatementContext#isIgnoringIfFeatures()}.
 970      */
 971     final boolean isIgnoringIfFeatures(final StatementContextBase<?, ?, ?> parent) {
 972         final int fl = flags & SET_IGNORE_IF_FEATURE;
 973         if (fl != 0) {
 974             return fl == SET_IGNORE_IF_FEATURE;
 975         }
 976         if (definition.support().isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
 977             flags |= SET_IGNORE_IF_FEATURE;
 978             return true;
 979         }
 980
 981         flags |= HAVE_IGNORE_IF_FEATURE;
 982         return false;
 983     }
 984
 985     // Exists only to support SubstatementContext/InferredStatementContext
 986     final @NonNull Optional<SchemaPath> substatementGetSchemaPath() {
 987         SchemaPath local = schemaPath;
 988         if (local == null) {
 989             synchronized (this) {
 990                 local = schemaPath;
 991                 if (local == null) {
 992                     local = createSchemaPath(coerceParentContext());
 993                     schemaPath = local;
 994                 }
 995             }
 996         }
 997
 998         return Optional.ofNullable(local);
 999     }
1000
1001     private SchemaPath createSchemaPath(final Mutable<?, ?, ?> parent) {
1002         final Optional<SchemaPath> maybeParentPath = parent.getSchemaPath();
1003         verify(maybeParentPath.isPresent(), "Parent %s does not have a SchemaPath", parent);
1004         final SchemaPath parentPath = maybeParentPath.get();
1005
1006         if (StmtContextUtils.isUnknownStatement(this)) {
1007             return parentPath.createChild(getPublicDefinition().getStatementName());
1008         }
1009         final Object argument = getStatementArgument();
1010         if (argument instanceof QName) {
1011             final QName qname = (QName) argument;
1012             if (StmtContextUtils.producesDeclared(this, UsesStatement.class)) {
1013                 return maybeParentPath.orElse(null);
1014             }
1015
1016             return parentPath.createChild(qname);
1017         }
1018         if (argument instanceof String) {
1019             // FIXME: This may yield illegal argument exceptions
1020             final Optional<StmtContext<?, ?, ?>> originalCtx = getOriginalCtx();
1021             final QName qname = StmtContextUtils.qnameFromArgument(originalCtx.orElse(this), (String) argument);
1022             return parentPath.createChild(qname);
1023         }
1024         if (argument instanceof SchemaNodeIdentifier
1025                 && (StmtContextUtils.producesDeclared(this, AugmentStatement.class)
1026                         || StmtContextUtils.producesDeclared(this, RefineStatement.class)
1027                         || StmtContextUtils.producesDeclared(this, DeviationStatement.class))) {
1028
1029             return parentPath.createChild(((SchemaNodeIdentifier) argument).getPathFromRoot());
1030         }
1031
1032         // FIXME: this does not look right
1033         return maybeParentPath.orElse(null);
1034     }
1035
1036     @Override
1037     public final String toString() {
1038         return addToStringAttributes(MoreObjects.toStringHelper(this).omitNullValues()).toString();
1039     }
1040
1041     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
1042         return toStringHelper.add("definition", definition).add("rawArgument", rawStatementArgument());
1043     }
1044 }