Do not synchronize around ReactorStmtCtx.schemaPath
[yangtools.git] / yang / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / StatementContextBase.java
index 4376f5755840e49c369c9e5345346ebdb074c235..a9aa4099c3c1ac48d09962bb526a19b5a00153b2 100644 (file)
@@ -10,6 +10,7 @@ package org.opendaylight.yangtools.yang.parser.stmt.reactor;
 import static com.google.common.base.Preconditions.checkArgument;
 import static com.google.common.base.Preconditions.checkNotNull;
 import static com.google.common.base.Preconditions.checkState;
+import static com.google.common.base.Verify.verify;
 import static java.util.Objects.requireNonNull;
 
 import com.google.common.annotations.Beta;
@@ -18,7 +19,6 @@ import com.google.common.base.MoreObjects.ToStringHelper;
 import com.google.common.collect.ImmutableCollection;
 import com.google.common.collect.ImmutableList;
 import com.google.common.collect.ImmutableMultimap;
-import com.google.common.collect.ImmutableSet;
 import com.google.common.collect.Multimap;
 import com.google.common.collect.Multimaps;
 import java.util.ArrayList;
@@ -28,37 +28,47 @@ import java.util.EnumMap;
 import java.util.EventListener;
 import java.util.Iterator;
 import java.util.List;
+import java.util.Map;
 import java.util.Map.Entry;
-import java.util.Objects;
 import java.util.Optional;
 import java.util.Set;
 import org.eclipse.jdt.annotation.NonNull;
 import org.eclipse.jdt.annotation.Nullable;
 import org.opendaylight.yangtools.yang.common.QName;
 import org.opendaylight.yangtools.yang.common.QNameModule;
-import org.opendaylight.yangtools.yang.model.api.YangStmtMapping;
+import org.opendaylight.yangtools.yang.common.YangVersion;
+import org.opendaylight.yangtools.yang.model.api.SchemaPath;
 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
 import org.opendaylight.yangtools.yang.model.api.meta.StatementSource;
-import org.opendaylight.yangtools.yang.model.api.stmt.ConfigStatement;
+import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
+import org.opendaylight.yangtools.yang.model.api.stmt.ConfigEffectiveStatement;
+import org.opendaylight.yangtools.yang.model.api.stmt.DeviationStatement;
+import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
+import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
+import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
+import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
+import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
+import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
+import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceNotAvailableException;
 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
+import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport.CopyPolicy;
 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
 import org.opendaylight.yangtools.yang.parser.spi.source.ImplicitSubstatement;
 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
-import org.opendaylight.yangtools.yang.parser.spi.source.StatementSourceReference;
 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
@@ -123,20 +133,20 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     private static final int SET_IGNORE_CONFIG = HAVE_IGNORE_CONFIG | IS_IGNORE_CONFIG | SET_CONFIGURATION;
     private static final int SET_IGNORE_IF_FEATURE = HAVE_IGNORE_IF_FEATURE | IS_IGNORE_IF_FEATURE;
 
-    private final @NonNull StatementDefinitionContext<A, D, E> definition;
-    private final @NonNull StatementSourceReference statementDeclSource;
-    private final StmtContext<?, ?, ?> originalCtx;
-    private final StmtContext<?, ?, ?> prevCopyCtx;
     private final CopyHistory copyHistory;
-    private final String rawArgument;
+    // Note: this field can strictly be derived in InferredStatementContext, but it forms the basis of many of our
+    //       operations, hence we want to keep it close by.
+    private final @NonNull StatementDefinitionContext<A, D, E> definition;
 
     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
-    private List<Mutable<?, ?, ?>> effective = ImmutableList.of();
+
+    // Note: this field is accessed either directly, or under substatementsInitialized == true
+    private List<StatementContextBase<?, ?, ?>> effective = ImmutableList.of();
+
     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
 
     private @Nullable ModelProcessingPhase completedPhase;
-    private @Nullable D declaredInstance;
     private @Nullable E effectiveInstance;
 
     // Master flag controlling whether this context can yield an effective statement
@@ -147,47 +157,36 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     // Flag for use with AbstractResumedStatement. This is hiding in the alignment shadow created by above boolean
     private boolean fullyDefined;
 
+    // Flag for InferredStatementContext. This is hiding in the alignment shadow created by above boolean.
+    private boolean substatementsInitialized;
+
     // Flags for use with SubstatementContext. These are hiding in the alignment shadow created by above boolean and
     // hence improve memory layout.
     private byte flags;
 
-    StatementContextBase(final StatementDefinitionContext<A, D, E> def, final StatementSourceReference ref,
-            final String rawArgument) {
-        this.definition = requireNonNull(def);
-        this.statementDeclSource = requireNonNull(ref);
-        this.rawArgument = def.internArgument(rawArgument);
-        this.copyHistory = CopyHistory.original();
-        this.originalCtx = null;
-        this.prevCopyCtx = null;
-    }
+    // SchemaPath cache for use with SubstatementContext and InferredStatementContext. This hurts RootStatementContext
+    // a bit in terms of size -- but those are only a few and SchemaPath is on its way out anyway.
+    private SchemaPath schemaPath;
 
-    StatementContextBase(final StatementDefinitionContext<A, D, E> def, final StatementSourceReference ref,
-        final String rawArgument, final CopyType copyType) {
-        this.definition = requireNonNull(def);
-        this.statementDeclSource = requireNonNull(ref);
-        this.rawArgument = rawArgument;
-        this.copyHistory = CopyHistory.of(copyType, CopyHistory.original());
-        this.originalCtx = null;
-        this.prevCopyCtx = null;
+    // Copy constructor used by subclasses to implement reparent()
+    StatementContextBase(final StatementContextBase<A, D, E> original) {
+        this.copyHistory = original.copyHistory;
+        this.definition = original.definition;
+
+        this.isSupportedToBuildEffective = original.isSupportedToBuildEffective;
+        this.fullyDefined = original.fullyDefined;
+        this.completedPhase = original.completedPhase;
+        this.flags = original.flags;
     }
 
-    StatementContextBase(final StatementContextBase<A, D, E> original, final CopyType copyType) {
-        this.definition = original.definition;
-        this.statementDeclSource = original.statementDeclSource;
-        this.rawArgument = original.rawArgument;
-        this.copyHistory = CopyHistory.of(copyType, original.getCopyHistory());
-        this.originalCtx = original.getOriginalCtx().orElse(original);
-        this.prevCopyCtx = original;
+    StatementContextBase(final StatementDefinitionContext<A, D, E> def) {
+        this.definition = requireNonNull(def);
+        this.copyHistory = CopyHistory.original();
     }
 
-    StatementContextBase(final StatementContextBase<A, D, E> original) {
-        this.definition = original.definition;
-        this.statementDeclSource = original.statementDeclSource;
-        this.rawArgument = original.rawArgument;
-        this.copyHistory = original.getCopyHistory();
-        this.originalCtx = original.getOriginalCtx().orElse(original);
-        this.prevCopyCtx = original;
-        this.effective = original.effective;
+    StatementContextBase(final StatementDefinitionContext<A, D, E> def, final CopyHistory copyHistory) {
+        this.definition = requireNonNull(def);
+        this.copyHistory = requireNonNull(copyHistory);
     }
 
     @Override
@@ -261,23 +260,14 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         return copyHistory;
     }
 
-    @Override
-    public Optional<StmtContext<?, ?, ?>> getOriginalCtx() {
-        return Optional.ofNullable(originalCtx);
-    }
-
-    @Override
-    public Optional<? extends StmtContext<?, ?, ?>> getPreviousCopyCtx() {
-        return Optional.ofNullable(prevCopyCtx);
-    }
-
     @Override
     public ModelProcessingPhase getCompletedPhase() {
         return completedPhase;
     }
 
-    @Override
-    public void setCompletedPhase(final ModelProcessingPhase completedPhase) {
+    // FIXME: this should be propagated through a correct constructor
+    @Deprecated
+    final void setCompletedPhase(final ModelProcessingPhase completedPhase) {
         this.completedPhase = completedPhase;
     }
 
@@ -292,31 +282,100 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     @Override
     public abstract RootStatementContext<?, ?, ?> getRoot();
 
+    @Override
+    public final @NonNull Registry getBehaviourRegistry() {
+        return getRoot().getBehaviourRegistryImpl();
+    }
+
+    @Override
+    public final YangVersion getRootVersion() {
+        return getRoot().getRootVersionImpl();
+    }
+
+    @Override
+    public final void setRootVersion(final YangVersion version) {
+        getRoot().setRootVersionImpl(version);
+    }
+
+    @Override
+    public final void addMutableStmtToSeal(final MutableStatement mutableStatement) {
+        getRoot().addMutableStmtToSealImpl(mutableStatement);
+    }
+
+    @Override
+    public final void addRequiredSource(final SourceIdentifier dependency) {
+        getRoot().addRequiredSourceImpl(dependency);
+    }
+
+    @Override
+    public final void setRootIdentifier(final SourceIdentifier identifier) {
+        getRoot().setRootIdentifierImpl(identifier);
+    }
+
+    @Override
+    public final boolean isEnabledSemanticVersioning() {
+        return getRoot().isEnabledSemanticVersioningImpl();
+    }
+
     @Override
     public StatementSource getStatementSource() {
-        return statementDeclSource.getStatementSource();
+        return getStatementSourceReference().getStatementSource();
     }
 
     @Override
-    public StatementSourceReference getStatementSourceReference() {
-        return statementDeclSource;
+    public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromCurrentStmtCtxNamespace(
+            final Class<N> type) {
+        return getLocalNamespace(type);
     }
 
     @Override
-    public final String rawStatementArgument() {
-        return rawArgument;
+    public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromNamespace(final Class<N> type) {
+        return getNamespace(type);
+    }
+
+    /**
+     * Associate a value with a key within a namespace.
+     *
+     * @param type Namespace type
+     * @param key Key
+     * @param value value
+     * @param <K> namespace key type
+     * @param <V> namespace value type
+     * @param <N> namespace type
+     * @param <T> key type
+     * @param <U> value type
+     * @throws NamespaceNotAvailableException when the namespace is not available.
+     */
+    @Override
+    public final <K, V, T extends K, U extends V, N extends IdentifierNamespace<K, V>> void addToNs(
+            final Class<@NonNull N> type, final T key, final U value) {
+        addToNamespace(type, key, value);
     }
 
     @Override
     public abstract Collection<? extends StatementContextBase<?, ?, ?>> mutableDeclaredSubstatements();
 
+    /**
+     * Return a value associated with specified key within a namespace.
+     *
+     * @param type Namespace type
+     * @param key Key
+     * @param <K> namespace key type
+     * @param <V> namespace value type
+     * @param <N> namespace type
+     * @param <T> key type
+     * @return Value, or null if there is no element
+     * @throws NamespaceNotAvailableException when the namespace is not available.
+     */
     @Override
-    public Collection<? extends StmtContext<?, ?, ?>> effectiveSubstatements() {
-        return mutableEffectiveSubstatements();
+    public final <K, V, T extends K, N extends IdentifierNamespace<K, V>> V getFromNamespace(
+            final Class<@NonNull N> type, final T key) {
+        return getBehaviourRegistry().getNamespaceBehaviour(type).getFrom(this, key);
     }
 
     @Override
-    public Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
+    public final Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
+        ensureEffectiveSubstatements();
         if (effective instanceof ImmutableCollection) {
             return effective;
         }
@@ -325,12 +384,15 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     }
 
     private void shrinkEffective() {
+        // Initialization guarded by all callers
         if (effective.isEmpty()) {
             effective = ImmutableList.of();
         }
     }
 
-    public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
+    // Note: has side-effect of ensureEffectiveSubstatements()
+    public final void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
+        ensureEffectiveSubstatements();
         if (effective.isEmpty()) {
             return;
         }
@@ -358,17 +420,20 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
      * @param statementDef statement definition of the statement context to remove
      * @param statementArg statement argument of the statement context to remove
      */
-    public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
+    public final void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
             final String statementArg) {
         if (statementArg == null) {
+            // Note: has side-effect of ensureEffectiveSubstatements()
             removeStatementFromEffectiveSubstatements(statementDef);
+        } else {
+            ensureEffectiveSubstatements();
         }
 
         if (effective.isEmpty()) {
             return;
         }
 
-        final Iterator<Mutable<?, ?, ?>> iterator = effective.iterator();
+        final Iterator<StatementContextBase<?, ?, ?>> iterator = effective.iterator();
         while (iterator.hasNext()) {
             final Mutable<?, ?, ?> next = iterator.next();
             if (statementDef.equals(next.getPublicDefinition()) && statementArg.equals(next.rawStatementArgument())) {
@@ -401,9 +466,17 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
      * @throws NullPointerException
      *             if statement parameter is null
      */
-    public void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
+    public final void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
+        verifyStatement(substatement);
+        ensureEffectiveSubstatements();
         beforeAddEffectiveStatement(1);
-        effective.add(substatement);
+
+        final StatementContextBase<?, ?, ?> stmt = (StatementContextBase<?, ?, ?>) substatement;
+        final ModelProcessingPhase phase = completedPhase;
+        if (phase != null) {
+            ensureCompletedPhase(stmt, phase);
+        }
+        effective.add(stmt);
     }
 
     /**
@@ -415,101 +488,170 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
      * @throws NullPointerException
      *             if statement parameter is null
      */
-    public void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
-        if (statements.isEmpty()) {
-            return;
+    public final void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
+        if (!statements.isEmpty()) {
+            statements.forEach(StatementContextBase::verifyStatement);
+            ensureEffectiveSubstatements();
+            beforeAddEffectiveStatement(statements.size());
+            doAddEffectiveSubstatements(statements);
+        }
+    }
+
+    // exposed for InferredStatementContext, which we expect to initialize effective substatements
+    void ensureEffectiveSubstatements() {
+        // No-op for everything except InferredStatementContext
+    }
+
+    // Exposed for InferredStatementContextr only, others do not need initialization
+    Iterable<StatementContextBase<?, ?, ?>> effectiveChildrenToComplete() {
+        return effective;
+    }
+
+    // exposed for InferredStatementContext only
+    final void addInitialEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
+        verify(!substatementsInitialized, "Attempted to re-initialized statement {} with {}", this, statements);
+        substatementsInitialized = true;
+
+        if (!statements.isEmpty()) {
+            statements.forEach(StatementContextBase::verifyStatement);
+            beforeAddEffectiveStatementUnsafe(statements.size());
+            doAddEffectiveSubstatements(statements);
         }
+    }
+
+    private void doAddEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
+        final Collection<? extends StatementContextBase<?, ?, ?>> casted =
+            (Collection<? extends StatementContextBase<?, ?, ?>>) statements;
+        final ModelProcessingPhase phase = completedPhase;
+        if (phase != null) {
+            for (StatementContextBase<?, ?, ?> stmt : casted) {
+                ensureCompletedPhase(stmt, phase);
+            }
+        }
+
+        // Initialization guarded by all callers
+        effective.addAll(casted);
+    }
 
-        statements.forEach(Objects::requireNonNull);
-        beforeAddEffectiveStatement(statements.size());
-        effective.addAll(statements);
+    // Make sure target statement has transitioned at least to specified phase. This method is just before we take
+    // allow a statement to become our substatement. This is needed to ensure that every statement tree does not contain
+    // any statements which did not complete the same phase as the root statement.
+    private static void ensureCompletedPhase(final StatementContextBase<?, ?, ?> stmt,
+            final ModelProcessingPhase phase) {
+        verify(stmt.tryToCompletePhase(phase), "Statement %s cannot complete phase %s", stmt, phase);
+    }
+
+    private static void verifyStatement(final Mutable<?, ?, ?> stmt) {
+        verify(stmt instanceof StatementContextBase, "Unexpected statement %s", stmt);
     }
 
     private void beforeAddEffectiveStatement(final int toAdd) {
+        // We cannot allow statement to be further mutated
+        verify(completedPhase != ModelProcessingPhase.EFFECTIVE_MODEL, "Cannot modify finished statement at %s",
+            getStatementSourceReference());
+        beforeAddEffectiveStatementUnsafe(toAdd);
+    }
+
+    private void beforeAddEffectiveStatementUnsafe(final int toAdd) {
         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
                 "Effective statement cannot be added in declared phase at: %s", getStatementSourceReference());
 
+        // Initialization guarded by all callers
         if (effective.isEmpty()) {
             effective = new ArrayList<>(toAdd);
         }
     }
 
-    // Exists only due to memory optimization
+    // These two exists only due to memory optimization, should live in AbstractResumedStatement
     final boolean fullyDefined() {
         return fullyDefined;
     }
 
-    // Exists only due to memory optimization, should live in AbstractResumedStatement
     final void setFullyDefined() {
         fullyDefined = true;
     }
 
-    @Override
-    public D buildDeclared() {
-        checkArgument(completedPhase == ModelProcessingPhase.FULL_DECLARATION
-                || completedPhase == ModelProcessingPhase.EFFECTIVE_MODEL);
-        if (declaredInstance == null) {
-            declaredInstance = definition().getFactory().createDeclared(this);
-        }
-        return declaredInstance;
+    // These two exist only due to memory optimization, should live in InferredStatementContext
+    final boolean substatementsInitialized() {
+        return substatementsInitialized;
+    }
+
+    final void setSubstatementsInitialized() {
+        substatementsInitialized = true;
     }
 
     @Override
     public E buildEffective() {
-        if (effectiveInstance == null) {
-            effectiveInstance = definition().getFactory().createEffective(this);
-        }
-        return effectiveInstance;
+        final E existing;
+        return (existing = effectiveInstance) != null ? existing : loadEffective();
+    }
+
+    private E loadEffective() {
+        return effectiveInstance = definition.getFactory().createEffective(this);
     }
 
     /**
-     * tries to execute current {@link ModelProcessingPhase} of source parsing.
+     * Try to execute current {@link ModelProcessingPhase} of source parsing. If the phase has already been executed,
+     * this method does nothing.
      *
-     * @param phase
-     *            to be executed (completed)
-     * @return if phase was successfully completed
-     * @throws SourceException
-     *             when an error occurred in source parsing
+     * @param phase to be executed (completed)
+     * @return true if phase was successfully completed
+     * @throws SourceException when an error occurred in source parsing
      */
-    boolean tryToCompletePhase(final ModelProcessingPhase phase) {
-
-        boolean finished = true;
-        final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
-        if (!openMutations.isEmpty()) {
-            final Iterator<ContextMutation> it = openMutations.iterator();
-            while (it.hasNext()) {
-                final ContextMutation current = it.next();
-                if (current.isFinished()) {
-                    it.remove();
-                } else {
-                    finished = false;
-                }
-            }
+    final boolean tryToCompletePhase(final ModelProcessingPhase phase) {
+        return phase.isCompletedBy(completedPhase) || doTryToCompletePhase(phase);
+    }
 
-            if (openMutations.isEmpty()) {
-                phaseMutation.removeAll(phase);
-                if (phaseMutation.isEmpty()) {
-                    phaseMutation = ImmutableMultimap.of();
-                }
-            }
+    private boolean doTryToCompletePhase(final ModelProcessingPhase phase) {
+        final boolean finished = phaseMutation.isEmpty() ? true : runMutations(phase);
+        if (completeChildren(phase) && finished) {
+            onPhaseCompleted(phase);
+            return true;
         }
+        return false;
+    }
 
+    private boolean completeChildren(final ModelProcessingPhase phase) {
+        boolean finished = true;
         for (final StatementContextBase<?, ?, ?> child : mutableDeclaredSubstatements()) {
             finished &= child.tryToCompletePhase(phase);
         }
-        for (final Mutable<?, ?, ?> child : effective) {
-            if (child instanceof StatementContextBase) {
-                finished &= ((StatementContextBase<?, ?, ?>) child).tryToCompletePhase(phase);
+        for (final StatementContextBase<?, ?, ?> child : effectiveChildrenToComplete()) {
+            finished &= child.tryToCompletePhase(phase);
+        }
+        return finished;
+    }
+
+    private boolean runMutations(final ModelProcessingPhase phase) {
+        final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
+        return openMutations.isEmpty() ? true : runMutations(phase, openMutations);
+    }
+
+    private boolean runMutations(final ModelProcessingPhase phase, final Collection<ContextMutation> openMutations) {
+        boolean finished = true;
+        final Iterator<ContextMutation> it = openMutations.iterator();
+        while (it.hasNext()) {
+            final ContextMutation current = it.next();
+            if (current.isFinished()) {
+                it.remove();
+            } else {
+                finished = false;
             }
         }
 
-        if (finished) {
-            onPhaseCompleted(phase);
-            return true;
+        if (openMutations.isEmpty()) {
+            phaseMutation.removeAll(phase);
+            cleanupPhaseMutation();
+        }
+        return finished;
+    }
+
+    private void cleanupPhaseMutation() {
+        if (phaseMutation.isEmpty()) {
+            phaseMutation = ImmutableMultimap.of();
         }
-        return false;
     }
 
     /**
@@ -524,10 +666,12 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         completedPhase = phase;
 
         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
-        if (listeners.isEmpty()) {
-            return;
+        if (!listeners.isEmpty()) {
+            runPhaseListeners(phase, listeners);
         }
+    }
 
+    private void runPhaseListeners(final ModelProcessingPhase phase, final Collection<OnPhaseFinished> listeners) {
         final Iterator<OnPhaseFinished> listener = listeners.iterator();
         while (listener.hasNext()) {
             final OnPhaseFinished next = listener.next();
@@ -548,7 +692,7 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
      * Ends declared section of current node.
      */
     void endDeclared(final ModelProcessingPhase phase) {
-        definition().onDeclarationFinished(this, phase);
+        definition.onDeclarationFinished(this, phase);
     }
 
     /**
@@ -562,7 +706,7 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
 
     @Override
     protected void checkLocalNamespaceAllowed(final Class<? extends IdentifierNamespace<?, ?>> type) {
-        definition().checkNamespaceAllowed(type);
+        definition.checkNamespaceAllowed(type);
     }
 
     @Override
@@ -644,7 +788,7 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
 
     @Override
     public StatementDefinition getPublicDefinition() {
-        return definition().getPublicView();
+        return definition.getPublicView();
     }
 
     @Override
@@ -686,10 +830,9 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     /**
      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
      *
-     * @throws IllegalStateException
-     *             when the mutation was registered after phase was completed
+     * @throws IllegalStateException when the mutation was registered after phase was completed
      */
-    void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
+    final void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
         ModelProcessingPhase finishedPhase = completedPhase;
         while (finishedPhase != null) {
             checkState(!phase.equals(finishedPhase), "Mutation registered after phase was completed at: %s",
@@ -703,28 +846,66 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         phaseMutation.put(phase, mutation);
     }
 
+    final void removeMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
+        if (!phaseMutation.isEmpty()) {
+            phaseMutation.remove(phase, mutation);
+            cleanupPhaseMutation();
+        }
+    }
+
     @Override
-    public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<N> namespace,
+    public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<@NonNull N> namespace,
             final KT key,final StmtContext<?, ?, ?> stmt) {
         addContextToNamespace(namespace, key, stmt);
     }
 
+    @Override
+    public Optional<? extends Mutable<?, ?, ?>> copyAsChildOf(final Mutable<?, ?, ?> parent, final CopyType type,
+            final QNameModule targetModule) {
+        checkEffectiveModelCompleted(this);
+
+        final StatementSupport<A, D, E> support = definition.support();
+        final CopyPolicy policy = support.applyCopyPolicy(this, parent, type, targetModule);
+        switch (policy) {
+            case CONTEXT_INDEPENDENT:
+                if (hasEmptySubstatements()) {
+                    // This statement is context-independent and has no substatements -- hence it can be freely shared.
+                    return Optional.of(this);
+                }
+                // FIXME: YANGTOOLS-694: filter out all context-independent substatements, eliminate fall-through
+                // fall through
+            case DECLARED_COPY:
+                // FIXME: YANGTOOLS-694: this is still to eager, we really want to copy as a lazily-instantiated
+                //                       context, so that we can support building an effective statement without copying
+                //                       anything -- we will typically end up not being inferred against. In that case,
+                //                       this slim context should end up dealing with differences at buildContext()
+                //                       time. This is a YANGTOOLS-1067 prerequisite (which will deal with what can and
+                //                       cannot be shared across instances).
+                return Optional.of(parent.childCopyOf(this, type, targetModule));
+            case IGNORE:
+                return Optional.empty();
+            case REJECT:
+                throw new IllegalStateException("Statement " + support.getPublicView() + " should never be copied");
+            default:
+                throw new IllegalStateException("Unhandled policy " + policy);
+        }
+    }
+
     @Override
     public final Mutable<?, ?, ?> childCopyOf(final StmtContext<?, ?, ?> stmt, final CopyType type,
             final QNameModule targetModule) {
-        checkState(stmt.getCompletedPhase() == ModelProcessingPhase.EFFECTIVE_MODEL,
-                "Attempted to copy statement %s which has completed phase %s", stmt, stmt.getCompletedPhase());
-        checkArgument(stmt instanceof SubstatementContext, "Unsupported statement %s", stmt);
-        return childCopyOf((SubstatementContext<?, ?, ?>) stmt, type, targetModule);
+        checkEffectiveModelCompleted(stmt);
+        checkArgument(stmt instanceof StatementContextBase, "Unsupported statement %s", stmt);
+        return childCopyOf((StatementContextBase<?, ?, ?>) stmt, type, targetModule);
     }
 
     private <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
-            final SubstatementContext<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
+            final StatementContextBase<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(
             original.getPublicDefinition());
 
-        final SubstatementContext<X, Y, Z> result;
-        final SubstatementContext<X, Y, Z> copy;
+        final StatementContextBase<X, Y, Z> result;
+        final InferredStatementContext<X, Y, Z> copy;
 
         if (implicitParent.isPresent()) {
             final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent.get());
@@ -745,17 +926,22 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
                     childCopyType = type;
             }
 
-            copy = new SubstatementContext<>(original, result, childCopyType, targetModule);
+            copy = new InferredStatementContext<>(result, original, childCopyType, type, targetModule);
             result.addEffectiveSubstatement(copy);
         } else {
-            result = copy = new SubstatementContext<>(original, this, type, targetModule);
+            result = copy = new InferredStatementContext<>(this, original, type, type, targetModule);
         }
 
-        original.definition().onStatementAdded(copy);
-        original.copyTo(copy, type, targetModule);
+        original.definition.onStatementAdded(copy);
         return result;
     }
 
+    private static void checkEffectiveModelCompleted(final StmtContext<?, ?, ?> stmt) {
+        final ModelProcessingPhase phase = stmt.getCompletedPhase();
+        checkState(phase == ModelProcessingPhase.EFFECTIVE_MODEL,
+                "Attempted to copy statement %s which has completed phase %s", stmt, phase);
+    }
+
     @Beta
     public final boolean hasImplicitParentSupport() {
         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
@@ -782,6 +968,21 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
 
     abstract StatementContextBase<A, D, E> reparent(StatementContextBase<?, ?, ?> newParent);
 
+    /**
+     * Indicate that the set of substatements is empty. This is a preferred shortcut to substatement stream filtering.
+     *
+     * @return True if {@link #allSubstatements()} and {@link #allSubstatementsStream()} would return an empty stream.
+     */
+    abstract boolean hasEmptySubstatements();
+
+    // Dual use method: AbstractResumedStatement does not use 'initialized' and InferredStatementContext ensures
+    //                  initialization.
+    // FIXME: 7.0.0: I think this warrants a separate subclasses, as InferredStatementContext wants to manage these
+    //               itself. Before we do that, though, we need to analyze size impacts
+    final boolean hasEmptyEffectiveSubstatements() {
+        return effective.isEmpty();
+    }
+
     /**
      * Config statements are not all that common which means we are performing a recursive search towards the root
      * every time {@link #isConfiguration()} is invoked. This is quite expensive because it causes a linear search
@@ -805,11 +1006,10 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
             return true;
         }
 
-        final StmtContext<Boolean, ?, ?> configStatement = StmtContextUtils.findFirstSubstatement(this,
-            ConfigStatement.class);
         final boolean isConfig;
-        if (configStatement != null) {
-            isConfig = configStatement.coerceStatementArgument();
+        final Optional<Boolean> optConfig = findSubstatementArgument(ConfigEffectiveStatement.class);
+        if (optConfig.isPresent()) {
+            isConfig = optConfig.orElseThrow();
             if (isConfig) {
                 // Validity check: if parent is config=false this cannot be a config=true
                 InferenceException.throwIf(!parent.isConfiguration(), getStatementSourceReference(),
@@ -841,7 +1041,7 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         if (fl != 0) {
             return fl == SET_IGNORE_CONFIG;
         }
-        if (definition().isIgnoringConfig() || parent.isIgnoringConfig()) {
+        if (definition.support().isIgnoringConfig() || parent.isIgnoringConfig()) {
             flags |= SET_IGNORE_CONFIG;
             return true;
         }
@@ -862,7 +1062,7 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         if (fl != 0) {
             return fl == SET_IGNORE_IF_FEATURE;
         }
-        if (definition().isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
+        if (definition.support().isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
             flags |= SET_IGNORE_IF_FEATURE;
             return true;
         }
@@ -871,63 +1071,48 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
         return false;
     }
 
-    final void copyTo(final StatementContextBase<?, ?, ?> target, final CopyType typeOfCopy,
-            @Nullable final QNameModule targetModule) {
-        final Collection<? extends StatementContextBase<?, ?, ?>> declared = mutableDeclaredSubstatements();
-        final Collection<Mutable<?, ?, ?>> buffer = new ArrayList<>(declared.size() + effective.size());
-
-        for (final Mutable<?, ?, ?> stmtContext : declared) {
-            if (stmtContext.isSupportedByFeatures()) {
-                copySubstatement(stmtContext, target, typeOfCopy, targetModule, buffer);
-            }
+    // Exists only to support {SubstatementContext,InferredStatementContext}.getSchemaPath()
+    @Deprecated
+    final @NonNull Optional<SchemaPath> substatementGetSchemaPath() {
+        if (schemaPath == null) {
+            schemaPath = createSchemaPath(coerceParentContext());
         }
-        for (final Mutable<?, ?, ?> stmtContext : effective) {
-            copySubstatement(stmtContext, target, typeOfCopy, targetModule, buffer);
-        }
-
-        target.addEffectiveSubstatements(buffer);
+        return Optional.ofNullable(schemaPath);
     }
 
-    private void copySubstatement(final Mutable<?, ?, ?> stmtContext,  final Mutable<?, ?, ?> target,
-            final CopyType typeOfCopy, final QNameModule newQNameModule, final Collection<Mutable<?, ?, ?>> buffer) {
-        if (needToCopyByUses(stmtContext)) {
-            final Mutable<?, ?, ?> copy = target.childCopyOf(stmtContext, typeOfCopy, newQNameModule);
-            LOG.debug("Copying substatement {} for {} as {}", stmtContext, this, copy);
-            buffer.add(copy);
-        } else if (isReusedByUses(stmtContext)) {
-            LOG.debug("Reusing substatement {} for {}", stmtContext, this);
-            buffer.add(stmtContext);
-        } else {
-            LOG.debug("Skipping statement {}", stmtContext);
-        }
-    }
+    @Deprecated
+    private SchemaPath createSchemaPath(final Mutable<?, ?, ?> parent) {
+        final Optional<SchemaPath> maybeParentPath = parent.getSchemaPath();
+        verify(maybeParentPath.isPresent(), "Parent %s does not have a SchemaPath", parent);
+        final SchemaPath parentPath = maybeParentPath.get();
 
-    // FIXME: revise this, as it seems to be wrong
-    private static final ImmutableSet<YangStmtMapping> NOCOPY_FROM_GROUPING_SET = ImmutableSet.of(
-        YangStmtMapping.DESCRIPTION,
-        YangStmtMapping.REFERENCE,
-        YangStmtMapping.STATUS);
-    private static final ImmutableSet<YangStmtMapping> REUSED_DEF_SET = ImmutableSet.of(
-        YangStmtMapping.TYPE,
-        YangStmtMapping.TYPEDEF,
-        YangStmtMapping.USES);
+        if (StmtContextUtils.isUnknownStatement(this)) {
+            return parentPath.createChild(getPublicDefinition().getStatementName());
+        }
+        final Object argument = getStatementArgument();
+        if (argument instanceof QName) {
+            final QName qname = (QName) argument;
+            if (producesDeclared(UsesStatement.class)) {
+                return maybeParentPath.orElse(null);
+            }
 
-    private static boolean needToCopyByUses(final StmtContext<?, ?, ?> stmtContext) {
-        final StatementDefinition def = stmtContext.getPublicDefinition();
-        if (REUSED_DEF_SET.contains(def)) {
-            LOG.debug("Will reuse {} statement {}", def, stmtContext);
-            return false;
+            return parentPath.createChild(qname);
         }
-        if (NOCOPY_FROM_GROUPING_SET.contains(def)) {
-            return !YangStmtMapping.GROUPING.equals(stmtContext.coerceParentContext().getPublicDefinition());
+        if (argument instanceof String) {
+            // FIXME: This may yield illegal argument exceptions
+            final Optional<StmtContext<A, D, E>> originalCtx = getOriginalCtx();
+            final QName qname = StmtContextUtils.qnameFromArgument(originalCtx.orElse(this), (String) argument);
+            return parentPath.createChild(qname);
         }
+        if (argument instanceof SchemaNodeIdentifier
+                && (producesDeclared(AugmentStatement.class) || producesDeclared(RefineStatement.class)
+                        || producesDeclared(DeviationStatement.class))) {
 
-        LOG.debug("Will copy {} statement {}", def, stmtContext);
-        return true;
-    }
+            return parentPath.createChild(((SchemaNodeIdentifier) argument).getNodeIdentifiers());
+        }
 
-    private static boolean isReusedByUses(final StmtContext<?, ?, ?> stmtContext) {
-        return REUSED_DEF_SET.contains(stmtContext.getPublicDefinition());
+        // FIXME: this does not look right
+        return maybeParentPath.orElse(null);
     }
 
     @Override
@@ -936,6 +1121,6 @@ public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E
     }
 
     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
-        return toStringHelper.add("definition", definition).add("rawArgument", rawArgument);
+        return toStringHelper.add("definition", definition).add("rawArgument", rawStatementArgument());
     }
 }