yang/yang-parser-reactor/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/reactor/StatementContextBase.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
   9
  10 import static com.google.common.base.Preconditions.checkArgument;
  11 import static com.google.common.base.Preconditions.checkNotNull;
  12 import static com.google.common.base.Preconditions.checkState;
  13 import static com.google.common.base.Verify.verify;
  14 import static java.util.Objects.requireNonNull;
  15
  16 import com.google.common.annotations.Beta;
  17 import com.google.common.base.MoreObjects;
  18 import com.google.common.base.MoreObjects.ToStringHelper;
  19 import com.google.common.collect.ImmutableCollection;
  20 import com.google.common.collect.ImmutableList;
  21 import com.google.common.collect.ImmutableMultimap;
  22 import com.google.common.collect.Multimap;
  23 import com.google.common.collect.Multimaps;
  24 import java.util.ArrayList;
  25 import java.util.Collection;
  26 import java.util.Collections;
  27 import java.util.EnumMap;
  28 import java.util.EventListener;
  29 import java.util.Iterator;
  30 import java.util.List;
  31 import java.util.Map;
  32 import java.util.Map.Entry;
  33 import java.util.Objects;
  34 import java.util.Optional;
  35 import java.util.Set;
  36 import org.eclipse.jdt.annotation.NonNull;
  37 import org.eclipse.jdt.annotation.Nullable;
  38 import org.opendaylight.yangtools.yang.common.QName;
  39 import org.opendaylight.yangtools.yang.common.QNameModule;
  40 import org.opendaylight.yangtools.yang.common.YangVersion;
  41 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
  42 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
  43 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
  44 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
  45 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
  46 import org.opendaylight.yangtools.yang.model.api.meta.StatementSource;
  47 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
  48 import org.opendaylight.yangtools.yang.model.api.stmt.ConfigStatement;
  49 import org.opendaylight.yangtools.yang.model.api.stmt.DeviationStatement;
  50 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
  51 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  52 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
  53 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
  54 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
  55 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
  56 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
  57 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
  58 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
  59 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
  60 import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
  61 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
  62 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
  63 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
  64 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceNotAvailableException;
  65 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
  66 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
  67 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport.CopyPolicy;
  68 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  69 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
  70 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  71 import org.opendaylight.yangtools.yang.parser.spi.source.ImplicitSubstatement;
  72 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
  73 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
  74 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
  75 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
  76 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.PredicateValueAddedListener;
  77 import org.slf4j.Logger;
  78 import org.slf4j.LoggerFactory;
  79
  80 /**
  81  * Core reactor statement implementation of {@link Mutable}.
  82  *
  83  * @param <A> Argument type
  84  * @param <D> Declared Statement representation
  85  * @param <E> Effective Statement representation
  86  */
  87 public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
  88         extends NamespaceStorageSupport implements Mutable<A, D, E> {
  89     /**
  90      * Event listener when an item is added to model namespace.
  91      */
  92     interface OnNamespaceItemAdded extends EventListener {
  93         /**
  94          * Invoked whenever a new item is added to a namespace.
  95          */
  96         void namespaceItemAdded(StatementContextBase<?, ?, ?> context, Class<?> namespace, Object key, Object value);
  97     }
  98
  99     /**
 100      * Event listener when a parsing {@link ModelProcessingPhase} is completed.
 101      */
 102     interface OnPhaseFinished extends EventListener {
 103         /**
 104          * Invoked whenever a processing phase has finished.
 105          */
 106         boolean phaseFinished(StatementContextBase<?, ?, ?> context, ModelProcessingPhase finishedPhase);
 107     }
 108
 109     /**
 110      * Interface for all mutations within an {@link ModelActionBuilder.InferenceAction}.
 111      */
 112     interface ContextMutation {
 113
 114         boolean isFinished();
 115     }
 116
 117     private static final Logger LOG = LoggerFactory.getLogger(StatementContextBase.class);
 118
 119     // Flag bit assignments
 120     private static final int IS_SUPPORTED_BY_FEATURES    = 0x01;
 121     private static final int HAVE_SUPPORTED_BY_FEATURES  = 0x02;
 122     private static final int IS_IGNORE_IF_FEATURE        = 0x04;
 123     private static final int HAVE_IGNORE_IF_FEATURE      = 0x08;
 124     // Note: these four are related
 125     private static final int IS_IGNORE_CONFIG            = 0x10;
 126     private static final int HAVE_IGNORE_CONFIG          = 0x20;
 127     private static final int IS_CONFIGURATION            = 0x40;
 128     private static final int HAVE_CONFIGURATION          = 0x80;
 129
 130     // Have-and-set flag constants, also used as masks
 131     private static final int SET_SUPPORTED_BY_FEATURES = HAVE_SUPPORTED_BY_FEATURES | IS_SUPPORTED_BY_FEATURES;
 132     private static final int SET_CONFIGURATION = HAVE_CONFIGURATION | IS_CONFIGURATION;
 133     // Note: implies SET_CONFIGURATION, allowing fewer bit operations to be performed
 134     private static final int SET_IGNORE_CONFIG = HAVE_IGNORE_CONFIG | IS_IGNORE_CONFIG | SET_CONFIGURATION;
 135     private static final int SET_IGNORE_IF_FEATURE = HAVE_IGNORE_IF_FEATURE | IS_IGNORE_IF_FEATURE;
 136
 137     private final CopyHistory copyHistory;
 138     // Note: this field can strictly be derived in InferredStatementContext, but it forms the basis of many of our
 139     //       operations, hence we want to keep it close by.
 140     private final @NonNull StatementDefinitionContext<A, D, E> definition;
 141
 142     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
 143     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
 144     private List<Mutable<?, ?, ?>> effective = ImmutableList.of();
 145     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
 146
 147     private @Nullable ModelProcessingPhase completedPhase;
 148     private @Nullable E effectiveInstance;
 149
 150     // Master flag controlling whether this context can yield an effective statement
 151     // FIXME: investigate the mechanics that are being supported by this, as it would be beneficial if we can get rid
 152     //        of this flag -- eliminating the initial alignment shadow used by below gap-filler fields.
 153     private boolean isSupportedToBuildEffective = true;
 154
 155     // Flag for use with AbstractResumedStatement. This is hiding in the alignment shadow created by above boolean
 156     private boolean fullyDefined;
 157
 158     // Flags for use with SubstatementContext. These are hiding in the alignment shadow created by above boolean and
 159     // hence improve memory layout.
 160     private byte flags;
 161
 162     // SchemaPath cache for use with SubstatementContext and InferredStatementContext. This hurts RootStatementContext
 163     // a bit in terms of size -- but those are only a few and SchemaPath is on its way out anyway.
 164     private volatile SchemaPath schemaPath;
 165
 166     // Copy constructor used by subclasses to implement reparent()
 167     StatementContextBase(final StatementContextBase<A, D, E> original) {
 168         this.copyHistory = original.copyHistory;
 169         this.definition = original.definition;
 170
 171         this.isSupportedToBuildEffective = original.isSupportedToBuildEffective;
 172         this.fullyDefined = original.fullyDefined;
 173         this.completedPhase = original.completedPhase;
 174         this.flags = original.flags;
 175     }
 176
 177     StatementContextBase(final StatementDefinitionContext<A, D, E> def) {
 178         this.definition = requireNonNull(def);
 179         this.copyHistory = CopyHistory.original();
 180     }
 181
 182     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final CopyHistory copyHistory) {
 183         this.definition = requireNonNull(def);
 184         this.copyHistory = requireNonNull(copyHistory);
 185     }
 186
 187     @Override
 188     public Collection<? extends StmtContext<?, ?, ?>> getEffectOfStatement() {
 189         return effectOfStatement;
 190     }
 191
 192     @Override
 193     public void addAsEffectOfStatement(final StmtContext<?, ?, ?> ctx) {
 194         if (effectOfStatement.isEmpty()) {
 195             effectOfStatement = new ArrayList<>(1);
 196         }
 197         effectOfStatement.add(ctx);
 198     }
 199
 200     @Override
 201     public void addAsEffectOfStatement(final Collection<? extends StmtContext<?, ?, ?>> ctxs) {
 202         if (ctxs.isEmpty()) {
 203             return;
 204         }
 205
 206         if (effectOfStatement.isEmpty()) {
 207             effectOfStatement = new ArrayList<>(ctxs.size());
 208         }
 209         effectOfStatement.addAll(ctxs);
 210     }
 211
 212     @Override
 213     public boolean isSupportedByFeatures() {
 214         final int fl = flags & SET_SUPPORTED_BY_FEATURES;
 215         if (fl != 0) {
 216             return fl == SET_SUPPORTED_BY_FEATURES;
 217         }
 218         if (isIgnoringIfFeatures()) {
 219             flags |= SET_SUPPORTED_BY_FEATURES;
 220             return true;
 221         }
 222
 223         /*
 224          * If parent is supported, we need to check if-features statements of this context.
 225          */
 226         if (isParentSupportedByFeatures()) {
 227             // If the set of supported features has not been provided, all features are supported by default.
 228             final Set<QName> supportedFeatures = getFromNamespace(SupportedFeaturesNamespace.class,
 229                     SupportedFeatures.SUPPORTED_FEATURES);
 230             if (supportedFeatures == null || StmtContextUtils.checkFeatureSupport(this, supportedFeatures)) {
 231                 flags |= SET_SUPPORTED_BY_FEATURES;
 232                 return true;
 233             }
 234         }
 235
 236         // Either parent is not supported or this statement is not supported
 237         flags |= HAVE_SUPPORTED_BY_FEATURES;
 238         return false;
 239     }
 240
 241     protected abstract boolean isParentSupportedByFeatures();
 242
 243     @Override
 244     public boolean isSupportedToBuildEffective() {
 245         return isSupportedToBuildEffective;
 246     }
 247
 248     @Override
 249     public void setIsSupportedToBuildEffective(final boolean isSupportedToBuildEffective) {
 250         this.isSupportedToBuildEffective = isSupportedToBuildEffective;
 251     }
 252
 253     @Override
 254     public CopyHistory getCopyHistory() {
 255         return copyHistory;
 256     }
 257
 258     @Override
 259     public ModelProcessingPhase getCompletedPhase() {
 260         return completedPhase;
 261     }
 262
 263     // FIXME: this should be propagated through a correct constructor
 264     @Deprecated
 265     final void setCompletedPhase(final ModelProcessingPhase completedPhase) {
 266         this.completedPhase = completedPhase;
 267     }
 268
 269     @Override
 270     public abstract StatementContextBase<?, ?, ?> getParentContext();
 271
 272     /**
 273      * Returns the model root for this statement.
 274      *
 275      * @return root context of statement
 276      */
 277     @Override
 278     public abstract RootStatementContext<?, ?, ?> getRoot();
 279
 280     @Override
 281     public final @NonNull Registry getBehaviourRegistry() {
 282         return getRoot().getBehaviourRegistryImpl();
 283     }
 284
 285     @Override
 286     public final YangVersion getRootVersion() {
 287         return getRoot().getRootVersionImpl();
 288     }
 289
 290     @Override
 291     public final void setRootVersion(final YangVersion version) {
 292         getRoot().setRootVersionImpl(version);
 293     }
 294
 295     @Override
 296     public final void addMutableStmtToSeal(final MutableStatement mutableStatement) {
 297         getRoot().addMutableStmtToSealImpl(mutableStatement);
 298     }
 299
 300     @Override
 301     public final void addRequiredSource(final SourceIdentifier dependency) {
 302         getRoot().addRequiredSourceImpl(dependency);
 303     }
 304
 305     @Override
 306     public final void setRootIdentifier(final SourceIdentifier identifier) {
 307         getRoot().setRootIdentifierImpl(identifier);
 308     }
 309
 310     @Override
 311     public final boolean isEnabledSemanticVersioning() {
 312         return getRoot().isEnabledSemanticVersioningImpl();
 313     }
 314
 315     @Override
 316     public StatementSource getStatementSource() {
 317         return getStatementSourceReference().getStatementSource();
 318     }
 319
 320     @Override
 321     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromCurrentStmtCtxNamespace(
 322             final Class<N> type) {
 323         return getLocalNamespace(type);
 324     }
 325
 326     @Override
 327     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromNamespace(final Class<N> type) {
 328         return getNamespace(type);
 329     }
 330
 331     /**
 332      * Associate a value with a key within a namespace.
 333      *
 334      * @param type Namespace type
 335      * @param key Key
 336      * @param value value
 337      * @param <K> namespace key type
 338      * @param <V> namespace value type
 339      * @param <N> namespace type
 340      * @param <T> key type
 341      * @param <U> value type
 342      * @throws NamespaceNotAvailableException when the namespace is not available.
 343      */
 344     @Override
 345     public final <K, V, T extends K, U extends V, N extends IdentifierNamespace<K, V>> void addToNs(
 346             final Class<N> type, final T key, final U value) {
 347         addToNamespace(type, key, value);
 348     }
 349
 350     @Override
 351     public abstract Collection<? extends StatementContextBase<?, ?, ?>> mutableDeclaredSubstatements();
 352
 353     /**
 354      * Return a value associated with specified key within a namespace.
 355      *
 356      * @param type Namespace type
 357      * @param key Key
 358      * @param <K> namespace key type
 359      * @param <V> namespace value type
 360      * @param <N> namespace type
 361      * @param <T> key type
 362      * @return Value, or null if there is no element
 363      * @throws NamespaceNotAvailableException when the namespace is not available.
 364      */
 365     @Override
 366     public final <K, V, T extends K, N extends IdentifierNamespace<K, V>> V getFromNamespace(final Class<N> type,
 367             final T key) {
 368         return getBehaviourRegistry().getNamespaceBehaviour(type).getFrom(this, key);
 369     }
 370
 371     @Override
 372     public Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
 373         if (effective instanceof ImmutableCollection) {
 374             return effective;
 375         }
 376
 377         return Collections.unmodifiableCollection(effective);
 378     }
 379
 380     private void shrinkEffective() {
 381         if (effective.isEmpty()) {
 382             effective = ImmutableList.of();
 383         }
 384     }
 385
 386     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
 387         if (effective.isEmpty()) {
 388             return;
 389         }
 390
 391         final Iterator<? extends StmtContext<?, ?, ?>> iterator = effective.iterator();
 392         while (iterator.hasNext()) {
 393             final StmtContext<?, ?, ?> next = iterator.next();
 394             if (statementDef.equals(next.getPublicDefinition())) {
 395                 iterator.remove();
 396             }
 397         }
 398
 399         shrinkEffective();
 400     }
 401
 402     /**
 403      * Removes a statement context from the effective substatements based on its statement definition (i.e statement
 404      * keyword) and raw (in String form) statement argument. The statement context is removed only if both statement
 405      * definition and statement argument match with one of the effective substatements' statement definition
 406      * and argument.
 407      *
 408      * <p>
 409      * If the statementArg parameter is null, the statement context is removed based only on its statement definition.
 410      *
 411      * @param statementDef statement definition of the statement context to remove
 412      * @param statementArg statement argument of the statement context to remove
 413      */
 414     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
 415             final String statementArg) {
 416         if (statementArg == null) {
 417             removeStatementFromEffectiveSubstatements(statementDef);
 418         }
 419
 420         if (effective.isEmpty()) {
 421             return;
 422         }
 423
 424         final Iterator<Mutable<?, ?, ?>> iterator = effective.iterator();
 425         while (iterator.hasNext()) {
 426             final Mutable<?, ?, ?> next = iterator.next();
 427             if (statementDef.equals(next.getPublicDefinition()) && statementArg.equals(next.rawStatementArgument())) {
 428                 iterator.remove();
 429             }
 430         }
 431
 432         shrinkEffective();
 433     }
 434
 435     // YANG example: RPC/action statements always have 'input' and 'output' defined
 436     @Beta
 437     public <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> @NonNull Mutable<X, Y, Z>
 438             appendImplicitSubstatement(final StatementSupport<X, Y, Z> support, final String rawArg) {
 439         // FIXME: YANGTOOLS-652: This does not need to be a SubstatementContext, in can be a specialized
 440         //                       StatementContextBase subclass.
 441         final Mutable<X, Y, Z> ret = new SubstatementContext<>(this, new StatementDefinitionContext<>(support),
 442                 ImplicitSubstatement.of(getStatementSourceReference()), rawArg);
 443         support.onStatementAdded(ret);
 444         addEffectiveSubstatement(ret);
 445         return ret;
 446     }
 447
 448     /**
 449      * Adds an effective statement to collection of substatements.
 450      *
 451      * @param substatement substatement
 452      * @throws IllegalStateException
 453      *             if added in declared phase
 454      * @throws NullPointerException
 455      *             if statement parameter is null
 456      */
 457     public void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
 458         beforeAddEffectiveStatement(1);
 459         effective.add(substatement);
 460     }
 461
 462     /**
 463      * Adds an effective statement to collection of substatements.
 464      *
 465      * @param statements substatements
 466      * @throws IllegalStateException
 467      *             if added in declared phase
 468      * @throws NullPointerException
 469      *             if statement parameter is null
 470      */
 471     public void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
 472         if (statements.isEmpty()) {
 473             return;
 474         }
 475
 476         statements.forEach(Objects::requireNonNull);
 477         beforeAddEffectiveStatement(statements.size());
 478         effective.addAll(statements);
 479     }
 480
 481     private void beforeAddEffectiveStatement(final int toAdd) {
 482         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
 483         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
 484                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
 485                 "Effective statement cannot be added in declared phase at: %s", getStatementSourceReference());
 486
 487         if (effective.isEmpty()) {
 488             effective = new ArrayList<>(toAdd);
 489         }
 490     }
 491
 492     // Exists only due to memory optimization
 493     final boolean fullyDefined() {
 494         return fullyDefined;
 495     }
 496
 497     // Exists only due to memory optimization, should live in AbstractResumedStatement
 498     final void setFullyDefined() {
 499         fullyDefined = true;
 500     }
 501
 502     @Override
 503     public E buildEffective() {
 504         final E existing = effectiveInstance;
 505         return existing != null ? existing : (effectiveInstance = definition.getFactory().createEffective(this));
 506     }
 507
 508     /**
 509      * Try to execute current {@link ModelProcessingPhase} of source parsing.
 510      *
 511      * @param phase to be executed (completed)
 512      * @return if phase was successfully completed
 513      * @throws SourceException when an error occurred in source parsing
 514      */
 515     final boolean tryToCompletePhase(final ModelProcessingPhase phase) {
 516         final boolean finished = phaseMutation.isEmpty() ? true : runMutations(phase);
 517         if (completeChildren(phase) && finished) {
 518             onPhaseCompleted(phase);
 519             return true;
 520         }
 521         return false;
 522     }
 523
 524     private boolean completeChildren(final ModelProcessingPhase phase) {
 525         boolean finished = true;
 526         for (final StatementContextBase<?, ?, ?> child : mutableDeclaredSubstatements()) {
 527             finished &= child.tryToCompletePhase(phase);
 528         }
 529         for (final Mutable<?, ?, ?> child : effective) {
 530             if (child instanceof StatementContextBase) {
 531                 finished &= ((StatementContextBase<?, ?, ?>) child).tryToCompletePhase(phase);
 532             }
 533         }
 534         return finished;
 535     }
 536
 537     private boolean runMutations(final ModelProcessingPhase phase) {
 538         final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
 539         return openMutations.isEmpty() ? true : runMutations(phase, openMutations);
 540     }
 541
 542     private boolean runMutations(final ModelProcessingPhase phase, final Collection<ContextMutation> openMutations) {
 543         boolean finished = true;
 544         final Iterator<ContextMutation> it = openMutations.iterator();
 545         while (it.hasNext()) {
 546             final ContextMutation current = it.next();
 547             if (current.isFinished()) {
 548                 it.remove();
 549             } else {
 550                 finished = false;
 551             }
 552         }
 553
 554         if (openMutations.isEmpty()) {
 555             phaseMutation.removeAll(phase);
 556             if (phaseMutation.isEmpty()) {
 557                 phaseMutation = ImmutableMultimap.of();
 558             }
 559         }
 560         return finished;
 561     }
 562
 563     /**
 564      * Occurs on end of {@link ModelProcessingPhase} of source parsing.
 565      *
 566      * @param phase
 567      *            that was to be completed (finished)
 568      * @throws SourceException
 569      *             when an error occurred in source parsing
 570      */
 571     private void onPhaseCompleted(final ModelProcessingPhase phase) {
 572         completedPhase = phase;
 573
 574         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
 575         if (listeners.isEmpty()) {
 576             return;
 577         }
 578
 579         final Iterator<OnPhaseFinished> listener = listeners.iterator();
 580         while (listener.hasNext()) {
 581             final OnPhaseFinished next = listener.next();
 582             if (next.phaseFinished(this, phase)) {
 583                 listener.remove();
 584             }
 585         }
 586
 587         if (listeners.isEmpty()) {
 588             phaseListeners.removeAll(phase);
 589             if (phaseListeners.isEmpty()) {
 590                 phaseListeners = ImmutableMultimap.of();
 591             }
 592         }
 593     }
 594
 595     /**
 596      * Ends declared section of current node.
 597      */
 598     void endDeclared(final ModelProcessingPhase phase) {
 599         definition.onDeclarationFinished(this, phase);
 600     }
 601
 602     /**
 603      * Return the context in which this statement was defined.
 604      *
 605      * @return statement definition
 606      */
 607     protected final @NonNull StatementDefinitionContext<A, D, E> definition() {
 608         return definition;
 609     }
 610
 611     @Override
 612     protected void checkLocalNamespaceAllowed(final Class<? extends IdentifierNamespace<?, ?>> type) {
 613         definition.checkNamespaceAllowed(type);
 614     }
 615
 616     @Override
 617     protected <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceElementAdded(final Class<N> type, final K key,
 618             final V value) {
 619         // definition().onNamespaceElementAdded(this, type, key, value);
 620     }
 621
 622     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type, final K key,
 623             final OnNamespaceItemAdded listener) {
 624         final Object potential = getFromNamespace(type, key);
 625         if (potential != null) {
 626             LOG.trace("Listener on {} key {} satisfied immediately", type, key);
 627             listener.namespaceItemAdded(this, type, key, potential);
 628             return;
 629         }
 630
 631         getBehaviour(type).addListener(new KeyedValueAddedListener<>(this, key) {
 632             @Override
 633             void onValueAdded(final Object value) {
 634                 listener.namespaceItemAdded(StatementContextBase.this, type, key, value);
 635             }
 636         });
 637     }
 638
 639     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type,
 640             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
 641             final OnNamespaceItemAdded listener) {
 642         final Optional<Entry<K, V>> existing = getFromNamespace(type, criterion);
 643         if (existing.isPresent()) {
 644             final Entry<K, V> entry = existing.get();
 645             LOG.debug("Listener on {} criterion {} found a pre-existing match: {}", type, criterion, entry);
 646             waitForPhase(entry.getValue(), type, phase, criterion, listener);
 647             return;
 648         }
 649
 650         final NamespaceBehaviourWithListeners<K, V, N> behaviour = getBehaviour(type);
 651         behaviour.addListener(new PredicateValueAddedListener<K, V>(this) {
 652             @Override
 653             boolean onValueAdded(final K key, final V value) {
 654                 if (criterion.match(key)) {
 655                     LOG.debug("Listener on {} criterion {} matched added key {}", type, criterion, key);
 656                     waitForPhase(value, type, phase, criterion, listener);
 657                     return true;
 658                 }
 659
 660                 return false;
 661             }
 662         });
 663     }
 664
 665     final <K, V, N extends IdentifierNamespace<K, V>> void selectMatch(final Class<N> type,
 666             final NamespaceKeyCriterion<K> criterion, final OnNamespaceItemAdded listener) {
 667         final Optional<Entry<K, V>> optMatch = getFromNamespace(type, criterion);
 668         checkState(optMatch.isPresent(), "Failed to find a match for criterion %s in namespace %s node %s", criterion,
 669             type, this);
 670         final Entry<K, V> match = optMatch.get();
 671         listener.namespaceItemAdded(StatementContextBase.this, type, match.getKey(), match.getValue());
 672     }
 673
 674     final <K, V, N extends IdentifierNamespace<K, V>> void waitForPhase(final Object value, final Class<N> type,
 675             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
 676             final OnNamespaceItemAdded listener) {
 677         ((StatementContextBase<?, ? ,?>) value).addPhaseCompletedListener(phase,
 678             (context, phaseCompleted) -> {
 679                 selectMatch(type, criterion, listener);
 680                 return true;
 681             });
 682     }
 683
 684     private <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getBehaviour(
 685             final Class<N> type) {
 686         final NamespaceBehaviour<K, V, N> behaviour = getBehaviourRegistry().getNamespaceBehaviour(type);
 687         checkArgument(behaviour instanceof NamespaceBehaviourWithListeners, "Namespace %s does not support listeners",
 688             type);
 689
 690         return (NamespaceBehaviourWithListeners<K, V, N>) behaviour;
 691     }
 692
 693     @Override
 694     public StatementDefinition getPublicDefinition() {
 695         return definition.getPublicView();
 696     }
 697
 698     @Override
 699     public ModelActionBuilder newInferenceAction(final ModelProcessingPhase phase) {
 700         return getRoot().getSourceContext().newInferenceAction(phase);
 701     }
 702
 703     private static <T> Multimap<ModelProcessingPhase, T> newMultimap() {
 704         return Multimaps.newListMultimap(new EnumMap<>(ModelProcessingPhase.class), () -> new ArrayList<>(1));
 705     }
 706
 707     /**
 708      * Adds {@link OnPhaseFinished} listener for a {@link ModelProcessingPhase} end. If the base has already completed
 709      * the listener is notified immediately.
 710      *
 711      * @param phase requested completion phase
 712      * @param listener listener to invoke
 713      * @throws NullPointerException if any of the arguments is null
 714      */
 715     void addPhaseCompletedListener(final ModelProcessingPhase phase, final OnPhaseFinished listener) {
 716         checkNotNull(phase, "Statement context processing phase cannot be null at: %s", getStatementSourceReference());
 717         checkNotNull(listener, "Statement context phase listener cannot be null at: %s", getStatementSourceReference());
 718
 719         ModelProcessingPhase finishedPhase = completedPhase;
 720         while (finishedPhase != null) {
 721             if (phase.equals(finishedPhase)) {
 722                 listener.phaseFinished(this, finishedPhase);
 723                 return;
 724             }
 725             finishedPhase = finishedPhase.getPreviousPhase();
 726         }
 727         if (phaseListeners.isEmpty()) {
 728             phaseListeners = newMultimap();
 729         }
 730
 731         phaseListeners.put(phase, listener);
 732     }
 733
 734     /**
 735      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
 736      *
 737      * @throws IllegalStateException
 738      *             when the mutation was registered after phase was completed
 739      */
 740     void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
 741         ModelProcessingPhase finishedPhase = completedPhase;
 742         while (finishedPhase != null) {
 743             checkState(!phase.equals(finishedPhase), "Mutation registered after phase was completed at: %s",
 744                 getStatementSourceReference());
 745             finishedPhase = finishedPhase.getPreviousPhase();
 746         }
 747
 748         if (phaseMutation.isEmpty()) {
 749             phaseMutation = newMultimap();
 750         }
 751         phaseMutation.put(phase, mutation);
 752     }
 753
 754     @Override
 755     public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<N> namespace,
 756             final KT key,final StmtContext<?, ?, ?> stmt) {
 757         addContextToNamespace(namespace, key, stmt);
 758     }
 759
 760     @Override
 761     public Optional<? extends Mutable<?, ?, ?>> copyAsChildOf(final Mutable<?, ?, ?> parent, final CopyType type,
 762             final QNameModule targetModule) {
 763         checkEffectiveModelCompleted(this);
 764
 765         final StatementSupport<A, D, E> support = definition.support();
 766         final CopyPolicy policy = support.applyCopyPolicy(this, parent, type, targetModule);
 767         switch (policy) {
 768             case CONTEXT_INDEPENDENT:
 769                 if (hasEmptySubstatements()) {
 770                     // This statement is context-independent and has no substatements -- hence it can be freely shared.
 771                     return Optional.of(this);
 772                 }
 773                 // FIXME: YANGTOOLS-694: filter out all context-independent substatements, eliminate fall-through
 774                 // fall through
 775             case DECLARED_COPY:
 776                 // FIXME: YANGTOOLS-694: this is still to eager, we really want to copy as a lazily-instantiated
 777                 //                       context, so that we can support building an effective statement without copying
 778                 //                       anything -- we will typically end up not being inferred against. In that case,
 779                 //                       this slim context should end up dealing with differences at buildContext()
 780                 //                       time. This is a YANGTOOLS-1067 prerequisite (which will deal with what can and
 781                 //                       cannot be shared across instances).
 782                 return Optional.of(parent.childCopyOf(this, type, targetModule));
 783             case IGNORE:
 784                 return Optional.empty();
 785             case REJECT:
 786                 throw new IllegalStateException("Statement " + support.getPublicView() + " should never be copied");
 787             default:
 788                 throw new IllegalStateException("Unhandled policy " + policy);
 789         }
 790     }
 791
 792     @Override
 793     public final Mutable<?, ?, ?> childCopyOf(final StmtContext<?, ?, ?> stmt, final CopyType type,
 794             final QNameModule targetModule) {
 795         checkEffectiveModelCompleted(stmt);
 796         checkArgument(stmt instanceof StatementContextBase, "Unsupported statement %s", stmt);
 797         return childCopyOf((StatementContextBase<?, ?, ?>) stmt, type, targetModule);
 798     }
 799
 800     private <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
 801             final StatementContextBase<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
 802         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(
 803             original.getPublicDefinition());
 804
 805         final StatementContextBase<X, Y, Z> result;
 806         final InferredStatementContext<X, Y, Z> copy;
 807
 808         if (implicitParent.isPresent()) {
 809             final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent.get());
 810             result = new SubstatementContext(this, def, original.getStatementSourceReference(),
 811                 original.rawStatementArgument(), original.getStatementArgument(), type);
 812
 813             final CopyType childCopyType;
 814             switch (type) {
 815                 case ADDED_BY_AUGMENTATION:
 816                     childCopyType = CopyType.ORIGINAL;
 817                     break;
 818                 case ADDED_BY_USES_AUGMENTATION:
 819                     childCopyType = CopyType.ADDED_BY_USES;
 820                     break;
 821                 case ADDED_BY_USES:
 822                 case ORIGINAL:
 823                 default:
 824                     childCopyType = type;
 825             }
 826
 827             copy = new InferredStatementContext<>(result, original, childCopyType, type, targetModule);
 828             result.addEffectiveSubstatement(copy);
 829         } else {
 830             result = copy = new InferredStatementContext<>(this, original, type, type, targetModule);
 831         }
 832
 833         original.definition.onStatementAdded(copy);
 834         return result;
 835     }
 836
 837     private static void checkEffectiveModelCompleted(final StmtContext<?, ?, ?> stmt) {
 838         final ModelProcessingPhase phase = stmt.getCompletedPhase();
 839         checkState(phase == ModelProcessingPhase.EFFECTIVE_MODEL,
 840                 "Attempted to copy statement %s which has completed phase %s", stmt, phase);
 841     }
 842
 843     @Beta
 844     public final boolean hasImplicitParentSupport() {
 845         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
 846     }
 847
 848     @Beta
 849     public final StatementContextBase<?, ?, ?> wrapWithImplicit(final StatementContextBase<?, ?, ?> original) {
 850         final Optional<StatementSupport<?, ?, ?>> optImplicit = definition.getImplicitParentFor(
 851             original.getPublicDefinition());
 852         if (optImplicit.isEmpty()) {
 853             return original;
 854         }
 855
 856         final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(optImplicit.get());
 857         final CopyType type = original.getCopyHistory().getLastOperation();
 858         final SubstatementContext<?, ?, ?> result = new SubstatementContext(original.getParentContext(), def,
 859             original.getStatementSourceReference(), original.rawStatementArgument(), original.getStatementArgument(),
 860             type);
 861
 862         result.addEffectiveSubstatement(original.reparent(result));
 863         result.setCompletedPhase(original.getCompletedPhase());
 864         return result;
 865     }
 866
 867     abstract StatementContextBase<A, D, E> reparent(StatementContextBase<?, ?, ?> newParent);
 868
 869     /**
 870      * Indicate that the set of substatements is empty. This is a preferred shortcut to substatement stream filtering.
 871      *
 872      * @return True if {@link #allSubstatements()} and {@link #allSubstatementsStream()} would return an empty stream.
 873      */
 874     abstract boolean hasEmptySubstatements();
 875
 876     final boolean hasEmptyEffectiveSubstatements() {
 877         return effective.isEmpty();
 878     }
 879
 880     /**
 881      * Config statements are not all that common which means we are performing a recursive search towards the root
 882      * every time {@link #isConfiguration()} is invoked. This is quite expensive because it causes a linear search
 883      * for the (usually non-existent) config statement.
 884      *
 885      * <p>
 886      * This method maintains a resolution cache, so once we have returned a result, we will keep on returning the same
 887      * result without performing any lookups, solely to support {@link SubstatementContext#isConfiguration()}.
 888      *
 889      * <p>
 890      * Note: use of this method implies that {@link #isIgnoringConfig()} is realized with
 891      *       {@link #isIgnoringConfig(StatementContextBase)}.
 892      */
 893     final boolean isConfiguration(final StatementContextBase<?, ?, ?> parent) {
 894         final int fl = flags & SET_CONFIGURATION;
 895         if (fl != 0) {
 896             return fl == SET_CONFIGURATION;
 897         }
 898         if (isIgnoringConfig(parent)) {
 899             // Note: SET_CONFIGURATION has been stored in flags
 900             return true;
 901         }
 902
 903         final StmtContext<Boolean, ?, ?> configStatement = StmtContextUtils.findFirstSubstatement(this,
 904             ConfigStatement.class);
 905         final boolean isConfig;
 906         if (configStatement != null) {
 907             isConfig = configStatement.coerceStatementArgument();
 908             if (isConfig) {
 909                 // Validity check: if parent is config=false this cannot be a config=true
 910                 InferenceException.throwIf(!parent.isConfiguration(), getStatementSourceReference(),
 911                         "Parent node has config=false, this node must not be specifed as config=true");
 912             }
 913         } else {
 914             // If "config" statement is not specified, the default is the same as the parent's "config" value.
 915             isConfig = parent.isConfiguration();
 916         }
 917
 918         // Resolved, make sure we cache this return
 919         flags |= isConfig ? SET_CONFIGURATION : HAVE_CONFIGURATION;
 920         return isConfig;
 921     }
 922
 923     protected abstract boolean isIgnoringConfig();
 924
 925     /**
 926      * This method maintains a resolution cache for ignore config, so once we have returned a result, we will
 927      * keep on returning the same result without performing any lookups. Exists only to support
 928      * {@link SubstatementContext#isIgnoringConfig()}.
 929      *
 930      * <p>
 931      * Note: use of this method implies that {@link #isConfiguration()} is realized with
 932      *       {@link #isConfiguration(StatementContextBase)}.
 933      */
 934     final boolean isIgnoringConfig(final StatementContextBase<?, ?, ?> parent) {
 935         final int fl = flags & SET_IGNORE_CONFIG;
 936         if (fl != 0) {
 937             return fl == SET_IGNORE_CONFIG;
 938         }
 939         if (definition.support().isIgnoringConfig() || parent.isIgnoringConfig()) {
 940             flags |= SET_IGNORE_CONFIG;
 941             return true;
 942         }
 943
 944         flags |= HAVE_IGNORE_CONFIG;
 945         return false;
 946     }
 947
 948     protected abstract boolean isIgnoringIfFeatures();
 949
 950     /**
 951      * This method maintains a resolution cache for ignore if-feature, so once we have returned a result, we will
 952      * keep on returning the same result without performing any lookups. Exists only to support
 953      * {@link SubstatementContext#isIgnoringIfFeatures()}.
 954      */
 955     final boolean isIgnoringIfFeatures(final StatementContextBase<?, ?, ?> parent) {
 956         final int fl = flags & SET_IGNORE_IF_FEATURE;
 957         if (fl != 0) {
 958             return fl == SET_IGNORE_IF_FEATURE;
 959         }
 960         if (definition.support().isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
 961             flags |= SET_IGNORE_IF_FEATURE;
 962             return true;
 963         }
 964
 965         flags |= HAVE_IGNORE_IF_FEATURE;
 966         return false;
 967     }
 968
 969     // Exists only to support SubstatementContext/InferredStatementContext
 970     final @NonNull Optional<SchemaPath> substatementGetSchemaPath() {
 971         SchemaPath local = schemaPath;
 972         if (local == null) {
 973             synchronized (this) {
 974                 local = schemaPath;
 975                 if (local == null) {
 976                     local = createSchemaPath(coerceParentContext());
 977                     schemaPath = local;
 978                 }
 979             }
 980         }
 981
 982         return Optional.ofNullable(local);
 983     }
 984
 985     private SchemaPath createSchemaPath(final Mutable<?, ?, ?> parent) {
 986         final Optional<SchemaPath> maybeParentPath = parent.getSchemaPath();
 987         verify(maybeParentPath.isPresent(), "Parent %s does not have a SchemaPath", parent);
 988         final SchemaPath parentPath = maybeParentPath.get();
 989
 990         if (StmtContextUtils.isUnknownStatement(this)) {
 991             return parentPath.createChild(getPublicDefinition().getStatementName());
 992         }
 993         final Object argument = getStatementArgument();
 994         if (argument instanceof QName) {
 995             final QName qname = (QName) argument;
 996             if (StmtContextUtils.producesDeclared(this, UsesStatement.class)) {
 997                 return maybeParentPath.orElse(null);
 998             }
 999
1000             return parentPath.createChild(qname);
1001         }
1002         if (argument instanceof String) {
1003             // FIXME: This may yield illegal argument exceptions
1004             final Optional<StmtContext<A, D, E>> originalCtx = getOriginalCtx();
1005             final QName qname = StmtContextUtils.qnameFromArgument(originalCtx.orElse(this), (String) argument);
1006             return parentPath.createChild(qname);
1007         }
1008         if (argument instanceof SchemaNodeIdentifier
1009                 && (StmtContextUtils.producesDeclared(this, AugmentStatement.class)
1010                         || StmtContextUtils.producesDeclared(this, RefineStatement.class)
1011                         || StmtContextUtils.producesDeclared(this, DeviationStatement.class))) {
1012
1013             return parentPath.createChild(((SchemaNodeIdentifier) argument).getPathFromRoot());
1014         }
1015
1016         // FIXME: this does not look right
1017         return maybeParentPath.orElse(null);
1018     }
1019
1020     @Override
1021     public final String toString() {
1022         return addToStringAttributes(MoreObjects.toStringHelper(this).omitNullValues()).toString();
1023     }
1024
1025     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
1026         return toStringHelper.add("definition", definition).add("rawArgument", rawStatementArgument());
1027     }
1028 }