f5f85c37c412a94cd80f795e8546c8a84e5548c4
[yangtools.git] / parser / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / StatementContextBase.java
1 /*
2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
9
10 import static com.google.common.base.Preconditions.checkArgument;
11 import static com.google.common.base.Preconditions.checkState;
12 import static com.google.common.base.Verify.verify;
13 import static com.google.common.base.Verify.verifyNotNull;
14 import static java.util.Objects.requireNonNull;
15
16 import com.google.common.base.VerifyException;
17 import com.google.common.collect.ImmutableCollection;
18 import com.google.common.collect.ImmutableList;
19 import com.google.common.collect.ImmutableMultimap;
20 import com.google.common.collect.Multimap;
21 import com.google.common.collect.Multimaps;
22 import java.util.ArrayList;
23 import java.util.Collection;
24 import java.util.Collections;
25 import java.util.EnumMap;
26 import java.util.EventListener;
27 import java.util.Iterator;
28 import java.util.List;
29 import java.util.Map.Entry;
30 import java.util.Optional;
31 import java.util.stream.Stream;
32 import org.eclipse.jdt.annotation.NonNull;
33 import org.opendaylight.yangtools.yang.common.QNameModule;
34 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
35 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
36 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
37 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
38 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
39 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
40 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
41 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
42 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase.ExecutionOrder;
43 import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
44 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
45 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
46 import org.opendaylight.yangtools.yang.parser.spi.meta.ParserNamespace;
47 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementFactory;
48 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
49 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
50 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport.CopyPolicy;
51 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
52 import org.opendaylight.yangtools.yang.parser.spi.meta.UndeclaredStatementFactory;
53 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
54 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
55 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.PredicateValueAddedListener;
56 import org.slf4j.Logger;
57 import org.slf4j.LoggerFactory;
58
59 /**
60  * Core reactor statement implementation of {@link Mutable}.
61  *
62  * @param <A> Argument type
63  * @param <D> Declared Statement representation
64  * @param <E> Effective Statement representation
65  */
66 abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
67         extends ReactorStmtCtx<A, D, E> implements CopyHistory {
68     /**
69      * Event listener when an item is added to model namespace.
70      */
71     interface OnNamespaceItemAdded extends EventListener {
72         /**
73          * Invoked whenever a new item is added to a namespace.
74          */
75         void namespaceItemAdded(StatementContextBase<?, ?, ?> context, Class<?> namespace, Object key, Object value);
76     }
77
78     /**
79      * Event listener when a parsing {@link ModelProcessingPhase} is completed.
80      */
81     interface OnPhaseFinished extends EventListener {
82         /**
83          * Invoked whenever a processing phase has finished.
84          */
85         boolean phaseFinished(StatementContextBase<?, ?, ?> context, ModelProcessingPhase finishedPhase);
86     }
87
88     /**
89      * Interface for all mutations within an {@link ModelActionBuilder.InferenceAction}.
90      */
91     interface ContextMutation {
92
93         boolean isFinished();
94     }
95
96     private static final Logger LOG = LoggerFactory.getLogger(StatementContextBase.class);
97
98     // Bottom 4 bits, encoding a CopyHistory, aight?
99     private static final byte COPY_ORIGINAL              = 0x00;
100     private static final byte COPY_LAST_TYPE_MASK        = 0x03;
101     @Deprecated(since = "7.0.9", forRemoval = true)
102     private static final byte COPY_ADDED_BY_USES         = 0x04;
103     private static final byte COPY_ADDED_BY_AUGMENTATION = 0x08;
104
105     // Top four bits, of which we define the topmost two to 0. We use the bottom two to encode last CopyType, aight?
106     private static final int COPY_CHILD_TYPE_SHIFT       = 4;
107
108     private static final CopyType @NonNull [] COPY_TYPE_VALUES = CopyType.values();
109
110     static {
111         final int copyTypes = COPY_TYPE_VALUES.length;
112         // This implies CopyType.ordinal() is <= COPY_TYPE_MASK
113         verify(copyTypes == COPY_LAST_TYPE_MASK + 1, "Unexpected %s CopyType values", copyTypes);
114     }
115
116     /**
117      * 8 bits worth of instance storage. This is treated as a constant bit field with following structure:
118      * <pre>
119      *   <code>
120      * |7|6|5|4|3|2|1|0|
121      * |0 0|cct|a|u|lst|
122      *   </code>
123      * </pre>
124      *
125      * <p>
126      * The four allocated fields are:
127      * <ul>
128      *   <li>{@code lst}, encoding the four states corresponding to {@link CopyHistory#getLastOperation()}</li>
129      *   <li>{@code u}, encoding {@link #isAddedByUses()}</li>
130      *   <li>{@code a}, encoding {@link #isAugmenting()}</li>
131      *   <li>{@code cct} encoding {@link #childCopyType()}</li>
132      * </ul>
133      * We still have two unused bits.
134      */
135     private final byte bitsAight;
136
137     // Note: this field can strictly be derived in InferredStatementContext, but it forms the basis of many of our
138     //       operations, hence we want to keep it close by.
139     private final @NonNull StatementDefinitionContext<A, D, E> definition;
140
141     // TODO: consider keying by Byte equivalent of ExecutionOrder
142     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
143     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
144
145     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
146
147     /**
148      * {@link ModelProcessingPhase.ExecutionOrder} value of current {@link ModelProcessingPhase} of this statement.
149      */
150     private byte executionOrder;
151
152     /**
153      * This field should live in AbstractResumedStatement, but is placed here for memory efficiency to squat in the
154      * alignment shadow of {@link #bitsAight} and {@link #executionOrder}.
155      */
156     private boolean implicitDeclaredFlag;
157
158     // TODO: we a single byte of alignment shadow left, we should think how we can use it to cache information we build
159     //       during buildEffective()
160
161     // Copy constructor used by subclasses to implement reparent()
162     StatementContextBase(final StatementContextBase<A, D, E> original) {
163         super(original);
164         this.bitsAight = original.bitsAight;
165         this.definition = original.definition;
166         this.executionOrder = original.executionOrder;
167     }
168
169     StatementContextBase(final StatementDefinitionContext<A, D, E> def) {
170         this.definition = requireNonNull(def);
171         this.bitsAight = COPY_ORIGINAL;
172     }
173
174     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final CopyType copyType) {
175         this.definition = requireNonNull(def);
176         this.bitsAight = (byte) copyFlags(copyType);
177     }
178
179     StatementContextBase(final StatementContextBase<A, D, E> prototype, final CopyType copyType,
180             final CopyType childCopyType) {
181         this.definition = prototype.definition;
182         this.bitsAight = (byte) (copyFlags(copyType)
183             | prototype.bitsAight & ~COPY_LAST_TYPE_MASK | childCopyType.ordinal() << COPY_CHILD_TYPE_SHIFT);
184     }
185
186     private static int copyFlags(final CopyType copyType) {
187         return historyFlags(copyType) | copyType.ordinal();
188     }
189
190     private static byte historyFlags(final CopyType copyType) {
191         switch (copyType) {
192             case ADDED_BY_AUGMENTATION:
193                 return COPY_ADDED_BY_AUGMENTATION;
194             case ADDED_BY_USES:
195                 return COPY_ADDED_BY_USES;
196             case ADDED_BY_USES_AUGMENTATION:
197                 return COPY_ADDED_BY_AUGMENTATION | COPY_ADDED_BY_USES;
198             case ORIGINAL:
199                 return COPY_ORIGINAL;
200             default:
201                 throw new VerifyException("Unhandled type " + copyType);
202         }
203     }
204
205     @Override
206     public final Collection<? extends StmtContext<?, ?, ?>> getEffectOfStatement() {
207         return effectOfStatement;
208     }
209
210     @Override
211     public final void addAsEffectOfStatement(final Collection<? extends StmtContext<?, ?, ?>> ctxs) {
212         if (ctxs.isEmpty()) {
213             return;
214         }
215
216         if (effectOfStatement.isEmpty()) {
217             effectOfStatement = new ArrayList<>(ctxs.size());
218         }
219         effectOfStatement.addAll(ctxs);
220     }
221
222     //
223     // CopyHistory integration
224     //
225
226     @Override
227     public final CopyHistory history() {
228         return this;
229     }
230
231     @Override
232     @Deprecated(since = "7.0.9", forRemoval = true)
233     public final boolean isAddedByUses() {
234         return (bitsAight & COPY_ADDED_BY_USES) != 0;
235     }
236
237     @Override
238     @Deprecated(since = "8.0.0")
239     public final boolean isAugmenting() {
240         return (bitsAight & COPY_ADDED_BY_AUGMENTATION) != 0;
241     }
242
243     @Override
244     public final CopyType getLastOperation() {
245         return COPY_TYPE_VALUES[bitsAight & COPY_LAST_TYPE_MASK];
246     }
247
248     // This method exists only for space optimization of InferredStatementContext
249     final CopyType childCopyType() {
250         return COPY_TYPE_VALUES[bitsAight >> COPY_CHILD_TYPE_SHIFT & COPY_LAST_TYPE_MASK];
251     }
252
253     //
254     // Inference completion tracking
255     //
256
257     @Override
258     final byte executionOrder() {
259         return executionOrder;
260     }
261
262     // FIXME: this should be propagated through a correct constructor
263     @Deprecated
264     final void setCompletedPhase(final ModelProcessingPhase completedPhase) {
265         this.executionOrder = completedPhase.executionOrder();
266     }
267
268     @Override
269     public final <K, V, T extends K, U extends V, N extends ParserNamespace<K, V>> void addToNs(
270             final Class<@NonNull N> type, final T key, final U value) {
271         addToNamespace(type, key, value);
272     }
273
274     static final Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements(
275             final List<ReactorStmtCtx<?, ?, ?>> effective) {
276         return effective instanceof ImmutableCollection ? effective : Collections.unmodifiableCollection(effective);
277     }
278
279     private static List<ReactorStmtCtx<?, ?, ?>> shrinkEffective(final List<ReactorStmtCtx<?, ?, ?>> effective) {
280         return effective.isEmpty() ? ImmutableList.of() : effective;
281     }
282
283     static final List<ReactorStmtCtx<?, ?, ?>> removeStatementFromEffectiveSubstatements(
284             final List<ReactorStmtCtx<?, ?, ?>> effective, final StatementDefinition statementDef) {
285         if (effective.isEmpty()) {
286             return effective;
287         }
288
289         final Iterator<? extends StmtContext<?, ?, ?>> iterator = effective.iterator();
290         while (iterator.hasNext()) {
291             final StmtContext<?, ?, ?> next = iterator.next();
292             if (statementDef.equals(next.publicDefinition())) {
293                 iterator.remove();
294             }
295         }
296
297         return shrinkEffective(effective);
298     }
299
300     static final List<ReactorStmtCtx<?, ?, ?>> removeStatementFromEffectiveSubstatements(
301             final List<ReactorStmtCtx<?, ?, ?>> effective, final StatementDefinition statementDef,
302             final String statementArg) {
303         if (statementArg == null) {
304             return removeStatementFromEffectiveSubstatements(effective, statementDef);
305         }
306
307         if (effective.isEmpty()) {
308             return effective;
309         }
310
311         final Iterator<ReactorStmtCtx<?, ?, ?>> iterator = effective.iterator();
312         while (iterator.hasNext()) {
313             final Mutable<?, ?, ?> next = iterator.next();
314             if (statementDef.equals(next.publicDefinition()) && statementArg.equals(next.rawArgument())) {
315                 iterator.remove();
316             }
317         }
318
319         return shrinkEffective(effective);
320     }
321
322     @Override
323     public final <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>>
324             Mutable<X, Y, Z> addUndeclaredSubstatement(final StatementSupport<X, Y, Z> support, final X arg) {
325         requireNonNull(support);
326         checkArgument(support instanceof UndeclaredStatementFactory, "Unsupported statement support %s", support);
327
328         final var ret = new UndeclaredStmtCtx<>(this, support, arg);
329         support.onStatementAdded(ret);
330         addEffectiveSubstatement(ret);
331         return ret;
332     }
333
334     final List<ReactorStmtCtx<?, ?, ?>> addEffectiveSubstatement(final List<ReactorStmtCtx<?, ?, ?>> effective,
335             final Mutable<?, ?, ?> substatement) {
336         verifyStatement(substatement);
337
338         final List<ReactorStmtCtx<?, ?, ?>> resized = beforeAddEffectiveStatement(effective, 1);
339         final ReactorStmtCtx<?, ?, ?> stmt = (ReactorStmtCtx<?, ?, ?>) substatement;
340         ensureCompletedExecution(stmt);
341         resized.add(stmt);
342         return resized;
343     }
344
345     @Override
346     public final void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
347         if (!statements.isEmpty()) {
348             statements.forEach(StatementContextBase::verifyStatement);
349             addEffectiveSubstatementsImpl(statements);
350         }
351     }
352
353     abstract void addEffectiveSubstatementsImpl(Collection<? extends Mutable<?, ?, ?>> statements);
354
355     final List<ReactorStmtCtx<?, ?, ?>> addEffectiveSubstatementsImpl(final List<ReactorStmtCtx<?, ?, ?>> effective,
356             final Collection<? extends Mutable<?, ?, ?>> statements) {
357         final List<ReactorStmtCtx<?, ?, ?>> resized = beforeAddEffectiveStatement(effective, statements.size());
358         final Collection<? extends ReactorStmtCtx<?, ?, ?>> casted =
359             (Collection<? extends ReactorStmtCtx<?, ?, ?>>) statements;
360         if (executionOrder != ExecutionOrder.NULL) {
361             for (ReactorStmtCtx<?, ?, ?> stmt : casted) {
362                 ensureCompletedExecution(stmt, executionOrder);
363             }
364         }
365
366         resized.addAll(casted);
367         return resized;
368     }
369
370     abstract Iterator<ReactorStmtCtx<?, ?, ?>> effectiveChildrenToComplete();
371
372     // exposed for InferredStatementContext only
373     final void ensureCompletedPhase(final Mutable<?, ?, ?> stmt) {
374         verifyStatement(stmt);
375         ensureCompletedExecution((ReactorStmtCtx<?, ?, ?>) stmt);
376     }
377
378     // Make sure target statement has transitioned at least to our phase (if we have one). This method is just before we
379     // take allow a statement to become our substatement. This is needed to ensure that every statement tree does not
380     // contain any statements which did not complete the same phase as the root statement.
381     private void ensureCompletedExecution(final ReactorStmtCtx<?, ?, ?> stmt) {
382         if (executionOrder != ExecutionOrder.NULL) {
383             ensureCompletedExecution(stmt, executionOrder);
384         }
385     }
386
387     private static void ensureCompletedExecution(final ReactorStmtCtx<?, ?, ?> stmt, final byte executionOrder) {
388         verify(stmt.tryToCompletePhase(executionOrder), "Statement %s cannot complete phase %s", stmt, executionOrder);
389     }
390
391     private static void verifyStatement(final Mutable<?, ?, ?> stmt) {
392         verify(stmt instanceof ReactorStmtCtx, "Unexpected statement %s", stmt);
393     }
394
395     private List<ReactorStmtCtx<?, ?, ?>> beforeAddEffectiveStatement(final List<ReactorStmtCtx<?, ?, ?>> effective,
396             final int toAdd) {
397         // We cannot allow statement to be further mutated.
398         // TODO: we really want to say 'not NULL and not at or after EFFECTIVE_MODEL here. This will matter if we have
399         //       a phase after EFFECTIVE_MODEL
400         verify(executionOrder != ExecutionOrder.EFFECTIVE_MODEL, "Cannot modify finished statement at %s",
401             sourceReference());
402         return beforeAddEffectiveStatementUnsafe(effective, toAdd);
403     }
404
405     final List<ReactorStmtCtx<?, ?, ?>> beforeAddEffectiveStatementUnsafe(final List<ReactorStmtCtx<?, ?, ?>> effective,
406             final int toAdd) {
407         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
408         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
409                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
410                 "Effective statement cannot be added in declared phase at: %s", sourceReference());
411
412         return effective.isEmpty() ? new ArrayList<>(toAdd) : effective;
413     }
414
415     @Override
416     final E createEffective() {
417         final E result = createEffective(definition.getFactory());
418         if (result instanceof MutableStatement) {
419             getRoot().addMutableStmtToSeal((MutableStatement) result);
420         }
421         return result;
422     }
423
424     abstract @NonNull E createEffective(@NonNull StatementFactory<A, D, E> factory);
425
426     /**
427      * Routing of the request to build an effective statement from {@link InferredStatementContext} towards the original
428      * definition site. This is needed to pick the correct instantiation method: for declared statements we will
429      * eventually land in {@link AbstractResumedStatement}, for underclared statements that will be
430      * {@link UndeclaredStmtCtx}.
431      *
432      * @param factory Statement factory
433      * @param ctx Inferred statement context, i.e. where the effective statement is instantiated
434      * @return Built effective stateue
435      */
436     abstract @NonNull E createInferredEffective(@NonNull StatementFactory<A, D, E> factory,
437         @NonNull InferredStatementContext<A, D, E> ctx);
438
439     /**
440      * Return a stream of declared statements which can be built into an {@link EffectiveStatement}, as per
441      * {@link StmtContext#buildEffective()} contract.
442      *
443      * @return Stream of supported declared statements.
444      */
445     // FIXME: we really want to unify this with streamEffective(), under its name
446     abstract Stream<? extends @NonNull StmtContext<?, ?, ?>> streamDeclared();
447
448     /**
449      * Return a stream of inferred statements which can be built into an {@link EffectiveStatement}, as per
450      * {@link StmtContext#buildEffective()} contract.
451      *
452      * @return Stream of supported effective statements.
453      */
454     // FIXME: this method is currently a misnomer, but unifying with streamDeclared() would make this accurate again
455     abstract Stream<? extends @NonNull StmtContext<?, ?, ?>> streamEffective();
456
457     @Override
458     final boolean doTryToCompletePhase(final byte targetOrder) {
459         final boolean finished = phaseMutation.isEmpty() || runMutations(targetOrder);
460         if (completeChildren(targetOrder) && finished) {
461             onPhaseCompleted(targetOrder);
462             return true;
463         }
464         return false;
465     }
466
467     private boolean completeChildren(final byte targetOrder) {
468         boolean finished = true;
469         for (final StatementContextBase<?, ?, ?> child : mutableDeclaredSubstatements()) {
470             finished &= child.tryToCompletePhase(targetOrder);
471         }
472         final var it = effectiveChildrenToComplete();
473         while (it.hasNext()) {
474             finished &= it.next().tryToCompletePhase(targetOrder);
475         }
476         return finished;
477     }
478
479     private boolean runMutations(final byte targetOrder) {
480         final ModelProcessingPhase phase = verifyNotNull(ModelProcessingPhase.ofExecutionOrder(targetOrder));
481         final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
482         return openMutations.isEmpty() || runMutations(phase, openMutations);
483     }
484
485     private boolean runMutations(final ModelProcessingPhase phase, final Collection<ContextMutation> openMutations) {
486         boolean finished = true;
487         final Iterator<ContextMutation> it = openMutations.iterator();
488         while (it.hasNext()) {
489             final ContextMutation current = it.next();
490             if (current.isFinished()) {
491                 it.remove();
492             } else {
493                 finished = false;
494             }
495         }
496
497         if (openMutations.isEmpty()) {
498             phaseMutation.removeAll(phase);
499             cleanupPhaseMutation();
500         }
501         return finished;
502     }
503
504     private void cleanupPhaseMutation() {
505         if (phaseMutation.isEmpty()) {
506             phaseMutation = ImmutableMultimap.of();
507         }
508     }
509
510     /**
511      * Occurs on end of {@link ModelProcessingPhase} of source parsing. This method must not be called with
512      * {@code executionOrder} equal to {@link ExecutionOrder#NULL}.
513      *
514      * @param phase that was to be completed (finished)
515      * @throws SourceException when an error occurred in source parsing
516      */
517     private void onPhaseCompleted(final byte completedOrder) {
518         executionOrder = completedOrder;
519         if (completedOrder == ExecutionOrder.EFFECTIVE_MODEL) {
520             // We have completed effective model, substatements are guaranteed not to change
521             summarizeSubstatementPolicy();
522         }
523
524         final ModelProcessingPhase phase = verifyNotNull(ModelProcessingPhase.ofExecutionOrder(completedOrder));
525         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
526         if (!listeners.isEmpty()) {
527             runPhaseListeners(phase, listeners);
528         }
529     }
530
531     private void summarizeSubstatementPolicy() {
532         if (definition().support().copyPolicy() == CopyPolicy.EXACT_REPLICA || noSensitiveSubstatements()) {
533             setAllSubstatementsContextIndependent();
534         }
535     }
536
537     /**
538      * Determine whether any substatements are copy-sensitive as determined by {@link StatementSupport#copyPolicy()}.
539      * Only {@link CopyPolicy#CONTEXT_INDEPENDENT}, {@link CopyPolicy#EXACT_REPLICA} and {@link CopyPolicy#IGNORE} are
540      * copy-insensitive. Note that statements which are not {@link StmtContext#isSupportedToBuildEffective()} are all
541      * considered copy-insensitive.
542      *
543      * <p>
544      * Implementations are expected to call {@link #noSensitiveSubstatements()} to actually traverse substatement sets.
545      *
546      * @return True if no substatements require copy-sensitive handling
547      */
548     abstract boolean noSensitiveSubstatements();
549
550     /**
551      * Determine whether any of the provided substatements are context-sensitive for purposes of implementing
552      * {@link #noSensitiveSubstatements()}.
553      *
554      * @param substatements Substatements to check
555      * @return True if no substatements require context-sensitive handling
556      */
557     static boolean noSensitiveSubstatements(final Collection<? extends ReactorStmtCtx<?, ?, ?>> substatements) {
558         for (ReactorStmtCtx<?, ?, ?> stmt : substatements) {
559             if (stmt.isSupportedToBuildEffective()) {
560                 if (!stmt.allSubstatementsContextIndependent()) {
561                     // This is a recursive property
562                     return false;
563                 }
564
565                 switch (stmt.definition().support().copyPolicy()) {
566                     case CONTEXT_INDEPENDENT:
567                     case EXACT_REPLICA:
568                     case IGNORE:
569                         break;
570                     default:
571                         return false;
572                 }
573             }
574         }
575         return true;
576     }
577
578     private void runPhaseListeners(final ModelProcessingPhase phase, final Collection<OnPhaseFinished> listeners) {
579         final Iterator<OnPhaseFinished> listener = listeners.iterator();
580         while (listener.hasNext()) {
581             final OnPhaseFinished next = listener.next();
582             if (next.phaseFinished(this, phase)) {
583                 listener.remove();
584             }
585         }
586
587         if (listeners.isEmpty()) {
588             phaseListeners.removeAll(phase);
589             if (phaseListeners.isEmpty()) {
590                 phaseListeners = ImmutableMultimap.of();
591             }
592         }
593     }
594
595     @Override
596     final StatementDefinitionContext<A, D, E> definition() {
597         return definition;
598     }
599
600     final <K, V, N extends ParserNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type, final K key,
601             final OnNamespaceItemAdded listener) {
602         final Object potential = getFromNamespace(type, key);
603         if (potential != null) {
604             LOG.trace("Listener on {} key {} satisfied immediately", type, key);
605             listener.namespaceItemAdded(this, type, key, potential);
606             return;
607         }
608
609         getBehaviour(type).addListener(new KeyedValueAddedListener<>(this, key) {
610             @Override
611             void onValueAdded(final Object value) {
612                 listener.namespaceItemAdded(StatementContextBase.this, type, key, value);
613             }
614         });
615     }
616
617     final <K, V, N extends ParserNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type,
618             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
619             final OnNamespaceItemAdded listener) {
620         final Optional<Entry<K, V>> existing = getFromNamespace(type, criterion);
621         if (existing.isPresent()) {
622             final Entry<K, V> entry = existing.get();
623             LOG.debug("Listener on {} criterion {} found a pre-existing match: {}", type, criterion, entry);
624             waitForPhase(entry.getValue(), type, phase, criterion, listener);
625             return;
626         }
627
628         final NamespaceBehaviourWithListeners<K, V, N> behaviour = getBehaviour(type);
629         behaviour.addListener(new PredicateValueAddedListener<K, V>(this) {
630             @Override
631             boolean onValueAdded(final K key, final V value) {
632                 if (criterion.match(key)) {
633                     LOG.debug("Listener on {} criterion {} matched added key {}", type, criterion, key);
634                     waitForPhase(value, type, phase, criterion, listener);
635                     return true;
636                 }
637
638                 return false;
639             }
640         });
641     }
642
643     final <K, V, N extends ParserNamespace<K, V>> void selectMatch(final Class<N> type,
644             final NamespaceKeyCriterion<K> criterion, final OnNamespaceItemAdded listener) {
645         final Optional<Entry<K, V>> optMatch = getFromNamespace(type, criterion);
646         checkState(optMatch.isPresent(), "Failed to find a match for criterion %s in namespace %s node %s", criterion,
647             type, this);
648         final Entry<K, V> match = optMatch.get();
649         listener.namespaceItemAdded(StatementContextBase.this, type, match.getKey(), match.getValue());
650     }
651
652     final <K, V, N extends ParserNamespace<K, V>> void waitForPhase(final Object value, final Class<N> type,
653             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
654             final OnNamespaceItemAdded listener) {
655         ((StatementContextBase<?, ? ,?>) value).addPhaseCompletedListener(phase,
656             (context, phaseCompleted) -> {
657                 selectMatch(type, criterion, listener);
658                 return true;
659             });
660     }
661
662     private <K, V, N extends ParserNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getBehaviour(
663             final Class<N> type) {
664         final NamespaceBehaviour<K, V, N> behaviour = getBehaviourRegistry().getNamespaceBehaviour(type);
665         checkArgument(behaviour instanceof NamespaceBehaviourWithListeners, "Namespace %s does not support listeners",
666             type);
667
668         return (NamespaceBehaviourWithListeners<K, V, N>) behaviour;
669     }
670
671     private static <T> Multimap<ModelProcessingPhase, T> newMultimap() {
672         return Multimaps.newListMultimap(new EnumMap<>(ModelProcessingPhase.class), () -> new ArrayList<>(1));
673     }
674
675     /**
676      * Adds {@link OnPhaseFinished} listener for a {@link ModelProcessingPhase} end. If the base has already completed
677      * the listener is notified immediately.
678      *
679      * @param phase requested completion phase
680      * @param listener listener to invoke
681      * @throws NullPointerException if any of the arguments is null
682      */
683     void addPhaseCompletedListener(final ModelProcessingPhase phase, final OnPhaseFinished listener) {
684         requireNonNull(phase, "Statement context processing phase cannot be null");
685         requireNonNull(listener, "Statement context phase listener cannot be null");
686
687         ModelProcessingPhase finishedPhase = ModelProcessingPhase.ofExecutionOrder(executionOrder);
688         while (finishedPhase != null) {
689             if (phase.equals(finishedPhase)) {
690                 listener.phaseFinished(this, finishedPhase);
691                 return;
692             }
693             finishedPhase = finishedPhase.getPreviousPhase();
694         }
695         if (phaseListeners.isEmpty()) {
696             phaseListeners = newMultimap();
697         }
698
699         phaseListeners.put(phase, listener);
700     }
701
702     /**
703      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
704      *
705      * @throws IllegalStateException when the mutation was registered after phase was completed
706      */
707     final void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
708         checkState(executionOrder < phase.executionOrder(), "Mutation registered after phase was completed at: %s",
709             sourceReference());
710
711         if (phaseMutation.isEmpty()) {
712             phaseMutation = newMultimap();
713         }
714         phaseMutation.put(phase, mutation);
715     }
716
717     final void removeMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
718         if (!phaseMutation.isEmpty()) {
719             phaseMutation.remove(phase, mutation);
720             cleanupPhaseMutation();
721         }
722     }
723
724     @Override
725     public final <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(
726             final Class<@NonNull N> namespace, final KT key,final StmtContext<?, ?, ?> stmt) {
727         addContextToNamespace(namespace, key, stmt);
728     }
729
730     @Override
731     public final Optional<? extends Mutable<?, ?, ?>> copyAsChildOf(final Mutable<?, ?, ?> parent, final CopyType type,
732             final QNameModule targetModule) {
733         checkEffectiveModelCompleted(this);
734         return Optional.ofNullable(copyAsChildOfImpl(parent, type, targetModule));
735     }
736
737     private ReactorStmtCtx<A, D, E> copyAsChildOfImpl(final Mutable<?, ?, ?> parent, final CopyType type,
738             final QNameModule targetModule) {
739         final StatementSupport<A, D, E> support = definition.support();
740         final CopyPolicy policy = support.copyPolicy();
741         switch (policy) {
742             case EXACT_REPLICA:
743                 return replicaAsChildOf(parent);
744             case CONTEXT_INDEPENDENT:
745                 if (allSubstatementsContextIndependent()) {
746                     return replicaAsChildOf(parent);
747                 }
748
749                 // fall through
750             case DECLARED_COPY:
751                 // FIXME: ugly cast
752                 return (ReactorStmtCtx<A, D, E>) parent.childCopyOf(this, type, targetModule);
753             case IGNORE:
754                 return null;
755             case REJECT:
756                 throw new IllegalStateException("Statement " + support.getPublicView() + " should never be copied");
757             default:
758                 throw new IllegalStateException("Unhandled policy " + policy);
759         }
760     }
761
762     @Override
763     final ReactorStmtCtx<?, ?, ?> asEffectiveChildOf(final StatementContextBase<?, ?, ?> parent, final CopyType type,
764             final QNameModule targetModule) {
765         final ReactorStmtCtx<A, D, E> copy = copyAsChildOfImpl(parent, type, targetModule);
766         if (copy == null) {
767             // The statement fizzled, this should never happen, perhaps a verify()?
768             return null;
769         }
770
771         parent.ensureCompletedPhase(copy);
772         return canReuseCurrent(copy) ? this : copy;
773     }
774
775     private boolean canReuseCurrent(final ReactorStmtCtx<A, D, E> copy) {
776         // Defer to statement factory to see if we can reuse this object. If we can and have only context-independent
777         // substatements we can reuse the object. More complex cases are handled indirectly via the copy.
778         return definition.getFactory().canReuseCurrent(copy, this, buildEffective().effectiveSubstatements())
779             && allSubstatementsContextIndependent();
780     }
781
782     @Override
783     public final Mutable<?, ?, ?> childCopyOf(final StmtContext<?, ?, ?> stmt, final CopyType type,
784             final QNameModule targetModule) {
785         checkEffectiveModelCompleted(stmt);
786         if (stmt instanceof StatementContextBase) {
787             return childCopyOf((StatementContextBase<?, ?, ?>) stmt, type, targetModule);
788         } else if (stmt instanceof ReplicaStatementContext) {
789             return ((ReplicaStatementContext<?, ?, ?>) stmt).replicaAsChildOf(this);
790         } else {
791             throw new IllegalArgumentException("Unsupported statement " + stmt);
792         }
793     }
794
795     private <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
796             final StatementContextBase<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
797         final var implicitParent = definition.getImplicitParentFor(this, original.publicDefinition());
798
799         final StatementContextBase<X, Y, Z> result;
800         final InferredStatementContext<X, Y, Z> copy;
801
802         if (implicitParent.isPresent()) {
803             result = new UndeclaredStmtCtx(this, implicitParent.orElseThrow(), original, type);
804
805             final CopyType childCopyType;
806             switch (type) {
807                 case ADDED_BY_AUGMENTATION:
808                     childCopyType = CopyType.ORIGINAL;
809                     break;
810                 case ADDED_BY_USES_AUGMENTATION:
811                     childCopyType = CopyType.ADDED_BY_USES;
812                     break;
813                 case ADDED_BY_USES:
814                 case ORIGINAL:
815                 default:
816                     childCopyType = type;
817             }
818
819             copy = new InferredStatementContext<>(result, original, childCopyType, type, targetModule);
820             result.addEffectiveSubstatement(copy);
821         } else {
822             result = copy = new InferredStatementContext<>(this, original, type, type, targetModule);
823         }
824
825         original.definition.onStatementAdded(copy);
826         return result;
827     }
828
829     @Override
830     final ReplicaStatementContext<A, D, E> replicaAsChildOf(final StatementContextBase<?, ?, ?> parent) {
831         return new ReplicaStatementContext<>(parent, this);
832     }
833
834     private static void checkEffectiveModelCompleted(final StmtContext<?, ?, ?> stmt) {
835         final ModelProcessingPhase phase = stmt.getCompletedPhase();
836         checkState(phase == ModelProcessingPhase.EFFECTIVE_MODEL,
837                 "Attempted to copy statement %s which has completed phase %s", stmt, phase);
838     }
839
840     @Override
841     public final boolean hasImplicitParentSupport() {
842         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
843     }
844
845     @Override
846     public final StmtContext<?, ?, ?> wrapWithImplicit(final StmtContext<?, ?, ?> original) {
847         final var optImplicit = definition.getImplicitParentFor(this, original.publicDefinition());
848         if (optImplicit.isEmpty()) {
849             return original;
850         }
851
852         checkArgument(original instanceof StatementContextBase, "Unsupported original %s", original);
853         final var origBase = (StatementContextBase<?, ?, ?>)original;
854
855         @SuppressWarnings({ "rawtypes", "unchecked" })
856         final UndeclaredStmtCtx<?, ?, ?> result = new UndeclaredStmtCtx(origBase, optImplicit.orElseThrow());
857         result.addEffectiveSubstatement(origBase.reparent(result));
858         result.setCompletedPhase(original.getCompletedPhase());
859         return result;
860     }
861
862     abstract StatementContextBase<A, D, E> reparent(StatementContextBase<?, ?, ?> newParent);
863
864     /**
865      * Indicate that the set of substatements is empty. This is a preferred shortcut to substatement stream filtering.
866      *
867      * @return True if {@link #allSubstatements()} and {@link #allSubstatementsStream()} would return an empty stream.
868      */
869     abstract boolean hasEmptySubstatements();
870
871     // Note: these two are exposed for AbstractResumedStatement only
872     final boolean getImplicitDeclaredFlag() {
873         return implicitDeclaredFlag;
874     }
875
876     final void setImplicitDeclaredFlag() {
877         implicitDeclaredFlag = true;
878     }
879 }