Rework EffectiveStatementBase statement order restoration
[yangtools.git] / yang / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / StatementContextBase.java
1 /*
2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
9
10 import static com.google.common.base.Preconditions.checkArgument;
11 import static com.google.common.base.Preconditions.checkNotNull;
12 import static com.google.common.base.Preconditions.checkState;
13 import static java.util.Objects.requireNonNull;
14
15 import com.google.common.annotations.Beta;
16 import com.google.common.base.MoreObjects;
17 import com.google.common.base.MoreObjects.ToStringHelper;
18 import com.google.common.collect.ImmutableCollection;
19 import com.google.common.collect.ImmutableList;
20 import com.google.common.collect.ImmutableMultimap;
21 import com.google.common.collect.ImmutableSet;
22 import com.google.common.collect.Multimap;
23 import com.google.common.collect.Multimaps;
24 import java.util.ArrayList;
25 import java.util.Collection;
26 import java.util.Collections;
27 import java.util.EnumMap;
28 import java.util.EventListener;
29 import java.util.Iterator;
30 import java.util.List;
31 import java.util.Map.Entry;
32 import java.util.Objects;
33 import java.util.Optional;
34 import java.util.Set;
35 import org.eclipse.jdt.annotation.NonNull;
36 import org.eclipse.jdt.annotation.Nullable;
37 import org.opendaylight.yangtools.util.OptionalBoolean;
38 import org.opendaylight.yangtools.yang.common.QName;
39 import org.opendaylight.yangtools.yang.common.QNameModule;
40 import org.opendaylight.yangtools.yang.model.api.YangStmtMapping;
41 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
42 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
43 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
44 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
45 import org.opendaylight.yangtools.yang.model.api.meta.StatementSource;
46 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
47 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
48 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
49 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
50 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
51 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
52 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
53 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
54 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
55 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
56 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
57 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
58 import org.opendaylight.yangtools.yang.parser.spi.source.ImplicitSubstatement;
59 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
60 import org.opendaylight.yangtools.yang.parser.spi.source.StatementSourceReference;
61 import org.opendaylight.yangtools.yang.parser.spi.source.StatementWriter.ResumedStatement;
62 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
63 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
64 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
65 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.PredicateValueAddedListener;
66 import org.slf4j.Logger;
67 import org.slf4j.LoggerFactory;
68
69 public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
70         extends NamespaceStorageSupport implements Mutable<A, D, E>, ResumedStatement {
71     /**
72      * Event listener when an item is added to model namespace.
73      */
74     interface OnNamespaceItemAdded extends EventListener {
75         /**
76          * Invoked whenever a new item is added to a namespace.
77          */
78         void namespaceItemAdded(StatementContextBase<?, ?, ?> context, Class<?> namespace, Object key, Object value);
79     }
80
81     /**
82      * Event listener when a parsing {@link ModelProcessingPhase} is completed.
83      */
84     interface OnPhaseFinished extends EventListener {
85         /**
86          * Invoked whenever a processing phase has finished.
87          */
88         boolean phaseFinished(StatementContextBase<?, ?, ?> context, ModelProcessingPhase finishedPhase);
89     }
90
91     /**
92      * Interface for all mutations within an {@link ModelActionBuilder.InferenceAction}.
93      */
94     interface ContextMutation {
95
96         boolean isFinished();
97     }
98
99     private static final Logger LOG = LoggerFactory.getLogger(StatementContextBase.class);
100
101     private final @NonNull StatementDefinitionContext<A, D, E> definition;
102     private final @NonNull StatementSourceReference statementDeclSource;
103     private final StmtContext<?, ?, ?> originalCtx;
104     private final StmtContext<?, ?, ?> prevCopyCtx;
105     private final CopyHistory copyHistory;
106     private final String rawArgument;
107
108     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
109     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
110     private List<Mutable<?, ?, ?>> effective = ImmutableList.of();
111     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
112     private StatementMap substatements = StatementMap.empty();
113
114     private boolean isSupportedToBuildEffective = true;
115     private @Nullable ModelProcessingPhase completedPhase;
116     private @Nullable D declaredInstance;
117     private @Nullable E effectiveInstance;
118
119     // BooleanFields value
120     private byte supportedByFeatures;
121
122     private boolean fullyDefined;
123
124     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final StatementSourceReference ref,
125             final String rawArgument) {
126         this.definition = requireNonNull(def);
127         this.statementDeclSource = requireNonNull(ref);
128         this.rawArgument = def.internArgument(rawArgument);
129         this.copyHistory = CopyHistory.original();
130         this.originalCtx = null;
131         this.prevCopyCtx = null;
132     }
133
134     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final StatementSourceReference ref,
135         final String rawArgument, final CopyType copyType) {
136         this.definition = requireNonNull(def);
137         this.statementDeclSource = requireNonNull(ref);
138         this.rawArgument = rawArgument;
139         this.copyHistory = CopyHistory.of(copyType, CopyHistory.original());
140         this.originalCtx = null;
141         this.prevCopyCtx = null;
142     }
143
144     StatementContextBase(final StatementContextBase<A, D, E> original, final CopyType copyType) {
145         this.definition = original.definition;
146         this.statementDeclSource = original.statementDeclSource;
147         this.rawArgument = original.rawArgument;
148         this.copyHistory = CopyHistory.of(copyType, original.getCopyHistory());
149         this.originalCtx = original.getOriginalCtx().orElse(original);
150         this.prevCopyCtx = original;
151     }
152
153     StatementContextBase(final StatementContextBase<A, D, E> original) {
154         this.definition = original.definition;
155         this.statementDeclSource = original.statementDeclSource;
156         this.rawArgument = original.rawArgument;
157         this.copyHistory = original.getCopyHistory();
158         this.originalCtx = original.getOriginalCtx().orElse(original);
159         this.prevCopyCtx = original;
160         this.substatements = original.substatements;
161         this.effective = original.effective;
162     }
163
164     @Override
165     public Collection<? extends StmtContext<?, ?, ?>> getEffectOfStatement() {
166         return effectOfStatement;
167     }
168
169     @Override
170     public void addAsEffectOfStatement(final StmtContext<?, ?, ?> ctx) {
171         if (effectOfStatement.isEmpty()) {
172             effectOfStatement = new ArrayList<>(1);
173         }
174         effectOfStatement.add(ctx);
175     }
176
177     @Override
178     public void addAsEffectOfStatement(final Collection<? extends StmtContext<?, ?, ?>> ctxs) {
179         if (ctxs.isEmpty()) {
180             return;
181         }
182
183         if (effectOfStatement.isEmpty()) {
184             effectOfStatement = new ArrayList<>(ctxs.size());
185         }
186         effectOfStatement.addAll(ctxs);
187     }
188
189     @Override
190     public boolean isSupportedByFeatures() {
191         if (OptionalBoolean.isPresent(supportedByFeatures)) {
192             return OptionalBoolean.get(supportedByFeatures);
193         }
194
195         if (isIgnoringIfFeatures()) {
196             supportedByFeatures = OptionalBoolean.of(true);
197             return true;
198         }
199
200         final boolean isParentSupported = isParentSupportedByFeatures();
201         /*
202          * If parent is not supported, then this context is also not supported.
203          * So we do not need to check if-features statements of this context and
204          * we can return false immediately.
205          */
206         if (!isParentSupported) {
207             supportedByFeatures = OptionalBoolean.of(false);
208             return false;
209         }
210
211         /*
212          * If parent is supported, we need to check if-features statements of
213          * this context.
214          */
215         // If the set of supported features has not been provided, all features are supported by default.
216         final Set<QName> supportedFeatures = getFromNamespace(SupportedFeaturesNamespace.class,
217                 SupportedFeatures.SUPPORTED_FEATURES);
218         final boolean ret = supportedFeatures == null || StmtContextUtils.checkFeatureSupport(this, supportedFeatures);
219         supportedByFeatures = OptionalBoolean.of(ret);
220         return ret;
221     }
222
223     protected abstract boolean isParentSupportedByFeatures();
224
225     protected abstract boolean isIgnoringIfFeatures();
226
227     protected abstract boolean isIgnoringConfig();
228
229     @Override
230     public boolean isSupportedToBuildEffective() {
231         return isSupportedToBuildEffective;
232     }
233
234     @Override
235     public void setIsSupportedToBuildEffective(final boolean isSupportedToBuildEffective) {
236         this.isSupportedToBuildEffective = isSupportedToBuildEffective;
237     }
238
239     @Override
240     public CopyHistory getCopyHistory() {
241         return copyHistory;
242     }
243
244     @Override
245     public Optional<StmtContext<?, ?, ?>> getOriginalCtx() {
246         return Optional.ofNullable(originalCtx);
247     }
248
249     @Override
250     public Optional<? extends StmtContext<?, ?, ?>> getPreviousCopyCtx() {
251         return Optional.ofNullable(prevCopyCtx);
252     }
253
254     @Override
255     public ModelProcessingPhase getCompletedPhase() {
256         return completedPhase;
257     }
258
259     @Override
260     public void setCompletedPhase(final ModelProcessingPhase completedPhase) {
261         this.completedPhase = completedPhase;
262     }
263
264     @Override
265     public abstract StatementContextBase<?, ?, ?> getParentContext();
266
267     /**
268      * Returns the model root for this statement.
269      *
270      * @return root context of statement
271      */
272     @Override
273     public abstract RootStatementContext<?, ?, ?> getRoot();
274
275     /**
276      * Returns the origin of the statement.
277      *
278      * @return origin of statement
279      */
280     @Override
281     public StatementSource getStatementSource() {
282         return statementDeclSource.getStatementSource();
283     }
284
285     /**
286      * Returns a reference to statement source.
287      *
288      * @return reference of statement source
289      */
290     @Override
291     public StatementSourceReference getStatementSourceReference() {
292         return statementDeclSource;
293     }
294
295     @Override
296     public final String rawStatementArgument() {
297         return rawArgument;
298     }
299
300     @Override
301     public Collection<? extends StmtContext<?, ?, ?>> declaredSubstatements() {
302         return substatements.values();
303     }
304
305     @Override
306     public Collection<? extends Mutable<?, ?, ?>> mutableDeclaredSubstatements() {
307         return substatements.values();
308     }
309
310     @Override
311     public Collection<? extends StmtContext<?, ?, ?>> effectiveSubstatements() {
312         return mutableEffectiveSubstatements();
313     }
314
315     @Override
316     public Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
317         if (effective instanceof ImmutableCollection) {
318             return effective;
319         }
320
321         return Collections.unmodifiableCollection(effective);
322     }
323
324     /**
325      * Remove a set of statements from effective statements.
326      *
327      * @param statements statements to be removed
328      * @deprecated This method was used by EffectiveStatementBase to restore proper order of effects of uses statements.
329      *             It is no longer used in that capacity and slated for removal.
330      */
331     // FIXME: 5.0.0: remove this method
332     @Deprecated
333     public void removeStatementsFromEffectiveSubstatements(
334             final Collection<? extends StmtContext<?, ?, ?>> statements) {
335         if (!effective.isEmpty()) {
336             effective.removeAll(statements);
337             shrinkEffective();
338         }
339     }
340
341     private void shrinkEffective() {
342         if (effective.isEmpty()) {
343             effective = ImmutableList.of();
344         }
345     }
346
347     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
348         if (effective.isEmpty()) {
349             return;
350         }
351
352         final Iterator<? extends StmtContext<?, ?, ?>> iterator = effective.iterator();
353         while (iterator.hasNext()) {
354             final StmtContext<?, ?, ?> next = iterator.next();
355             if (statementDef.equals(next.getPublicDefinition())) {
356                 iterator.remove();
357             }
358         }
359
360         shrinkEffective();
361     }
362
363     /**
364      * Removes a statement context from the effective substatements based on its statement definition (i.e statement
365      * keyword) and raw (in String form) statement argument. The statement context is removed only if both statement
366      * definition and statement argument match with one of the effective substatements' statement definition
367      * and argument.
368      *
369      * <p>
370      * If the statementArg parameter is null, the statement context is removed based only on its statement definition.
371      *
372      * @param statementDef statement definition of the statement context to remove
373      * @param statementArg statement argument of the statement context to remove
374      */
375     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
376             final String statementArg) {
377         if (statementArg == null) {
378             removeStatementFromEffectiveSubstatements(statementDef);
379         }
380
381         if (effective.isEmpty()) {
382             return;
383         }
384
385         final Iterator<Mutable<?, ?, ?>> iterator = effective.iterator();
386         while (iterator.hasNext()) {
387             final Mutable<?, ?, ?> next = iterator.next();
388             if (statementDef.equals(next.getPublicDefinition()) && statementArg.equals(next.rawStatementArgument())) {
389                 iterator.remove();
390             }
391         }
392
393         shrinkEffective();
394     }
395
396     /**
397      * Adds an effective statement to collection of substatements.
398      *
399      * @param substatement substatement
400      * @throws IllegalStateException
401      *             if added in declared phase
402      * @throws NullPointerException
403      *             if statement parameter is null
404      */
405     public void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
406         beforeAddEffectiveStatement(1);
407         effective.add(substatement);
408     }
409
410     /**
411      * Adds an effective statement to collection of substatements.
412      *
413      * @param statements substatements
414      * @throws IllegalStateException
415      *             if added in declared phase
416      * @throws NullPointerException
417      *             if statement parameter is null
418      */
419     public void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
420         if (statements.isEmpty()) {
421             return;
422         }
423
424         statements.forEach(Objects::requireNonNull);
425         beforeAddEffectiveStatement(statements.size());
426         effective.addAll(statements);
427     }
428
429     private void beforeAddEffectiveStatement(final int toAdd) {
430         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
431         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
432                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
433                 "Effective statement cannot be added in declared phase at: %s", getStatementSourceReference());
434
435         if (effective.isEmpty()) {
436             effective = new ArrayList<>(toAdd);
437         }
438     }
439
440     /**
441      * Create a new substatement at the specified offset.
442      *
443      * @param offset Substatement offset
444      * @param def definition context
445      * @param ref source reference
446      * @param argument statement argument
447      * @param <X> new substatement argument type
448      * @param <Y> new substatement declared type
449      * @param <Z> new substatement effective type
450      * @return A new substatement
451      */
452     @SuppressWarnings("checkstyle:methodTypeParameterName")
453     public final <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>>
454             StatementContextBase<X, Y, Z> createSubstatement(final int offset,
455                     final StatementDefinitionContext<X, Y, Z> def, final StatementSourceReference ref,
456                     final String argument) {
457         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
458         checkState(inProgressPhase != ModelProcessingPhase.EFFECTIVE_MODEL,
459                 "Declared statement cannot be added in effective phase at: %s", getStatementSourceReference());
460
461         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(def.getPublicView());
462         if (implicitParent.isPresent()) {
463             return createImplicitParent(offset, implicitParent.get(), ref, argument).createSubstatement(offset, def,
464                     ref, argument);
465         }
466
467         final StatementContextBase<X, Y, Z> ret = new SubstatementContext<>(this, def, ref, argument);
468         substatements = substatements.put(offset, ret);
469         def.onStatementAdded(ret);
470         return ret;
471     }
472
473     private StatementContextBase<?, ?, ?> createImplicitParent(final int offset,
474             final StatementSupport<?, ?, ?> implicitParent, final StatementSourceReference ref, final String argument) {
475         final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent);
476         return createSubstatement(offset, def, ImplicitSubstatement.of(ref), argument);
477     }
478
479     public void appendImplicitStatement(final StatementSupport<?, ?, ?> statementToAdd) {
480         createSubstatement(substatements.capacity(), new StatementDefinitionContext<>(statementToAdd),
481                 ImplicitSubstatement.of(getStatementSourceReference()), null);
482     }
483
484     /**
485      * Lookup substatement by its offset in this statement.
486      *
487      * @param offset Substatement offset
488      * @return Substatement, or null if substatement does not exist.
489      */
490     final StatementContextBase<?, ?, ?> lookupSubstatement(final int offset) {
491         return substatements.get(offset);
492     }
493
494     final void setFullyDefined() {
495         this.fullyDefined = true;
496     }
497
498     final void resizeSubstatements(final int expectedSize) {
499         substatements = substatements.ensureCapacity(expectedSize);
500     }
501
502     final void walkChildren(final ModelProcessingPhase phase) {
503         checkState(fullyDefined);
504         substatements.values().forEach(stmt -> {
505             stmt.walkChildren(phase);
506             stmt.endDeclared(phase);
507         });
508     }
509
510     @Override
511     public D buildDeclared() {
512         checkArgument(completedPhase == ModelProcessingPhase.FULL_DECLARATION
513                 || completedPhase == ModelProcessingPhase.EFFECTIVE_MODEL);
514         if (declaredInstance == null) {
515             declaredInstance = definition().getFactory().createDeclared(this);
516         }
517         return declaredInstance;
518     }
519
520     @Override
521     public E buildEffective() {
522         if (effectiveInstance == null) {
523             effectiveInstance = definition().getFactory().createEffective(this);
524         }
525         return effectiveInstance;
526     }
527
528     /**
529      * tries to execute current {@link ModelProcessingPhase} of source parsing.
530      *
531      * @param phase
532      *            to be executed (completed)
533      * @return if phase was successfully completed
534      * @throws SourceException
535      *             when an error occurred in source parsing
536      */
537     boolean tryToCompletePhase(final ModelProcessingPhase phase) {
538
539         boolean finished = true;
540         final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
541         if (!openMutations.isEmpty()) {
542             final Iterator<ContextMutation> it = openMutations.iterator();
543             while (it.hasNext()) {
544                 final ContextMutation current = it.next();
545                 if (current.isFinished()) {
546                     it.remove();
547                 } else {
548                     finished = false;
549                 }
550             }
551
552             if (openMutations.isEmpty()) {
553                 phaseMutation.removeAll(phase);
554                 if (phaseMutation.isEmpty()) {
555                     phaseMutation = ImmutableMultimap.of();
556                 }
557             }
558         }
559
560         for (final StatementContextBase<?, ?, ?> child : substatements.values()) {
561             finished &= child.tryToCompletePhase(phase);
562         }
563         for (final Mutable<?, ?, ?> child : effective) {
564             if (child instanceof StatementContextBase) {
565                 finished &= ((StatementContextBase<?, ?, ?>) child).tryToCompletePhase(phase);
566             }
567         }
568
569         if (finished) {
570             onPhaseCompleted(phase);
571             return true;
572         }
573         return false;
574     }
575
576     /**
577      * Occurs on end of {@link ModelProcessingPhase} of source parsing.
578      *
579      * @param phase
580      *            that was to be completed (finished)
581      * @throws SourceException
582      *             when an error occurred in source parsing
583      */
584     private void onPhaseCompleted(final ModelProcessingPhase phase) {
585         completedPhase = phase;
586
587         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
588         if (listeners.isEmpty()) {
589             return;
590         }
591
592         final Iterator<OnPhaseFinished> listener = listeners.iterator();
593         while (listener.hasNext()) {
594             final OnPhaseFinished next = listener.next();
595             if (next.phaseFinished(this, phase)) {
596                 listener.remove();
597             }
598         }
599
600         if (listeners.isEmpty()) {
601             phaseListeners.removeAll(phase);
602             if (phaseListeners.isEmpty()) {
603                 phaseListeners = ImmutableMultimap.of();
604             }
605         }
606     }
607
608     /**
609      * Ends declared section of current node.
610      */
611     void endDeclared(final ModelProcessingPhase phase) {
612         definition().onDeclarationFinished(this, phase);
613     }
614
615     /**
616      * Return the context in which this statement was defined.
617      *
618      * @return statement definition
619      */
620     protected final @NonNull StatementDefinitionContext<A, D, E> definition() {
621         return definition;
622     }
623
624     @Override
625     protected void checkLocalNamespaceAllowed(final Class<? extends IdentifierNamespace<?, ?>> type) {
626         definition().checkNamespaceAllowed(type);
627     }
628
629     @Override
630     protected <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceElementAdded(final Class<N> type, final K key,
631             final V value) {
632         // definition().onNamespaceElementAdded(this, type, key, value);
633     }
634
635     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type, final K key,
636             final OnNamespaceItemAdded listener) {
637         final Object potential = getFromNamespace(type, key);
638         if (potential != null) {
639             LOG.trace("Listener on {} key {} satisfied immediately", type, key);
640             listener.namespaceItemAdded(this, type, key, potential);
641             return;
642         }
643
644         getBehaviour(type).addListener(new KeyedValueAddedListener<K>(this, key) {
645             @Override
646             void onValueAdded(final Object value) {
647                 listener.namespaceItemAdded(StatementContextBase.this, type, key, value);
648             }
649         });
650     }
651
652     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type,
653             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
654             final OnNamespaceItemAdded listener) {
655         final Optional<Entry<K, V>> existing = getFromNamespace(type, criterion);
656         if (existing.isPresent()) {
657             final Entry<K, V> entry = existing.get();
658             LOG.debug("Listener on {} criterion {} found a pre-existing match: {}", type, criterion, entry);
659             waitForPhase(entry.getValue(), type, phase, criterion, listener);
660             return;
661         }
662
663         final NamespaceBehaviourWithListeners<K, V, N> behaviour = getBehaviour(type);
664         behaviour.addListener(new PredicateValueAddedListener<K, V>(this) {
665             @Override
666             boolean onValueAdded(final K key, final V value) {
667                 if (criterion.match(key)) {
668                     LOG.debug("Listener on {} criterion {} matched added key {}", type, criterion, key);
669                     waitForPhase(value, type, phase, criterion, listener);
670                     return true;
671                 }
672
673                 return false;
674             }
675         });
676     }
677
678     final <K, V, N extends IdentifierNamespace<K, V>> void selectMatch(final Class<N> type,
679             final NamespaceKeyCriterion<K> criterion, final OnNamespaceItemAdded listener) {
680         final Optional<Entry<K, V>> optMatch = getFromNamespace(type, criterion);
681         checkState(optMatch.isPresent(), "Failed to find a match for criterion %s in namespace %s node %s", criterion,
682             type, this);
683         final Entry<K, V> match = optMatch.get();
684         listener.namespaceItemAdded(StatementContextBase.this, type, match.getKey(), match.getValue());
685     }
686
687     final <K, V, N extends IdentifierNamespace<K, V>> void waitForPhase(final Object value, final Class<N> type,
688             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
689             final OnNamespaceItemAdded listener) {
690         ((StatementContextBase<?, ? ,?>) value).addPhaseCompletedListener(phase,
691             (context, phaseCompleted) -> {
692                 selectMatch(type, criterion, listener);
693                 return true;
694             });
695     }
696
697     private <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getBehaviour(
698             final Class<N> type) {
699         final NamespaceBehaviour<K, V, N> behaviour = getBehaviourRegistry().getNamespaceBehaviour(type);
700         checkArgument(behaviour instanceof NamespaceBehaviourWithListeners, "Namespace %s does not support listeners",
701             type);
702
703         return (NamespaceBehaviourWithListeners<K, V, N>) behaviour;
704     }
705
706     /**
707      * See {@link StatementSupport#getPublicView()}.
708      */
709     @Override
710     public StatementDefinition getPublicDefinition() {
711         return definition().getPublicView();
712     }
713
714     @Override
715     public ModelActionBuilder newInferenceAction(final ModelProcessingPhase phase) {
716         return getRoot().getSourceContext().newInferenceAction(phase);
717     }
718
719     private static <T> Multimap<ModelProcessingPhase, T> newMultimap() {
720         return Multimaps.newListMultimap(new EnumMap<>(ModelProcessingPhase.class), () -> new ArrayList<>(1));
721     }
722
723     /**
724      * Adds {@link OnPhaseFinished} listener for a {@link ModelProcessingPhase} end. If the base has already completed
725      * the listener is notified immediately.
726      *
727      * @param phase requested completion phase
728      * @param listener listener to invoke
729      * @throws NullPointerException if any of the arguments is null
730      */
731     void addPhaseCompletedListener(final ModelProcessingPhase phase, final OnPhaseFinished listener) {
732         checkNotNull(phase, "Statement context processing phase cannot be null at: %s", getStatementSourceReference());
733         checkNotNull(listener, "Statement context phase listener cannot be null at: %s", getStatementSourceReference());
734
735         ModelProcessingPhase finishedPhase = completedPhase;
736         while (finishedPhase != null) {
737             if (phase.equals(finishedPhase)) {
738                 listener.phaseFinished(this, finishedPhase);
739                 return;
740             }
741             finishedPhase = finishedPhase.getPreviousPhase();
742         }
743         if (phaseListeners.isEmpty()) {
744             phaseListeners = newMultimap();
745         }
746
747         phaseListeners.put(phase, listener);
748     }
749
750     /**
751      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
752      *
753      * @throws IllegalStateException
754      *             when the mutation was registered after phase was completed
755      */
756     void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
757         ModelProcessingPhase finishedPhase = completedPhase;
758         while (finishedPhase != null) {
759             checkState(!phase.equals(finishedPhase), "Mutation registered after phase was completed at: %s",
760                 getStatementSourceReference());
761             finishedPhase = finishedPhase.getPreviousPhase();
762         }
763
764         if (phaseMutation.isEmpty()) {
765             phaseMutation = newMultimap();
766         }
767         phaseMutation.put(phase, mutation);
768     }
769
770     @Override
771     public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<N> namespace,
772             final KT key,final StmtContext<?, ?, ?> stmt) {
773         addContextToNamespace(namespace, key, stmt);
774     }
775
776     @Override
777     public <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
778             final StmtContext<X, Y, Z> stmt, final CopyType type, final QNameModule targetModule) {
779         checkState(stmt.getCompletedPhase() == ModelProcessingPhase.EFFECTIVE_MODEL,
780                 "Attempted to copy statement %s which has completed phase %s", stmt, stmt.getCompletedPhase());
781
782         checkArgument(stmt instanceof SubstatementContext, "Unsupported statement %s", stmt);
783
784         final SubstatementContext<X, Y, Z> original = (SubstatementContext<X, Y, Z>)stmt;
785         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(
786             original.getPublicDefinition());
787
788         final SubstatementContext<X, Y, Z> result;
789         final SubstatementContext<X, Y, Z> copy;
790
791         if (implicitParent.isPresent()) {
792             final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent.get());
793             result = new SubstatementContext(this, def, original.getSourceReference(),
794                 original.rawStatementArgument(), original.getStatementArgument(), type);
795
796             final CopyType childCopyType;
797             switch (type) {
798                 case ADDED_BY_AUGMENTATION:
799                     childCopyType = CopyType.ORIGINAL;
800                     break;
801                 case ADDED_BY_USES_AUGMENTATION:
802                     childCopyType = CopyType.ADDED_BY_USES;
803                     break;
804                 case ADDED_BY_USES:
805                 case ORIGINAL:
806                 default:
807                     childCopyType = type;
808             }
809
810             copy = new SubstatementContext<>(original, result, childCopyType, targetModule);
811             result.addEffectiveSubstatement(copy);
812             original.definition().onStatementAdded(copy);
813         } else {
814             result = copy = new SubstatementContext<>(original, this, type, targetModule);
815             original.definition().onStatementAdded(copy);
816         }
817
818         original.copyTo(copy, type, targetModule);
819         return result;
820     }
821
822     @Override
823     public @NonNull StatementDefinition getDefinition() {
824         return getPublicDefinition();
825     }
826
827     @Override
828     public @NonNull StatementSourceReference getSourceReference() {
829         return getStatementSourceReference();
830     }
831
832     @Override
833     public boolean isFullyDefined() {
834         return fullyDefined;
835     }
836
837     @Beta
838     public final boolean hasImplicitParentSupport() {
839         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
840     }
841
842     @Beta
843     public final StatementContextBase<?, ?, ?> wrapWithImplicit(final StatementContextBase<?, ?, ?> original) {
844         final Optional<StatementSupport<?, ?, ?>> optImplicit = definition.getImplicitParentFor(
845             original.getPublicDefinition());
846         if (!optImplicit.isPresent()) {
847             return original;
848         }
849
850         final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(optImplicit.get());
851         final CopyType type = original.getCopyHistory().getLastOperation();
852         final SubstatementContext<?, ?, ?> result = new SubstatementContext(original.getParentContext(), def,
853             original.getStatementSourceReference(), original.rawStatementArgument(), original.getStatementArgument(),
854             type);
855
856         result.addEffectiveSubstatement(new SubstatementContext<>(original, result));
857         result.setCompletedPhase(original.getCompletedPhase());
858         return result;
859     }
860
861     final void copyTo(final StatementContextBase<?, ?, ?> target, final CopyType typeOfCopy,
862             @Nullable final QNameModule targetModule) {
863         final Collection<Mutable<?, ?, ?>> buffer = new ArrayList<>(substatements.size() + effective.size());
864
865         for (final Mutable<?, ?, ?> stmtContext : substatements.values()) {
866             if (stmtContext.isSupportedByFeatures()) {
867                 copySubstatement(stmtContext, target, typeOfCopy, targetModule, buffer);
868             }
869         }
870
871         for (final Mutable<?, ?, ?> stmtContext : effective) {
872             copySubstatement(stmtContext, target, typeOfCopy, targetModule, buffer);
873         }
874
875         target.addEffectiveSubstatements(buffer);
876     }
877
878     private void copySubstatement(final Mutable<?, ?, ?> stmtContext,  final Mutable<?, ?, ?> target,
879             final CopyType typeOfCopy, final QNameModule newQNameModule, final Collection<Mutable<?, ?, ?>> buffer) {
880         if (needToCopyByUses(stmtContext)) {
881             final Mutable<?, ?, ?> copy = target.childCopyOf(stmtContext, typeOfCopy, newQNameModule);
882             LOG.debug("Copying substatement {} for {} as {}", stmtContext, this, copy);
883             buffer.add(copy);
884         } else if (isReusedByUses(stmtContext)) {
885             LOG.debug("Reusing substatement {} for {}", stmtContext, this);
886             buffer.add(stmtContext);
887         } else {
888             LOG.debug("Skipping statement {}", stmtContext);
889         }
890     }
891
892     // FIXME: revise this, as it seems to be wrong
893     private static final ImmutableSet<YangStmtMapping> NOCOPY_FROM_GROUPING_SET = ImmutableSet.of(
894         YangStmtMapping.DESCRIPTION,
895         YangStmtMapping.REFERENCE,
896         YangStmtMapping.STATUS);
897     private static final ImmutableSet<YangStmtMapping> REUSED_DEF_SET = ImmutableSet.of(
898         YangStmtMapping.TYPE,
899         YangStmtMapping.TYPEDEF,
900         YangStmtMapping.USES);
901
902     private static boolean needToCopyByUses(final StmtContext<?, ?, ?> stmtContext) {
903         final StatementDefinition def = stmtContext.getPublicDefinition();
904         if (REUSED_DEF_SET.contains(def)) {
905             LOG.debug("Will reuse {} statement {}", def, stmtContext);
906             return false;
907         }
908         if (NOCOPY_FROM_GROUPING_SET.contains(def)) {
909             return !YangStmtMapping.GROUPING.equals(stmtContext.coerceParentContext().getPublicDefinition());
910         }
911
912         LOG.debug("Will copy {} statement {}", def, stmtContext);
913         return true;
914     }
915
916     private static boolean isReusedByUses(final StmtContext<?, ?, ?> stmtContext) {
917         return REUSED_DEF_SET.contains(stmtContext.getPublicDefinition());
918     }
919
920     @Override
921     public final String toString() {
922         return addToStringAttributes(MoreObjects.toStringHelper(this).omitNullValues()).toString();
923     }
924
925     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
926         return toStringHelper.add("definition", definition).add("rawArgument", rawArgument);
927     }
928 }