Make declared statement inheritance a StatementContextBase property
[yangtools.git] / yang / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / StatementContextBase.java
1 /*
2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
9
10 import static com.google.common.base.Preconditions.checkArgument;
11 import static com.google.common.base.Preconditions.checkNotNull;
12 import static com.google.common.base.Preconditions.checkState;
13 import static com.google.common.base.Verify.verify;
14 import static java.util.Objects.requireNonNull;
15
16 import com.google.common.annotations.Beta;
17 import com.google.common.base.MoreObjects;
18 import com.google.common.base.MoreObjects.ToStringHelper;
19 import com.google.common.collect.ImmutableCollection;
20 import com.google.common.collect.ImmutableList;
21 import com.google.common.collect.ImmutableMultimap;
22 import com.google.common.collect.Multimap;
23 import com.google.common.collect.Multimaps;
24 import java.util.ArrayList;
25 import java.util.Collection;
26 import java.util.Collections;
27 import java.util.EnumMap;
28 import java.util.EventListener;
29 import java.util.Iterator;
30 import java.util.List;
31 import java.util.Map;
32 import java.util.Map.Entry;
33 import java.util.Objects;
34 import java.util.Optional;
35 import java.util.Set;
36 import org.eclipse.jdt.annotation.NonNull;
37 import org.eclipse.jdt.annotation.Nullable;
38 import org.opendaylight.yangtools.yang.common.QName;
39 import org.opendaylight.yangtools.yang.common.QNameModule;
40 import org.opendaylight.yangtools.yang.common.YangVersion;
41 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
42 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
43 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
44 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
45 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
46 import org.opendaylight.yangtools.yang.model.api.meta.StatementSource;
47 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
48 import org.opendaylight.yangtools.yang.model.api.stmt.ConfigStatement;
49 import org.opendaylight.yangtools.yang.model.api.stmt.DeviationStatement;
50 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
51 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
52 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
53 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
54 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyHistory;
55 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
56 import org.opendaylight.yangtools.yang.parser.spi.meta.ImplicitParentAwareStatementSupport;
57 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
58 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
59 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
60 import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
61 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
62 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
63 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceKeyCriterion;
64 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceNotAvailableException;
65 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementNamespace;
66 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
67 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
68 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
69 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
70 import org.opendaylight.yangtools.yang.parser.spi.source.ImplicitSubstatement;
71 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
72 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
73 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
74 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.KeyedValueAddedListener;
75 import org.opendaylight.yangtools.yang.parser.stmt.reactor.NamespaceBehaviourWithListeners.PredicateValueAddedListener;
76 import org.slf4j.Logger;
77 import org.slf4j.LoggerFactory;
78
79 /**
80  * Core reactor statement implementation of {@link Mutable}.
81  *
82  * @param <A> Argument type
83  * @param <D> Declared Statement representation
84  * @param <E> Effective Statement representation
85  */
86 public abstract class StatementContextBase<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
87         extends NamespaceStorageSupport implements Mutable<A, D, E> {
88     /**
89      * Event listener when an item is added to model namespace.
90      */
91     interface OnNamespaceItemAdded extends EventListener {
92         /**
93          * Invoked whenever a new item is added to a namespace.
94          */
95         void namespaceItemAdded(StatementContextBase<?, ?, ?> context, Class<?> namespace, Object key, Object value);
96     }
97
98     /**
99      * Event listener when a parsing {@link ModelProcessingPhase} is completed.
100      */
101     interface OnPhaseFinished extends EventListener {
102         /**
103          * Invoked whenever a processing phase has finished.
104          */
105         boolean phaseFinished(StatementContextBase<?, ?, ?> context, ModelProcessingPhase finishedPhase);
106     }
107
108     /**
109      * Interface for all mutations within an {@link ModelActionBuilder.InferenceAction}.
110      */
111     interface ContextMutation {
112
113         boolean isFinished();
114     }
115
116     private static final Logger LOG = LoggerFactory.getLogger(StatementContextBase.class);
117
118     // Flag bit assignments
119     private static final int IS_SUPPORTED_BY_FEATURES    = 0x01;
120     private static final int HAVE_SUPPORTED_BY_FEATURES  = 0x02;
121     private static final int IS_IGNORE_IF_FEATURE        = 0x04;
122     private static final int HAVE_IGNORE_IF_FEATURE      = 0x08;
123     // Note: these four are related
124     private static final int IS_IGNORE_CONFIG            = 0x10;
125     private static final int HAVE_IGNORE_CONFIG          = 0x20;
126     private static final int IS_CONFIGURATION            = 0x40;
127     private static final int HAVE_CONFIGURATION          = 0x80;
128
129     // Have-and-set flag constants, also used as masks
130     private static final int SET_SUPPORTED_BY_FEATURES = HAVE_SUPPORTED_BY_FEATURES | IS_SUPPORTED_BY_FEATURES;
131     private static final int SET_CONFIGURATION = HAVE_CONFIGURATION | IS_CONFIGURATION;
132     // Note: implies SET_CONFIGURATION, allowing fewer bit operations to be performed
133     private static final int SET_IGNORE_CONFIG = HAVE_IGNORE_CONFIG | IS_IGNORE_CONFIG | SET_CONFIGURATION;
134     private static final int SET_IGNORE_IF_FEATURE = HAVE_IGNORE_IF_FEATURE | IS_IGNORE_IF_FEATURE;
135
136     private final CopyHistory copyHistory;
137     // Note: this field can strictly be derived in InferredStatementContext, but it forms the basis of many of our
138     //       operations, hence we want to keep it close by.
139     private final @NonNull StatementDefinitionContext<A, D, E> definition;
140
141     private Multimap<ModelProcessingPhase, OnPhaseFinished> phaseListeners = ImmutableMultimap.of();
142     private Multimap<ModelProcessingPhase, ContextMutation> phaseMutation = ImmutableMultimap.of();
143     private List<Mutable<?, ?, ?>> effective = ImmutableList.of();
144     private List<StmtContext<?, ?, ?>> effectOfStatement = ImmutableList.of();
145
146     private @Nullable ModelProcessingPhase completedPhase;
147     private @Nullable D declaredInstance;
148     private @Nullable E effectiveInstance;
149
150     // Master flag controlling whether this context can yield an effective statement
151     // FIXME: investigate the mechanics that are being supported by this, as it would be beneficial if we can get rid
152     //        of this flag -- eliminating the initial alignment shadow used by below gap-filler fields.
153     private boolean isSupportedToBuildEffective = true;
154
155     // Flag for use with AbstractResumedStatement. This is hiding in the alignment shadow created by above boolean
156     private boolean fullyDefined;
157
158     // Flags for use with SubstatementContext. These are hiding in the alignment shadow created by above boolean and
159     // hence improve memory layout.
160     private byte flags;
161
162     // SchemaPath cache for use with SubstatementContext and InferredStatementContext. This hurts RootStatementContext
163     // a bit in terms of size -- but those are only a few and SchemaPath is on its way out anyway.
164     private volatile SchemaPath schemaPath;
165
166     // Copy constructor used by subclasses to implement reparent()
167     StatementContextBase(final StatementContextBase<A, D, E> original) {
168         this.copyHistory = original.copyHistory;
169         this.definition = original.definition;
170
171         this.isSupportedToBuildEffective = original.isSupportedToBuildEffective;
172         this.fullyDefined = original.fullyDefined;
173         this.completedPhase = original.completedPhase;
174         this.declaredInstance = original.declaredInstance;
175         this.flags = original.flags;
176     }
177
178     StatementContextBase(final StatementDefinitionContext<A, D, E> def) {
179         this.definition = requireNonNull(def);
180         this.copyHistory = CopyHistory.original();
181     }
182
183     StatementContextBase(final StatementDefinitionContext<A, D, E> def, final CopyHistory copyHistory) {
184         this.definition = requireNonNull(def);
185         this.copyHistory = requireNonNull(copyHistory);
186     }
187
188     @Override
189     public Collection<? extends StmtContext<?, ?, ?>> getEffectOfStatement() {
190         return effectOfStatement;
191     }
192
193     @Override
194     public void addAsEffectOfStatement(final StmtContext<?, ?, ?> ctx) {
195         if (effectOfStatement.isEmpty()) {
196             effectOfStatement = new ArrayList<>(1);
197         }
198         effectOfStatement.add(ctx);
199     }
200
201     @Override
202     public void addAsEffectOfStatement(final Collection<? extends StmtContext<?, ?, ?>> ctxs) {
203         if (ctxs.isEmpty()) {
204             return;
205         }
206
207         if (effectOfStatement.isEmpty()) {
208             effectOfStatement = new ArrayList<>(ctxs.size());
209         }
210         effectOfStatement.addAll(ctxs);
211     }
212
213     @Override
214     public boolean isSupportedByFeatures() {
215         final int fl = flags & SET_SUPPORTED_BY_FEATURES;
216         if (fl != 0) {
217             return fl == SET_SUPPORTED_BY_FEATURES;
218         }
219         if (isIgnoringIfFeatures()) {
220             flags |= SET_SUPPORTED_BY_FEATURES;
221             return true;
222         }
223
224         /*
225          * If parent is supported, we need to check if-features statements of this context.
226          */
227         if (isParentSupportedByFeatures()) {
228             // If the set of supported features has not been provided, all features are supported by default.
229             final Set<QName> supportedFeatures = getFromNamespace(SupportedFeaturesNamespace.class,
230                     SupportedFeatures.SUPPORTED_FEATURES);
231             if (supportedFeatures == null || StmtContextUtils.checkFeatureSupport(this, supportedFeatures)) {
232                 flags |= SET_SUPPORTED_BY_FEATURES;
233                 return true;
234             }
235         }
236
237         // Either parent is not supported or this statement is not supported
238         flags |= HAVE_SUPPORTED_BY_FEATURES;
239         return false;
240     }
241
242     protected abstract boolean isParentSupportedByFeatures();
243
244     @Override
245     public boolean isSupportedToBuildEffective() {
246         return isSupportedToBuildEffective;
247     }
248
249     @Override
250     public void setIsSupportedToBuildEffective(final boolean isSupportedToBuildEffective) {
251         this.isSupportedToBuildEffective = isSupportedToBuildEffective;
252     }
253
254     @Override
255     public CopyHistory getCopyHistory() {
256         return copyHistory;
257     }
258
259     @Override
260     public ModelProcessingPhase getCompletedPhase() {
261         return completedPhase;
262     }
263
264     @Override
265     public void setCompletedPhase(final ModelProcessingPhase completedPhase) {
266         this.completedPhase = completedPhase;
267     }
268
269     @Override
270     public abstract StatementContextBase<?, ?, ?> getParentContext();
271
272     /**
273      * Returns the model root for this statement.
274      *
275      * @return root context of statement
276      */
277     @Override
278     public abstract RootStatementContext<?, ?, ?> getRoot();
279
280     @Override
281     public final @NonNull Registry getBehaviourRegistry() {
282         return getRoot().getBehaviourRegistryImpl();
283     }
284
285     @Override
286     public final YangVersion getRootVersion() {
287         return getRoot().getRootVersionImpl();
288     }
289
290     @Override
291     public final void setRootVersion(final YangVersion version) {
292         getRoot().setRootVersionImpl(version);
293     }
294
295     @Override
296     public final void addMutableStmtToSeal(final MutableStatement mutableStatement) {
297         getRoot().addMutableStmtToSealImpl(mutableStatement);
298     }
299
300     @Override
301     public final void addRequiredSource(final SourceIdentifier dependency) {
302         getRoot().addRequiredSourceImpl(dependency);
303     }
304
305     @Override
306     public final void setRootIdentifier(final SourceIdentifier identifier) {
307         getRoot().setRootIdentifierImpl(identifier);
308     }
309
310     @Override
311     public final boolean isEnabledSemanticVersioning() {
312         return getRoot().isEnabledSemanticVersioningImpl();
313     }
314
315     @Override
316     public StatementSource getStatementSource() {
317         return getStatementSourceReference().getStatementSource();
318     }
319
320     @Override
321     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromCurrentStmtCtxNamespace(
322             final Class<N> type) {
323         return getLocalNamespace(type);
324     }
325
326     @Override
327     public final <K, V, N extends IdentifierNamespace<K, V>> Map<K, V> getAllFromNamespace(final Class<N> type) {
328         return getNamespace(type);
329     }
330
331     /**
332      * Associate a value with a key within a namespace.
333      *
334      * @param type Namespace type
335      * @param key Key
336      * @param value value
337      * @param <K> namespace key type
338      * @param <V> namespace value type
339      * @param <N> namespace type
340      * @param <T> key type
341      * @param <U> value type
342      * @throws NamespaceNotAvailableException when the namespace is not available.
343      */
344     @Override
345     public final <K, V, T extends K, U extends V, N extends IdentifierNamespace<K, V>> void addToNs(
346             final Class<N> type, final T key, final U value) {
347         addToNamespace(type, key, value);
348     }
349
350     @Override
351     public abstract Collection<? extends StatementContextBase<?, ?, ?>> mutableDeclaredSubstatements();
352
353     /**
354      * Return a value associated with specified key within a namespace.
355      *
356      * @param type Namespace type
357      * @param key Key
358      * @param <K> namespace key type
359      * @param <V> namespace value type
360      * @param <N> namespace type
361      * @param <T> key type
362      * @return Value, or null if there is no element
363      * @throws NamespaceNotAvailableException when the namespace is not available.
364      */
365     @Override
366     public final <K, V, T extends K, N extends IdentifierNamespace<K, V>> V getFromNamespace(final Class<N> type,
367             final T key) {
368         return getBehaviourRegistry().getNamespaceBehaviour(type).getFrom(this, key);
369     }
370
371     @Override
372     public Collection<? extends Mutable<?, ?, ?>> mutableEffectiveSubstatements() {
373         if (effective instanceof ImmutableCollection) {
374             return effective;
375         }
376
377         return Collections.unmodifiableCollection(effective);
378     }
379
380     private void shrinkEffective() {
381         if (effective.isEmpty()) {
382             effective = ImmutableList.of();
383         }
384     }
385
386     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef) {
387         if (effective.isEmpty()) {
388             return;
389         }
390
391         final Iterator<? extends StmtContext<?, ?, ?>> iterator = effective.iterator();
392         while (iterator.hasNext()) {
393             final StmtContext<?, ?, ?> next = iterator.next();
394             if (statementDef.equals(next.getPublicDefinition())) {
395                 iterator.remove();
396             }
397         }
398
399         shrinkEffective();
400     }
401
402     /**
403      * Removes a statement context from the effective substatements based on its statement definition (i.e statement
404      * keyword) and raw (in String form) statement argument. The statement context is removed only if both statement
405      * definition and statement argument match with one of the effective substatements' statement definition
406      * and argument.
407      *
408      * <p>
409      * If the statementArg parameter is null, the statement context is removed based only on its statement definition.
410      *
411      * @param statementDef statement definition of the statement context to remove
412      * @param statementArg statement argument of the statement context to remove
413      */
414     public void removeStatementFromEffectiveSubstatements(final StatementDefinition statementDef,
415             final String statementArg) {
416         if (statementArg == null) {
417             removeStatementFromEffectiveSubstatements(statementDef);
418         }
419
420         if (effective.isEmpty()) {
421             return;
422         }
423
424         final Iterator<Mutable<?, ?, ?>> iterator = effective.iterator();
425         while (iterator.hasNext()) {
426             final Mutable<?, ?, ?> next = iterator.next();
427             if (statementDef.equals(next.getPublicDefinition()) && statementArg.equals(next.rawStatementArgument())) {
428                 iterator.remove();
429             }
430         }
431
432         shrinkEffective();
433     }
434
435     // YANG example: RPC/action statements always have 'input' and 'output' defined
436     @Beta
437     public <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> @NonNull Mutable<X, Y, Z>
438             appendImplicitSubstatement(final StatementSupport<X, Y, Z> support, final String rawArg) {
439         // FIXME: YANGTOOLS-652: This does not need to be a SubstatementContext, in can be a specialized
440         //                       StatementContextBase subclass.
441         final Mutable<X, Y, Z> ret = new SubstatementContext<>(this, new StatementDefinitionContext<>(support),
442                 ImplicitSubstatement.of(getStatementSourceReference()), rawArg);
443         support.onStatementAdded(ret);
444         addEffectiveSubstatement(ret);
445         return ret;
446     }
447
448     /**
449      * Adds an effective statement to collection of substatements.
450      *
451      * @param substatement substatement
452      * @throws IllegalStateException
453      *             if added in declared phase
454      * @throws NullPointerException
455      *             if statement parameter is null
456      */
457     public void addEffectiveSubstatement(final Mutable<?, ?, ?> substatement) {
458         beforeAddEffectiveStatement(1);
459         effective.add(substatement);
460     }
461
462     /**
463      * Adds an effective statement to collection of substatements.
464      *
465      * @param statements substatements
466      * @throws IllegalStateException
467      *             if added in declared phase
468      * @throws NullPointerException
469      *             if statement parameter is null
470      */
471     public void addEffectiveSubstatements(final Collection<? extends Mutable<?, ?, ?>> statements) {
472         if (statements.isEmpty()) {
473             return;
474         }
475
476         statements.forEach(Objects::requireNonNull);
477         beforeAddEffectiveStatement(statements.size());
478         effective.addAll(statements);
479     }
480
481     private void beforeAddEffectiveStatement(final int toAdd) {
482         final ModelProcessingPhase inProgressPhase = getRoot().getSourceContext().getInProgressPhase();
483         checkState(inProgressPhase == ModelProcessingPhase.FULL_DECLARATION
484                 || inProgressPhase == ModelProcessingPhase.EFFECTIVE_MODEL,
485                 "Effective statement cannot be added in declared phase at: %s", getStatementSourceReference());
486
487         if (effective.isEmpty()) {
488             effective = new ArrayList<>(toAdd);
489         }
490     }
491
492     // Exists only due to memory optimization
493     final boolean fullyDefined() {
494         return fullyDefined;
495     }
496
497     // Exists only due to memory optimization, should live in AbstractResumedStatement
498     final void setFullyDefined() {
499         fullyDefined = true;
500     }
501
502     @Override
503     public D buildDeclared() {
504         final D existing = declaredInstance;
505         if (existing != null) {
506             return existing;
507         }
508         checkArgument(completedPhase == ModelProcessingPhase.FULL_DECLARATION
509                 || completedPhase == ModelProcessingPhase.EFFECTIVE_MODEL);
510         return declaredInstance = createDeclared();
511     }
512
513     @NonNull D createDeclared() {
514         return definition.getFactory().createDeclared(this);
515     }
516
517     @Override
518     public E buildEffective() {
519         final E existing = effectiveInstance;
520         return existing != null ? existing : (effectiveInstance = definition.getFactory().createEffective(this));
521     }
522
523     /**
524      * tries to execute current {@link ModelProcessingPhase} of source parsing.
525      *
526      * @param phase
527      *            to be executed (completed)
528      * @return if phase was successfully completed
529      * @throws SourceException
530      *             when an error occurred in source parsing
531      */
532     boolean tryToCompletePhase(final ModelProcessingPhase phase) {
533
534         boolean finished = true;
535         final Collection<ContextMutation> openMutations = phaseMutation.get(phase);
536         if (!openMutations.isEmpty()) {
537             final Iterator<ContextMutation> it = openMutations.iterator();
538             while (it.hasNext()) {
539                 final ContextMutation current = it.next();
540                 if (current.isFinished()) {
541                     it.remove();
542                 } else {
543                     finished = false;
544                 }
545             }
546
547             if (openMutations.isEmpty()) {
548                 phaseMutation.removeAll(phase);
549                 if (phaseMutation.isEmpty()) {
550                     phaseMutation = ImmutableMultimap.of();
551                 }
552             }
553         }
554
555         for (final StatementContextBase<?, ?, ?> child : mutableDeclaredSubstatements()) {
556             finished &= child.tryToCompletePhase(phase);
557         }
558         for (final Mutable<?, ?, ?> child : effective) {
559             if (child instanceof StatementContextBase) {
560                 finished &= ((StatementContextBase<?, ?, ?>) child).tryToCompletePhase(phase);
561             }
562         }
563
564         if (finished) {
565             onPhaseCompleted(phase);
566             return true;
567         }
568         return false;
569     }
570
571     /**
572      * Occurs on end of {@link ModelProcessingPhase} of source parsing.
573      *
574      * @param phase
575      *            that was to be completed (finished)
576      * @throws SourceException
577      *             when an error occurred in source parsing
578      */
579     private void onPhaseCompleted(final ModelProcessingPhase phase) {
580         completedPhase = phase;
581
582         final Collection<OnPhaseFinished> listeners = phaseListeners.get(phase);
583         if (listeners.isEmpty()) {
584             return;
585         }
586
587         final Iterator<OnPhaseFinished> listener = listeners.iterator();
588         while (listener.hasNext()) {
589             final OnPhaseFinished next = listener.next();
590             if (next.phaseFinished(this, phase)) {
591                 listener.remove();
592             }
593         }
594
595         if (listeners.isEmpty()) {
596             phaseListeners.removeAll(phase);
597             if (phaseListeners.isEmpty()) {
598                 phaseListeners = ImmutableMultimap.of();
599             }
600         }
601     }
602
603     /**
604      * Ends declared section of current node.
605      */
606     void endDeclared(final ModelProcessingPhase phase) {
607         definition.onDeclarationFinished(this, phase);
608     }
609
610     /**
611      * Return the context in which this statement was defined.
612      *
613      * @return statement definition
614      */
615     protected final @NonNull StatementDefinitionContext<A, D, E> definition() {
616         return definition;
617     }
618
619     @Override
620     protected void checkLocalNamespaceAllowed(final Class<? extends IdentifierNamespace<?, ?>> type) {
621         definition.checkNamespaceAllowed(type);
622     }
623
624     @Override
625     protected <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceElementAdded(final Class<N> type, final K key,
626             final V value) {
627         // definition().onNamespaceElementAdded(this, type, key, value);
628     }
629
630     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type, final K key,
631             final OnNamespaceItemAdded listener) {
632         final Object potential = getFromNamespace(type, key);
633         if (potential != null) {
634             LOG.trace("Listener on {} key {} satisfied immediately", type, key);
635             listener.namespaceItemAdded(this, type, key, potential);
636             return;
637         }
638
639         getBehaviour(type).addListener(new KeyedValueAddedListener<>(this, key) {
640             @Override
641             void onValueAdded(final Object value) {
642                 listener.namespaceItemAdded(StatementContextBase.this, type, key, value);
643             }
644         });
645     }
646
647     final <K, V, N extends IdentifierNamespace<K, V>> void onNamespaceItemAddedAction(final Class<N> type,
648             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
649             final OnNamespaceItemAdded listener) {
650         final Optional<Entry<K, V>> existing = getFromNamespace(type, criterion);
651         if (existing.isPresent()) {
652             final Entry<K, V> entry = existing.get();
653             LOG.debug("Listener on {} criterion {} found a pre-existing match: {}", type, criterion, entry);
654             waitForPhase(entry.getValue(), type, phase, criterion, listener);
655             return;
656         }
657
658         final NamespaceBehaviourWithListeners<K, V, N> behaviour = getBehaviour(type);
659         behaviour.addListener(new PredicateValueAddedListener<K, V>(this) {
660             @Override
661             boolean onValueAdded(final K key, final V value) {
662                 if (criterion.match(key)) {
663                     LOG.debug("Listener on {} criterion {} matched added key {}", type, criterion, key);
664                     waitForPhase(value, type, phase, criterion, listener);
665                     return true;
666                 }
667
668                 return false;
669             }
670         });
671     }
672
673     final <K, V, N extends IdentifierNamespace<K, V>> void selectMatch(final Class<N> type,
674             final NamespaceKeyCriterion<K> criterion, final OnNamespaceItemAdded listener) {
675         final Optional<Entry<K, V>> optMatch = getFromNamespace(type, criterion);
676         checkState(optMatch.isPresent(), "Failed to find a match for criterion %s in namespace %s node %s", criterion,
677             type, this);
678         final Entry<K, V> match = optMatch.get();
679         listener.namespaceItemAdded(StatementContextBase.this, type, match.getKey(), match.getValue());
680     }
681
682     final <K, V, N extends IdentifierNamespace<K, V>> void waitForPhase(final Object value, final Class<N> type,
683             final ModelProcessingPhase phase, final NamespaceKeyCriterion<K> criterion,
684             final OnNamespaceItemAdded listener) {
685         ((StatementContextBase<?, ? ,?>) value).addPhaseCompletedListener(phase,
686             (context, phaseCompleted) -> {
687                 selectMatch(type, criterion, listener);
688                 return true;
689             });
690     }
691
692     private <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getBehaviour(
693             final Class<N> type) {
694         final NamespaceBehaviour<K, V, N> behaviour = getBehaviourRegistry().getNamespaceBehaviour(type);
695         checkArgument(behaviour instanceof NamespaceBehaviourWithListeners, "Namespace %s does not support listeners",
696             type);
697
698         return (NamespaceBehaviourWithListeners<K, V, N>) behaviour;
699     }
700
701     @Override
702     public StatementDefinition getPublicDefinition() {
703         return definition.getPublicView();
704     }
705
706     @Override
707     public ModelActionBuilder newInferenceAction(final ModelProcessingPhase phase) {
708         return getRoot().getSourceContext().newInferenceAction(phase);
709     }
710
711     private static <T> Multimap<ModelProcessingPhase, T> newMultimap() {
712         return Multimaps.newListMultimap(new EnumMap<>(ModelProcessingPhase.class), () -> new ArrayList<>(1));
713     }
714
715     /**
716      * Adds {@link OnPhaseFinished} listener for a {@link ModelProcessingPhase} end. If the base has already completed
717      * the listener is notified immediately.
718      *
719      * @param phase requested completion phase
720      * @param listener listener to invoke
721      * @throws NullPointerException if any of the arguments is null
722      */
723     void addPhaseCompletedListener(final ModelProcessingPhase phase, final OnPhaseFinished listener) {
724         checkNotNull(phase, "Statement context processing phase cannot be null at: %s", getStatementSourceReference());
725         checkNotNull(listener, "Statement context phase listener cannot be null at: %s", getStatementSourceReference());
726
727         ModelProcessingPhase finishedPhase = completedPhase;
728         while (finishedPhase != null) {
729             if (phase.equals(finishedPhase)) {
730                 listener.phaseFinished(this, finishedPhase);
731                 return;
732             }
733             finishedPhase = finishedPhase.getPreviousPhase();
734         }
735         if (phaseListeners.isEmpty()) {
736             phaseListeners = newMultimap();
737         }
738
739         phaseListeners.put(phase, listener);
740     }
741
742     /**
743      * Adds a {@link ContextMutation} to a {@link ModelProcessingPhase}.
744      *
745      * @throws IllegalStateException
746      *             when the mutation was registered after phase was completed
747      */
748     void addMutation(final ModelProcessingPhase phase, final ContextMutation mutation) {
749         ModelProcessingPhase finishedPhase = completedPhase;
750         while (finishedPhase != null) {
751             checkState(!phase.equals(finishedPhase), "Mutation registered after phase was completed at: %s",
752                 getStatementSourceReference());
753             finishedPhase = finishedPhase.getPreviousPhase();
754         }
755
756         if (phaseMutation.isEmpty()) {
757             phaseMutation = newMultimap();
758         }
759         phaseMutation.put(phase, mutation);
760     }
761
762     @Override
763     public <K, KT extends K, N extends StatementNamespace<K, ?, ?>> void addContext(final Class<N> namespace,
764             final KT key,final StmtContext<?, ?, ?> stmt) {
765         addContextToNamespace(namespace, key, stmt);
766     }
767
768     @Override
769     public final Mutable<?, ?, ?> childCopyOf(final StmtContext<?, ?, ?> stmt, final CopyType type,
770             final QNameModule targetModule) {
771         checkState(stmt.getCompletedPhase() == ModelProcessingPhase.EFFECTIVE_MODEL,
772                 "Attempted to copy statement %s which has completed phase %s", stmt, stmt.getCompletedPhase());
773         checkArgument(stmt instanceof StatementContextBase, "Unsupported statement %s", stmt);
774         return childCopyOf((StatementContextBase<?, ?, ?>) stmt, type, targetModule);
775     }
776
777     private <X, Y extends DeclaredStatement<X>, Z extends EffectiveStatement<X, Y>> Mutable<X, Y, Z> childCopyOf(
778             final StatementContextBase<X, Y, Z> original, final CopyType type, final QNameModule targetModule) {
779         final Optional<StatementSupport<?, ?, ?>> implicitParent = definition.getImplicitParentFor(
780             original.getPublicDefinition());
781
782         final StatementContextBase<X, Y, Z> result;
783         final InferredStatementContext<X, Y, Z> copy;
784
785         if (implicitParent.isPresent()) {
786             final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(implicitParent.get());
787             result = new SubstatementContext(this, def, original.getStatementSourceReference(),
788                 original.rawStatementArgument(), original.getStatementArgument(), type);
789
790             final CopyType childCopyType;
791             switch (type) {
792                 case ADDED_BY_AUGMENTATION:
793                     childCopyType = CopyType.ORIGINAL;
794                     break;
795                 case ADDED_BY_USES_AUGMENTATION:
796                     childCopyType = CopyType.ADDED_BY_USES;
797                     break;
798                 case ADDED_BY_USES:
799                 case ORIGINAL:
800                 default:
801                     childCopyType = type;
802             }
803
804             copy = new InferredStatementContext<>(result, original, childCopyType, type, targetModule);
805             result.addEffectiveSubstatement(copy);
806         } else {
807             result = copy = new InferredStatementContext<>(this, original, type, type, targetModule);
808         }
809
810         original.definition.onStatementAdded(copy);
811         return result;
812     }
813
814     @Beta
815     public final boolean hasImplicitParentSupport() {
816         return definition.getFactory() instanceof ImplicitParentAwareStatementSupport;
817     }
818
819     @Beta
820     public final StatementContextBase<?, ?, ?> wrapWithImplicit(final StatementContextBase<?, ?, ?> original) {
821         final Optional<StatementSupport<?, ?, ?>> optImplicit = definition.getImplicitParentFor(
822             original.getPublicDefinition());
823         if (optImplicit.isEmpty()) {
824             return original;
825         }
826
827         final StatementDefinitionContext<?, ?, ?> def = new StatementDefinitionContext<>(optImplicit.get());
828         final CopyType type = original.getCopyHistory().getLastOperation();
829         final SubstatementContext<?, ?, ?> result = new SubstatementContext(original.getParentContext(), def,
830             original.getStatementSourceReference(), original.rawStatementArgument(), original.getStatementArgument(),
831             type);
832
833         result.addEffectiveSubstatement(original.reparent(result));
834         result.setCompletedPhase(original.getCompletedPhase());
835         return result;
836     }
837
838     abstract StatementContextBase<A, D, E> reparent(StatementContextBase<?, ?, ?> newParent);
839
840     /**
841      * Config statements are not all that common which means we are performing a recursive search towards the root
842      * every time {@link #isConfiguration()} is invoked. This is quite expensive because it causes a linear search
843      * for the (usually non-existent) config statement.
844      *
845      * <p>
846      * This method maintains a resolution cache, so once we have returned a result, we will keep on returning the same
847      * result without performing any lookups, solely to support {@link SubstatementContext#isConfiguration()}.
848      *
849      * <p>
850      * Note: use of this method implies that {@link #isIgnoringConfig()} is realized with
851      *       {@link #isIgnoringConfig(StatementContextBase)}.
852      */
853     final boolean isConfiguration(final StatementContextBase<?, ?, ?> parent) {
854         final int fl = flags & SET_CONFIGURATION;
855         if (fl != 0) {
856             return fl == SET_CONFIGURATION;
857         }
858         if (isIgnoringConfig(parent)) {
859             // Note: SET_CONFIGURATION has been stored in flags
860             return true;
861         }
862
863         final StmtContext<Boolean, ?, ?> configStatement = StmtContextUtils.findFirstSubstatement(this,
864             ConfigStatement.class);
865         final boolean isConfig;
866         if (configStatement != null) {
867             isConfig = configStatement.coerceStatementArgument();
868             if (isConfig) {
869                 // Validity check: if parent is config=false this cannot be a config=true
870                 InferenceException.throwIf(!parent.isConfiguration(), getStatementSourceReference(),
871                         "Parent node has config=false, this node must not be specifed as config=true");
872             }
873         } else {
874             // If "config" statement is not specified, the default is the same as the parent's "config" value.
875             isConfig = parent.isConfiguration();
876         }
877
878         // Resolved, make sure we cache this return
879         flags |= isConfig ? SET_CONFIGURATION : HAVE_CONFIGURATION;
880         return isConfig;
881     }
882
883     protected abstract boolean isIgnoringConfig();
884
885     /**
886      * This method maintains a resolution cache for ignore config, so once we have returned a result, we will
887      * keep on returning the same result without performing any lookups. Exists only to support
888      * {@link SubstatementContext#isIgnoringConfig()}.
889      *
890      * <p>
891      * Note: use of this method implies that {@link #isConfiguration()} is realized with
892      *       {@link #isConfiguration(StatementContextBase)}.
893      */
894     final boolean isIgnoringConfig(final StatementContextBase<?, ?, ?> parent) {
895         final int fl = flags & SET_IGNORE_CONFIG;
896         if (fl != 0) {
897             return fl == SET_IGNORE_CONFIG;
898         }
899         if (definition.isIgnoringConfig() || parent.isIgnoringConfig()) {
900             flags |= SET_IGNORE_CONFIG;
901             return true;
902         }
903
904         flags |= HAVE_IGNORE_CONFIG;
905         return false;
906     }
907
908     protected abstract boolean isIgnoringIfFeatures();
909
910     /**
911      * This method maintains a resolution cache for ignore if-feature, so once we have returned a result, we will
912      * keep on returning the same result without performing any lookups. Exists only to support
913      * {@link SubstatementContext#isIgnoringIfFeatures()}.
914      */
915     final boolean isIgnoringIfFeatures(final StatementContextBase<?, ?, ?> parent) {
916         final int fl = flags & SET_IGNORE_IF_FEATURE;
917         if (fl != 0) {
918             return fl == SET_IGNORE_IF_FEATURE;
919         }
920         if (definition.isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
921             flags |= SET_IGNORE_IF_FEATURE;
922             return true;
923         }
924
925         flags |= HAVE_IGNORE_IF_FEATURE;
926         return false;
927     }
928
929     // Exists only to support SubstatementContext/InferredStatementContext
930     final @NonNull Optional<SchemaPath> substatementGetSchemaPath() {
931         SchemaPath local = schemaPath;
932         if (local == null) {
933             synchronized (this) {
934                 local = schemaPath;
935                 if (local == null) {
936                     local = createSchemaPath(coerceParentContext());
937                     schemaPath = local;
938                 }
939             }
940         }
941
942         return Optional.ofNullable(local);
943     }
944
945     private SchemaPath createSchemaPath(final Mutable<?, ?, ?> parent) {
946         final Optional<SchemaPath> maybeParentPath = parent.getSchemaPath();
947         verify(maybeParentPath.isPresent(), "Parent %s does not have a SchemaPath", parent);
948         final SchemaPath parentPath = maybeParentPath.get();
949
950         if (StmtContextUtils.isUnknownStatement(this)) {
951             return parentPath.createChild(getPublicDefinition().getStatementName());
952         }
953         final Object argument = getStatementArgument();
954         if (argument instanceof QName) {
955             final QName qname = (QName) argument;
956             if (StmtContextUtils.producesDeclared(this, UsesStatement.class)) {
957                 return maybeParentPath.orElse(null);
958             }
959
960             return parentPath.createChild(qname);
961         }
962         if (argument instanceof String) {
963             // FIXME: This may yield illegal argument exceptions
964             final Optional<StmtContext<?, ?, ?>> originalCtx = getOriginalCtx();
965             final QName qname = StmtContextUtils.qnameFromArgument(originalCtx.orElse(this), (String) argument);
966             return parentPath.createChild(qname);
967         }
968         if (argument instanceof SchemaNodeIdentifier
969                 && (StmtContextUtils.producesDeclared(this, AugmentStatement.class)
970                         || StmtContextUtils.producesDeclared(this, RefineStatement.class)
971                         || StmtContextUtils.producesDeclared(this, DeviationStatement.class))) {
972
973             return parentPath.createChild(((SchemaNodeIdentifier) argument).getPathFromRoot());
974         }
975
976         // FIXME: this does not look right
977         return maybeParentPath.orElse(null);
978     }
979
980     @Override
981     public final String toString() {
982         return addToStringAttributes(MoreObjects.toStringHelper(this).omitNullValues()).toString();
983     }
984
985     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
986         return toStringHelper.add("definition", definition).add("rawArgument", rawStatementArgument());
987     }
988 }