Centralize ReactorStmtCtx.replicaAsChildOf()
[yangtools.git] / yang / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / ReactorStmtCtx.java
1 /*
2  * Copyright (c) 2020 PANTHEON.tech, s.r.o. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
9
10 import static com.google.common.base.Preconditions.checkArgument;
11 import static com.google.common.base.Verify.verify;
12
13 import com.google.common.base.MoreObjects;
14 import com.google.common.base.MoreObjects.ToStringHelper;
15 import com.google.common.base.VerifyException;
16 import java.util.Collection;
17 import java.util.Map;
18 import java.util.Optional;
19 import java.util.Set;
20 import org.eclipse.jdt.annotation.NonNull;
21 import org.eclipse.jdt.annotation.Nullable;
22 import org.opendaylight.yangtools.yang.common.QName;
23 import org.opendaylight.yangtools.yang.common.QNameModule;
24 import org.opendaylight.yangtools.yang.common.YangVersion;
25 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
26 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
27 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
28 import org.opendaylight.yangtools.yang.model.api.meta.StatementDefinition;
29 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
30 import org.opendaylight.yangtools.yang.model.api.stmt.ConfigEffectiveStatement;
31 import org.opendaylight.yangtools.yang.model.api.stmt.DeviationStatement;
32 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
33 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
34 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
35 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
36 import org.opendaylight.yangtools.yang.parser.spi.meta.CopyType;
37 import org.opendaylight.yangtools.yang.parser.spi.meta.EffectiveStmtCtx.Current;
38 import org.opendaylight.yangtools.yang.parser.spi.meta.InferenceException;
39 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelActionBuilder;
40 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
41 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
42 import org.opendaylight.yangtools.yang.parser.spi.meta.ParserNamespace;
43 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
44 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext.Mutable;
45 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
46 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
47 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
48 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
49 import org.slf4j.Logger;
50 import org.slf4j.LoggerFactory;
51
52 /**
53  * Real "core" reactor statement implementation of {@link Mutable}, supporting basic reactor lifecycle.
54  *
55  * @param <A> Argument type
56  * @param <D> Declared Statement representation
57  * @param <E> Effective Statement representation
58  */
59 abstract class ReactorStmtCtx<A, D extends DeclaredStatement<A>, E extends EffectiveStatement<A, D>>
60         extends NamespaceStorageSupport implements Mutable<A, D, E>, Current<A, D> {
61     private static final Logger LOG = LoggerFactory.getLogger(ReactorStmtCtx.class);
62
63     /**
64      * Substatement refcount tracking. This mechanics deals with retaining substatements for the purposes of
65      * instantiating their lazy copies in InferredStatementContext. It works in concert with {@link #buildEffective()}
66      * and {@link #declared()}: declared/effective statement views hold an implicit reference and refcount-based
67      * sweep is not activated until they are done (or this statement is not {@link #isSupportedToBuildEffective}).
68      *
69      * <p>
70      * Reference count is hierarchical in that parent references also pin down their child statements and do not allow
71      * them to be swept.
72      *
73      * <p>
74      * The counter's positive values are tracking incoming references via {@link #incRef()}/{@link #decRef()} methods.
75      * Once we transition to sweeping, this value becomes negative counting upwards to {@link #REFCOUNT_NONE} based on
76      * {@link #sweepOnChildDone()}. Once we reach that, we transition to {@link #REFCOUNT_SWEPT}.
77      */
78     private int refcount = REFCOUNT_NONE;
79     /**
80      * No outstanding references, this statement is a potential candidate for sweeping, provided it has populated its
81      * declared and effective views and {@link #parentRef} is known to be absent.
82      */
83     private static final int REFCOUNT_NONE = 0;
84     /**
85      * Reference count overflow or some other recoverable logic error. Do not rely on refcounts and do not sweep
86      * anything.
87      *
88      * <p>
89      * Note on value assignment:
90      * This allow our incRef() to naturally progress to being saturated. Others jump there directly.
91      * It also makes it  it impossible to observe {@code Interger.MAX_VALUE} children, which we take advantage of for
92      * {@link #REFCOUNT_SWEEPING}.
93      */
94     private static final int REFCOUNT_DEFUNCT = Integer.MAX_VALUE;
95     /**
96      * This statement is being actively swept. This is a transient value set when we are sweeping our children, so that
97      * we prevent re-entering this statement.
98      *
99      * <p>
100      * Note on value assignment:
101      * The value is lower than any legal child refcount due to {@link #REFCOUNT_DEFUNCT} while still being higher than
102      * {@link #REFCOUNT_SWEPT}.
103      */
104     private static final int REFCOUNT_SWEEPING = -Integer.MAX_VALUE;
105     /**
106      * This statement, along with its entire subtree has been swept and we positively know all our children have reached
107      * this state. We {@link #sweepNamespaces()} upon reaching this state.
108      *
109      * <p>
110      * Note on value assignment:
111      * This is the lowest value observable, making it easier on checking others on equality.
112      */
113     private static final int REFCOUNT_SWEPT = Integer.MIN_VALUE;
114
115     private @Nullable E effectiveInstance;
116
117     // Master flag controlling whether this context can yield an effective statement
118     // FIXME: investigate the mechanics that are being supported by this, as it would be beneficial if we can get rid
119     //        of this flag -- eliminating the initial alignment shadow used by below gap-filler fields.
120     private boolean isSupportedToBuildEffective = true;
121
122     // EffectiveConfig mapping
123     private static final int MASK_CONFIG                = 0x03;
124     private static final int HAVE_CONFIG                = 0x04;
125     // Effective instantiation mechanics for StatementContextBase: if this flag is set all substatements are known not
126     // change when instantiated. This includes context-independent statements as well as any statements which are
127     // ignored during copy instantiation.
128     private static final int ALL_INDEPENDENT            = 0x08;
129     // Flag bit assignments
130     private static final int IS_SUPPORTED_BY_FEATURES   = 0x10;
131     private static final int HAVE_SUPPORTED_BY_FEATURES = 0x20;
132     private static final int IS_IGNORE_IF_FEATURE       = 0x40;
133     private static final int HAVE_IGNORE_IF_FEATURE     = 0x80;
134     // Have-and-set flag constants, also used as masks
135     private static final int SET_SUPPORTED_BY_FEATURES  = HAVE_SUPPORTED_BY_FEATURES | IS_SUPPORTED_BY_FEATURES;
136     private static final int SET_IGNORE_IF_FEATURE      = HAVE_IGNORE_IF_FEATURE | IS_IGNORE_IF_FEATURE;
137
138     private static final EffectiveConfig[] EFFECTIVE_CONFIGS;
139
140     static {
141         final EffectiveConfig[] values = EffectiveConfig.values();
142         final int length = values.length;
143         verify(length == 4, "Unexpected EffectiveConfig cardinality %s", length);
144         EFFECTIVE_CONFIGS = values;
145     }
146
147     // Flags for use with SubstatementContext. These are hiding in the alignment shadow created by above boolean and
148     // hence improve memory layout.
149     private byte flags;
150
151     // Flag for use with AbstractResumedStatement. This is hiding in the alignment shadow created by above boolean
152     // FIXME: move this out once we have JDK15+
153     private boolean fullyDefined;
154
155     // SchemaPath cache for use with SubstatementContext and InferredStatementContext. This hurts RootStatementContext
156     // a bit in terms of size -- but those are only a few and SchemaPath is on its way out anyway.
157     @Deprecated
158     private volatile SchemaPath schemaPath;
159
160     ReactorStmtCtx() {
161         // Empty on purpose
162     }
163
164     ReactorStmtCtx(final ReactorStmtCtx<A, D, E> original) {
165         isSupportedToBuildEffective = original.isSupportedToBuildEffective;
166         fullyDefined = original.fullyDefined;
167         flags = original.flags;
168     }
169
170     //
171     //
172     // Common public interface contracts with simple mechanics. Please keep this in one logical block, so we do not end
173     // up mixing concerns and simple details with more complex logic.
174     //
175     //
176
177     @Override
178     public abstract StatementContextBase<?, ?, ?> getParentContext();
179
180     @Override
181     public abstract RootStatementContext<?, ?, ?> getRoot();
182
183     @Override
184     public abstract Collection<? extends StatementContextBase<?, ?, ?>> mutableDeclaredSubstatements();
185
186     @Override
187     public final @NonNull Registry getBehaviourRegistry() {
188         return getRoot().getBehaviourRegistryImpl();
189     }
190
191     @Override
192     public final YangVersion yangVersion() {
193         return getRoot().getRootVersionImpl();
194     }
195
196     @Override
197     public final void setRootVersion(final YangVersion version) {
198         getRoot().setRootVersionImpl(version);
199     }
200
201     @Override
202     public final void addRequiredSource(final SourceIdentifier dependency) {
203         getRoot().addRequiredSourceImpl(dependency);
204     }
205
206     @Override
207     public final void setRootIdentifier(final SourceIdentifier identifier) {
208         getRoot().setRootIdentifierImpl(identifier);
209     }
210
211     @Override
212     public final boolean isEnabledSemanticVersioning() {
213         return getRoot().isEnabledSemanticVersioningImpl();
214     }
215
216     @Override
217     public final ModelActionBuilder newInferenceAction(final ModelProcessingPhase phase) {
218         return getRoot().getSourceContext().newInferenceAction(phase);
219     }
220
221     @Override
222     public final StatementDefinition publicDefinition() {
223         return definition().getPublicView();
224     }
225
226     @Override
227     public final Parent effectiveParent() {
228         return getParentContext();
229     }
230
231     @Override
232     public final QName moduleName() {
233         final RootStatementContext<?, ?, ?> root = getRoot();
234         return QName.create(StmtContextUtils.getRootModuleQName(root), root.getRawArgument());
235     }
236
237     @Override
238     public final EffectiveStatement<?, ?> original() {
239         return getOriginalCtx().map(StmtContext::buildEffective).orElse(null);
240     }
241
242     @Override
243     // Non-final due to InferredStatementContext's override
244     public <X, Z extends EffectiveStatement<X, ?>> @NonNull Optional<X> findSubstatementArgument(
245             final @NonNull Class<Z> type) {
246         return allSubstatementsStream()
247             .filter(ctx -> ctx.isSupportedToBuildEffective() && ctx.producesEffective(type))
248             .findAny()
249             .map(ctx -> (X) ctx.getArgument());
250     }
251
252     @Override
253     // Non-final due to InferredStatementContext's override
254     public boolean hasSubstatement(final @NonNull Class<? extends EffectiveStatement<?, ?>> type) {
255         return allSubstatementsStream()
256             .anyMatch(ctx -> ctx.isSupportedToBuildEffective() && ctx.producesEffective(type));
257     }
258
259     @Override
260     @Deprecated
261     @SuppressWarnings("unchecked")
262     public final <Z extends EffectiveStatement<A, D>> StmtContext<A, D, Z> caerbannog() {
263         return (StmtContext<A, D, Z>) this;
264     }
265
266     @Override
267     public final String toString() {
268         return addToStringAttributes(MoreObjects.toStringHelper(this).omitNullValues()).toString();
269     }
270
271     protected ToStringHelper addToStringAttributes(final ToStringHelper toStringHelper) {
272         return toStringHelper.add("definition", definition()).add("rawArgument", rawArgument());
273     }
274
275     /**
276      * Return the context in which this statement was defined.
277      *
278      * @return statement definition
279      */
280     abstract @NonNull StatementDefinitionContext<A, D, E> definition();
281
282     //
283     //
284     // NamespaceStorageSupport/Mutable integration methods. Keep these together.
285     //
286     //
287
288     @Override
289     public final <K, V, T extends K, N extends ParserNamespace<K, V>> V namespaceItem(final Class<@NonNull N> type,
290             final T key) {
291         return getBehaviourRegistry().getNamespaceBehaviour(type).getFrom(this, key);
292     }
293
294     @Override
295     public final <K, V, N extends ParserNamespace<K, V>> Map<K, V> namespace(final Class<@NonNull N> type) {
296         return getNamespace(type);
297     }
298
299     @Override
300     public final <K, V, N extends ParserNamespace<K, V>>
301             Map<K, V> localNamespacePortion(final Class<@NonNull N> type) {
302         return getLocalNamespace(type);
303     }
304
305     @Override
306     protected final void checkLocalNamespaceAllowed(final Class<? extends ParserNamespace<?, ?>> type) {
307         definition().checkNamespaceAllowed(type);
308     }
309
310     @Override
311     protected <K, V, N extends ParserNamespace<K, V>> void onNamespaceElementAdded(final Class<N> type, final K key,
312             final V value) {
313         // definition().onNamespaceElementAdded(this, type, key, value);
314     }
315
316     abstract @Nullable ReactorStmtCtx<?, ?, ?> asEffectiveChildOf(StatementContextBase<?, ?, ?> parent, CopyType type,
317         QNameModule targetModule);
318
319     @Override
320     public final ReactorStmtCtx<A, D, E> replicaAsChildOf(final Mutable<?, ?, ?> parent) {
321         checkArgument(parent instanceof StatementContextBase, "Unsupported parent %s", parent);
322         return replicaAsChildOf((StatementContextBase<?, ?, ?>) parent);
323     }
324
325     abstract @NonNull ReplicaStatementContext<A, D, E> replicaAsChildOf(@NonNull StatementContextBase<?, ?, ?> parent);
326
327     //
328     //
329     // Statement build entry points -- both public and package-private.
330     //
331     //
332
333     @Override
334     public final E buildEffective() {
335         final E existing;
336         return (existing = effectiveInstance) != null ? existing : loadEffective();
337     }
338
339     private E loadEffective() {
340         // Creating an effective statement does not strictly require a declared instance -- there are statements like
341         // 'input', which are implicitly defined.
342         // Our implementation design makes an invariant assumption that buildDeclared() has been called by the time
343         // we attempt to create effective statement:
344         declared();
345
346         final E ret = effectiveInstance = createEffective();
347         // we have called createEffective(), substatements are no longer guarded by us. Let's see if we can clear up
348         // some residue.
349         if (refcount == REFCOUNT_NONE) {
350             sweepOnDecrement();
351         }
352         return ret;
353     }
354
355     abstract @NonNull E createEffective();
356
357     /**
358      * Try to execute current {@link ModelProcessingPhase} of source parsing. If the phase has already been executed,
359      * this method does nothing.
360      *
361      * @param phase to be executed (completed)
362      * @return true if phase was successfully completed
363      * @throws SourceException when an error occurred in source parsing
364      */
365     final boolean tryToCompletePhase(final ModelProcessingPhase phase) {
366         return phase.isCompletedBy(getCompletedPhase()) || doTryToCompletePhase(phase);
367     }
368
369     abstract boolean doTryToCompletePhase(ModelProcessingPhase phase);
370
371     //
372     //
373     // Flags-based mechanics. These include public interfaces as well as all the crud we have lurking in our alignment
374     // shadow.
375     //
376     //
377
378     @Override
379     public final boolean isSupportedToBuildEffective() {
380         return isSupportedToBuildEffective;
381     }
382
383     @Override
384     public final void setIsSupportedToBuildEffective(final boolean isSupportedToBuildEffective) {
385         this.isSupportedToBuildEffective = isSupportedToBuildEffective;
386     }
387
388     @Override
389     public final boolean isSupportedByFeatures() {
390         final int fl = flags & SET_SUPPORTED_BY_FEATURES;
391         if (fl != 0) {
392             return fl == SET_SUPPORTED_BY_FEATURES;
393         }
394         if (isIgnoringIfFeatures()) {
395             flags |= SET_SUPPORTED_BY_FEATURES;
396             return true;
397         }
398
399         /*
400          * If parent is supported, we need to check if-features statements of this context.
401          */
402         if (isParentSupportedByFeatures()) {
403             // If the set of supported features has not been provided, all features are supported by default.
404             final Set<QName> supportedFeatures = getFromNamespace(SupportedFeaturesNamespace.class,
405                     SupportedFeatures.SUPPORTED_FEATURES);
406             if (supportedFeatures == null || StmtContextUtils.checkFeatureSupport(this, supportedFeatures)) {
407                 flags |= SET_SUPPORTED_BY_FEATURES;
408                 return true;
409             }
410         }
411
412         // Either parent is not supported or this statement is not supported
413         flags |= HAVE_SUPPORTED_BY_FEATURES;
414         return false;
415     }
416
417     protected abstract boolean isParentSupportedByFeatures();
418
419     /**
420      * Config statements are not all that common which means we are performing a recursive search towards the root
421      * every time {@link #effectiveConfig()} is invoked. This is quite expensive because it causes a linear search
422      * for the (usually non-existent) config statement.
423      *
424      * <p>
425      * This method maintains a resolution cache, so once we have returned a result, we will keep on returning the same
426      * result without performing any lookups, solely to support {@link #effectiveConfig()}.
427      *
428      * <p>
429      * Note: use of this method implies that {@link #isIgnoringConfig()} is realized with
430      *       {@link #isIgnoringConfig(StatementContextBase)}.
431      */
432     final @NonNull EffectiveConfig effectiveConfig(final ReactorStmtCtx<?, ?, ?> parent) {
433         return (flags & HAVE_CONFIG) != 0 ? EFFECTIVE_CONFIGS[flags & MASK_CONFIG] : loadEffectiveConfig(parent);
434     }
435
436     private @NonNull EffectiveConfig loadEffectiveConfig(final ReactorStmtCtx<?, ?, ?> parent) {
437         final EffectiveConfig parentConfig = parent.effectiveConfig();
438
439         final EffectiveConfig myConfig;
440         if (parentConfig != EffectiveConfig.IGNORED && !definition().support().isIgnoringConfig()) {
441             final Optional<Boolean> optConfig = findSubstatementArgument(ConfigEffectiveStatement.class);
442             if (optConfig.isPresent()) {
443                 if (optConfig.orElseThrow()) {
444                     // Validity check: if parent is config=false this cannot be a config=true
445                     InferenceException.throwIf(parentConfig == EffectiveConfig.FALSE, this,
446                         "Parent node has config=false, this node must not be specifed as config=true");
447                     myConfig = EffectiveConfig.TRUE;
448                 } else {
449                     myConfig = EffectiveConfig.FALSE;
450                 }
451             } else {
452                 // If "config" statement is not specified, the default is the same as the parent's "config" value.
453                 myConfig = parentConfig;
454             }
455         } else {
456             myConfig = EffectiveConfig.IGNORED;
457         }
458
459         flags = (byte) (flags & ~MASK_CONFIG | HAVE_CONFIG | myConfig.ordinal());
460         return myConfig;
461     }
462
463     protected abstract boolean isIgnoringConfig();
464
465     /**
466      * This method maintains a resolution cache for ignore config, so once we have returned a result, we will
467      * keep on returning the same result without performing any lookups. Exists only to support
468      * {@link SubstatementContext#isIgnoringConfig()}.
469      *
470      * <p>
471      * Note: use of this method implies that {@link #isConfiguration()} is realized with
472      *       {@link #effectiveConfig(StatementContextBase)}.
473      */
474     final boolean isIgnoringConfig(final StatementContextBase<?, ?, ?> parent) {
475         return EffectiveConfig.IGNORED == effectiveConfig(parent);
476     }
477
478     protected abstract boolean isIgnoringIfFeatures();
479
480     /**
481      * This method maintains a resolution cache for ignore if-feature, so once we have returned a result, we will
482      * keep on returning the same result without performing any lookups. Exists only to support
483      * {@link SubstatementContext#isIgnoringIfFeatures()}.
484      */
485     final boolean isIgnoringIfFeatures(final StatementContextBase<?, ?, ?> parent) {
486         final int fl = flags & SET_IGNORE_IF_FEATURE;
487         if (fl != 0) {
488             return fl == SET_IGNORE_IF_FEATURE;
489         }
490         if (definition().support().isIgnoringIfFeatures() || parent.isIgnoringIfFeatures()) {
491             flags |= SET_IGNORE_IF_FEATURE;
492             return true;
493         }
494
495         flags |= HAVE_IGNORE_IF_FEATURE;
496         return false;
497     }
498
499     // These two exist only due to memory optimization, should live in AbstractResumedStatement. We are also reusing
500     // this for ReplicaStatementContext's refcount tracking.
501     final boolean fullyDefined() {
502         return fullyDefined;
503     }
504
505     final void setFullyDefined() {
506         fullyDefined = true;
507     }
508
509     // These two exist only for StatementContextBase. Since we are squeezed for size, with only a single bit available
510     // in flags, we default to 'false' and only set the flag to true when we are absolutely sure -- and all other cases
511     // err on the side of caution by taking the time to evaluate each substatement separately.
512     final boolean allSubstatementsContextIndependent() {
513         return (flags & ALL_INDEPENDENT) != 0;
514     }
515
516     final void setAllSubstatementsContextIndependent() {
517         flags |= ALL_INDEPENDENT;
518     }
519
520     //
521     //
522     // Common SchemaPath cache. All of this is bound to be removed once YANGTOOLS-1066 is done.
523     //
524     //
525
526     // Exists only to support {SubstatementContext,InferredStatementContext}.schemaPath()
527     @Deprecated
528     final @NonNull Optional<SchemaPath> substatementGetSchemaPath() {
529         SchemaPath local = schemaPath;
530         if (local == null) {
531             synchronized (this) {
532                 local = schemaPath;
533                 if (local == null) {
534                     schemaPath = local = createSchemaPath((StatementContextBase<?, ?, ?>) coerceParentContext());
535                 }
536             }
537         }
538
539         return Optional.ofNullable(local);
540     }
541
542     @Deprecated
543     private SchemaPath createSchemaPath(final StatementContextBase<?, ?, ?> parent) {
544         final Optional<SchemaPath> maybeParentPath = parent.schemaPath();
545         verify(maybeParentPath.isPresent(), "Parent %s does not have a SchemaPath", parent);
546         final SchemaPath parentPath = maybeParentPath.get();
547
548         if (StmtContextUtils.isUnknownStatement(this)) {
549             return parentPath.createChild(publicDefinition().getStatementName());
550         }
551         final Object argument = argument();
552         if (argument instanceof QName) {
553             final QName qname = (QName) argument;
554             if (producesDeclared(UsesStatement.class)) {
555                 return maybeParentPath.orElse(null);
556             }
557
558             return parentPath.createChild(qname);
559         }
560         if (argument instanceof String) {
561             // FIXME: This may yield illegal argument exceptions
562             final Optional<StmtContext<A, D, E>> originalCtx = getOriginalCtx();
563             final QName qname = StmtContextUtils.qnameFromArgument(originalCtx.orElse(this), (String) argument);
564             return parentPath.createChild(qname);
565         }
566         if (argument instanceof SchemaNodeIdentifier
567                 && (producesDeclared(AugmentStatement.class) || producesDeclared(RefineStatement.class)
568                         || producesDeclared(DeviationStatement.class))) {
569
570             return parentPath.createChild(((SchemaNodeIdentifier) argument).getNodeIdentifiers());
571         }
572
573         // FIXME: this does not look right
574         return maybeParentPath.orElse(null);
575     }
576
577     //
578     //
579     // Reference counting mechanics start. Please keep these methods in one block for clarity. Note this does not
580     // contribute to state visible outside of this package.
581     //
582     //
583
584     /**
585      * Local knowledge of {@link #refcount} values up to statement root. We use this field to prevent recursive lookups
586      * in {@link #noParentRefs(StatementContextBase)} -- once we discover a parent reference once, we keep that
587      * knowledge and update it when {@link #sweep()} is invoked.
588      */
589     private byte parentRef = PARENTREF_UNKNOWN;
590     private static final byte PARENTREF_UNKNOWN = -1;
591     private static final byte PARENTREF_ABSENT  = 0;
592     private static final byte PARENTREF_PRESENT = 1;
593
594     /**
595      * Acquire a reference on this context. As long as there is at least one reference outstanding,
596      * {@link #buildEffective()} will not result in {@link #effectiveSubstatements()} being discarded.
597      *
598      * @throws VerifyException if {@link #effectiveSubstatements()} has already been discarded
599      */
600     final void incRef() {
601         final int current = refcount;
602         verify(current >= REFCOUNT_NONE, "Attempted to access reference count of %s", this);
603         if (current != REFCOUNT_DEFUNCT) {
604             // Note: can end up becoming REFCOUNT_DEFUNCT on overflow
605             refcount = current + 1;
606         } else {
607             LOG.debug("Disabled refcount increment of {}", this);
608         }
609     }
610
611     /**
612      * Release a reference on this context. This call may result in {@link #effectiveSubstatements()} becoming
613      * unavailable.
614      */
615     final void decRef() {
616         final int current = refcount;
617         if (current == REFCOUNT_DEFUNCT) {
618             // no-op
619             LOG.debug("Disabled refcount decrement of {}", this);
620             return;
621         }
622         if (current <= REFCOUNT_NONE) {
623             // Underflow, become defunct
624             LOG.warn("Statement refcount underflow, reference counting disabled for {}", this, new Throwable());
625             refcount = REFCOUNT_DEFUNCT;
626             return;
627         }
628
629         refcount = current - 1;
630         LOG.trace("Refcount {} on {}", refcount, this);
631
632         if (refcount == REFCOUNT_NONE) {
633             lastDecRef();
634         }
635     }
636
637     /**
638      * Return {@code true} if this context has an outstanding reference.
639      *
640      * @return True if this context has an outstanding reference.
641      */
642     final boolean haveRef() {
643         return refcount > REFCOUNT_NONE;
644     }
645
646     private void lastDecRef() {
647         if (noImplictRef()) {
648             // We are no longer guarded by effective instance
649             sweepOnDecrement();
650             return;
651         }
652
653         final byte prevRefs = parentRef;
654         if (prevRefs == PARENTREF_ABSENT) {
655             // We are the last reference towards root, any children who observed PARENTREF_PRESENT from us need to be
656             // updated
657             markNoParentRef();
658         } else if (prevRefs == PARENTREF_UNKNOWN) {
659             // Noone observed our parentRef, just update it
660             loadParentRefcount();
661         }
662     }
663
664     static final void markNoParentRef(final Collection<? extends ReactorStmtCtx<?, ?, ?>> substatements) {
665         for (ReactorStmtCtx<?, ?, ?> stmt : substatements) {
666             final byte prevRef = stmt.parentRef;
667             stmt.parentRef = PARENTREF_ABSENT;
668             if (prevRef == PARENTREF_PRESENT && stmt.refcount == REFCOUNT_NONE) {
669                 // Child thinks it is pinned down, update its perspective
670                 stmt.markNoParentRef();
671             }
672         }
673     }
674
675     abstract void markNoParentRef();
676
677     static final void sweep(final Collection<? extends ReactorStmtCtx<?, ?, ?>> substatements) {
678         for (ReactorStmtCtx<?, ?, ?> stmt : substatements) {
679             stmt.sweep();
680         }
681     }
682
683     /**
684      * Sweep this statement context as a result of {@link #sweepSubstatements()}, i.e. when parent is also being swept.
685      */
686     private void sweep() {
687         parentRef = PARENTREF_ABSENT;
688         if (refcount == REFCOUNT_NONE && noImplictRef()) {
689             LOG.trace("Releasing {}", this);
690             sweepState();
691         }
692     }
693
694     static final int countUnswept(final Collection<? extends ReactorStmtCtx<?, ?, ?>> substatements) {
695         int result = 0;
696         for (ReactorStmtCtx<?, ?, ?> stmt : substatements) {
697             if (stmt.refcount > REFCOUNT_NONE || !stmt.noImplictRef()) {
698                 result++;
699             }
700         }
701         return result;
702     }
703
704     /**
705      * Implementation-specific sweep action. This is expected to perform a recursive {@link #sweep(Collection)} on all
706      * {@link #declaredSubstatements()} and {@link #effectiveSubstatements()} and report the result of the sweep
707      * operation.
708      *
709      * <p>
710      * {@link #effectiveSubstatements()} as well as namespaces may become inoperable as a result of this operation.
711      *
712      * @return True if the entire tree has been completely swept, false otherwise.
713      */
714     abstract int sweepSubstatements();
715
716     // Called when this statement does not have an implicit reference and have reached REFCOUNT_NONE
717     private void sweepOnDecrement() {
718         LOG.trace("Sweeping on decrement {}", this);
719         if (noParentRef()) {
720             // No further parent references, sweep our state.
721             sweepState();
722         }
723
724         // Propagate towards parent if there is one
725         final ReactorStmtCtx<?, ?, ?> parent = getParentContext();
726         if (parent != null) {
727             parent.sweepOnChildDecrement();
728         }
729     }
730
731     // Called from child when it has lost its final reference
732     private void sweepOnChildDecrement() {
733         if (isAwaitingChildren()) {
734             // We are a child for which our parent is waiting. Notify it and we are done.
735             sweepOnChildDone();
736             return;
737         }
738
739         // Check parent reference count
740         final int refs = refcount;
741         if (refs > REFCOUNT_NONE || refs <= REFCOUNT_SWEEPING || !noImplictRef()) {
742             // No-op
743             return;
744         }
745
746         // parent is potentially reclaimable
747         if (noParentRef()) {
748             LOG.trace("Cleanup {} of parent {}", refcount, this);
749             if (sweepState()) {
750                 final ReactorStmtCtx<?, ?, ?> parent = getParentContext();
751                 if (parent != null) {
752                     parent.sweepOnChildDecrement();
753                 }
754             }
755         }
756     }
757
758     private boolean noImplictRef() {
759         return effectiveInstance != null || !isSupportedToBuildEffective();
760     }
761
762     private boolean noParentRef() {
763         return parentRefcount() == PARENTREF_ABSENT;
764     }
765
766     private byte parentRefcount() {
767         final byte refs;
768         return (refs = parentRef) != PARENTREF_UNKNOWN ? refs : loadParentRefcount();
769     }
770
771     private byte loadParentRefcount() {
772         return parentRef = calculateParentRefcount();
773     }
774
775     private byte calculateParentRefcount() {
776         final ReactorStmtCtx<?, ?, ?> parent = getParentContext();
777         if (parent == null) {
778             return PARENTREF_ABSENT;
779         }
780         // There are three possibilities:
781         // - REFCOUNT_NONE, in which case we need to search next parent
782         // - negative (< REFCOUNT_NONE), meaning parent is in some stage of sweeping, hence it does not have
783         //   a reference to us
784         // - positive (> REFCOUNT_NONE), meaning parent has an explicit refcount which is holding us down
785         final int refs = parent.refcount;
786         if (refs == REFCOUNT_NONE) {
787             return parent.parentRefcount();
788         }
789         return refs < REFCOUNT_NONE ? PARENTREF_ABSENT : PARENTREF_PRESENT;
790     }
791
792     private boolean isAwaitingChildren() {
793         return refcount > REFCOUNT_SWEEPING && refcount < REFCOUNT_NONE;
794     }
795
796     private void sweepOnChildDone() {
797         LOG.trace("Sweeping on child done {}", this);
798         final int current = refcount;
799         if (current >= REFCOUNT_NONE) {
800             // no-op, perhaps we want to handle some cases differently?
801             LOG.trace("Ignoring child sweep of {} for {}", this, current);
802             return;
803         }
804         verify(current != REFCOUNT_SWEPT, "Attempt to sweep a child of swept %s", this);
805
806         refcount = current + 1;
807         LOG.trace("Child refcount {}", refcount);
808         if (refcount == REFCOUNT_NONE) {
809             sweepDone();
810             final ReactorStmtCtx<?, ?, ?> parent = getParentContext();
811             LOG.trace("Propagating to parent {}", parent);
812             if (parent != null && parent.isAwaitingChildren()) {
813                 parent.sweepOnChildDone();
814             }
815         }
816     }
817
818     private void sweepDone() {
819         LOG.trace("Sweep done for {}", this);
820         refcount = REFCOUNT_SWEPT;
821         sweepNamespaces();
822     }
823
824     private boolean sweepState() {
825         refcount = REFCOUNT_SWEEPING;
826         final int childRefs = sweepSubstatements();
827         if (childRefs == 0) {
828             sweepDone();
829             return true;
830         }
831         if (childRefs < 0 || childRefs >= REFCOUNT_DEFUNCT) {
832             LOG.warn("Negative child refcount {} cannot be stored, reference counting disabled for {}", childRefs, this,
833                 new Throwable());
834             refcount = REFCOUNT_DEFUNCT;
835         } else {
836             LOG.trace("Still {} outstanding children of {}", childRefs, this);
837             refcount = -childRefs;
838         }
839         return false;
840     }
841 }