Convert parser-{reactor,spi} classes to JDT annotations
[yangtools.git] / yang / yang-parser-reactor / src / main / java / org / opendaylight / yangtools / yang / parser / stmt / reactor / BuildGlobalContext.java
1 /*
2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.stmt.reactor;
9
10 import static com.google.common.base.Preconditions.checkState;
11 import static java.util.Objects.requireNonNull;
12
13 import com.google.common.base.Verify;
14 import com.google.common.collect.HashBasedTable;
15 import com.google.common.collect.ImmutableList;
16 import com.google.common.collect.ImmutableSet;
17 import com.google.common.collect.ImmutableSetMultimap;
18 import com.google.common.collect.SetMultimap;
19 import com.google.common.collect.Table;
20 import com.google.common.collect.TreeBasedTable;
21 import java.util.ArrayList;
22 import java.util.Collection;
23 import java.util.HashMap;
24 import java.util.HashSet;
25 import java.util.Iterator;
26 import java.util.List;
27 import java.util.Map;
28 import java.util.Map.Entry;
29 import java.util.Objects;
30 import java.util.Optional;
31 import java.util.Set;
32 import java.util.SortedMap;
33 import org.eclipse.jdt.annotation.NonNull;
34 import org.opendaylight.yangtools.util.RecursiveObjectLeaker;
35 import org.opendaylight.yangtools.yang.common.QName;
36 import org.opendaylight.yangtools.yang.common.QNameModule;
37 import org.opendaylight.yangtools.yang.common.Revision;
38 import org.opendaylight.yangtools.yang.common.YangVersion;
39 import org.opendaylight.yangtools.yang.model.api.meta.DeclaredStatement;
40 import org.opendaylight.yangtools.yang.model.api.meta.EffectiveStatement;
41 import org.opendaylight.yangtools.yang.model.api.meta.IdentifierNamespace;
42 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
43 import org.opendaylight.yangtools.yang.model.repo.api.StatementParserMode;
44 import org.opendaylight.yangtools.yang.parser.spi.meta.DerivedNamespaceBehaviour;
45 import org.opendaylight.yangtools.yang.parser.spi.meta.ModelProcessingPhase;
46 import org.opendaylight.yangtools.yang.parser.spi.meta.MutableStatement;
47 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour;
48 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.NamespaceStorageNode;
49 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.Registry;
50 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceBehaviour.StorageNodeType;
51 import org.opendaylight.yangtools.yang.parser.spi.meta.NamespaceNotAvailableException;
52 import org.opendaylight.yangtools.yang.parser.spi.meta.ReactorException;
53 import org.opendaylight.yangtools.yang.parser.spi.meta.SomeModifiersUnresolvedException;
54 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupport;
55 import org.opendaylight.yangtools.yang.parser.spi.meta.StatementSupportBundle;
56 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
57 import org.opendaylight.yangtools.yang.parser.spi.source.ModulesDeviatedByModules;
58 import org.opendaylight.yangtools.yang.parser.spi.source.ModulesDeviatedByModules.SupportedModules;
59 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
60 import org.opendaylight.yangtools.yang.parser.spi.source.StatementStreamSource;
61 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace;
62 import org.opendaylight.yangtools.yang.parser.spi.source.SupportedFeaturesNamespace.SupportedFeatures;
63 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace;
64 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace.ValidationBundleType;
65 import org.opendaylight.yangtools.yang.parser.stmt.reactor.SourceSpecificContext.PhaseCompletionProgress;
66 import org.slf4j.Logger;
67 import org.slf4j.LoggerFactory;
68
69 class BuildGlobalContext extends NamespaceStorageSupport implements Registry {
70     private static final Logger LOG = LoggerFactory.getLogger(BuildGlobalContext.class);
71
72     private static final List<ModelProcessingPhase> PHASE_EXECUTION_ORDER =
73             ImmutableList.<ModelProcessingPhase>builder().add(ModelProcessingPhase.SOURCE_PRE_LINKAGE)
74             .add(ModelProcessingPhase.SOURCE_LINKAGE).add(ModelProcessingPhase.STATEMENT_DEFINITION)
75             .add(ModelProcessingPhase.FULL_DECLARATION).add(ModelProcessingPhase.EFFECTIVE_MODEL).build();
76
77     private final Table<YangVersion, QName, StatementDefinitionContext<?, ?, ?>> definitions = HashBasedTable.create();
78     private final Map<QName, StatementDefinitionContext<?, ?, ?>> modelDefinedStmtDefs = new HashMap<>();
79     private final Map<Class<?>, NamespaceBehaviourWithListeners<?, ?, ?>> supportedNamespaces = new HashMap<>();
80     private final List<MutableStatement> mutableStatementsToSeal = new ArrayList<>();
81     private final Map<ModelProcessingPhase, StatementSupportBundle> supports;
82     private final Set<SourceSpecificContext> sources = new HashSet<>();
83     private final Set<YangVersion> supportedVersions;
84     private final boolean enabledSemanticVersions;
85
86     private Set<SourceSpecificContext> libSources = new HashSet<>();
87     private ModelProcessingPhase currentPhase = ModelProcessingPhase.INIT;
88     private ModelProcessingPhase finishedPhase = ModelProcessingPhase.INIT;
89
90     BuildGlobalContext(final Map<ModelProcessingPhase, StatementSupportBundle> supports,
91             final Map<ValidationBundleType, Collection<?>> supportedValidation,
92             final StatementParserMode statementParserMode) {
93         this.supports = requireNonNull(supports, "BuildGlobalContext#supports cannot be null");
94
95         switch (statementParserMode) {
96             case DEFAULT_MODE:
97                 enabledSemanticVersions = false;
98                 break;
99             case SEMVER_MODE:
100                 enabledSemanticVersions = true;
101                 break;
102             default:
103                 throw new IllegalArgumentException("Unhandled parser mode " + statementParserMode);
104         }
105
106         for (final Entry<ValidationBundleType, Collection<?>> validationBundle : supportedValidation.entrySet()) {
107             addToNs(ValidationBundlesNamespace.class, validationBundle.getKey(), validationBundle.getValue());
108         }
109
110         this.supportedVersions = ImmutableSet.copyOf(supports.get(ModelProcessingPhase.INIT).getSupportedVersions());
111     }
112
113     boolean isEnabledSemanticVersioning() {
114         return enabledSemanticVersions;
115     }
116
117     StatementSupportBundle getSupportsForPhase(final ModelProcessingPhase phase) {
118         return supports.get(phase);
119     }
120
121     void addSource(final @NonNull StatementStreamSource source) {
122         sources.add(new SourceSpecificContext(this, source));
123     }
124
125     void addLibSource(final @NonNull StatementStreamSource libSource) {
126         checkState(!isEnabledSemanticVersioning(),
127             "Library sources are not supported in semantic version mode currently.");
128         checkState(currentPhase == ModelProcessingPhase.INIT,
129                 "Add library source is allowed in ModelProcessingPhase.INIT only");
130         libSources.add(new SourceSpecificContext(this, libSource));
131     }
132
133     void setSupportedFeatures(final Set<QName> supportedFeatures) {
134         addToNs(SupportedFeaturesNamespace.class, SupportedFeatures.SUPPORTED_FEATURES,
135                     ImmutableSet.copyOf(supportedFeatures));
136     }
137
138     void setModulesDeviatedByModules(final SetMultimap<QNameModule, QNameModule> modulesDeviatedByModules) {
139         addToNs(ModulesDeviatedByModules.class, SupportedModules.SUPPORTED_MODULES,
140                     ImmutableSetMultimap.copyOf(modulesDeviatedByModules));
141     }
142
143     @Override
144     public StorageNodeType getStorageNodeType() {
145         return StorageNodeType.GLOBAL;
146     }
147
148     @Override
149     public NamespaceStorageNode getParentNamespaceStorage() {
150         return null;
151     }
152
153     @Override
154     public NamespaceBehaviour.Registry getBehaviourRegistry() {
155         return this;
156     }
157
158     @Override
159     public <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> getNamespaceBehaviour(
160             final Class<N> type) {
161         NamespaceBehaviourWithListeners<?, ?, ?> potential = supportedNamespaces.get(type);
162         if (potential == null) {
163             final NamespaceBehaviour<K, V, N> potentialRaw = supports.get(currentPhase).getNamespaceBehaviour(type);
164             if (potentialRaw != null) {
165                 potential = createNamespaceContext(potentialRaw);
166                 supportedNamespaces.put(type, potential);
167             } else {
168                 throw new NamespaceNotAvailableException("Namespace " + type + " is not available in phase "
169                         + currentPhase);
170             }
171         }
172
173         Verify.verify(type.equals(potential.getIdentifier()));
174         /*
175          * Safe cast, previous checkState checks equivalence of key from which
176          * type argument are derived
177          */
178         return (NamespaceBehaviourWithListeners<K, V, N>) potential;
179     }
180
181     @SuppressWarnings({ "unchecked", "rawtypes" })
182     private <K, V, N extends IdentifierNamespace<K, V>> NamespaceBehaviourWithListeners<K, V, N> createNamespaceContext(
183             final NamespaceBehaviour<K, V, N> potentialRaw) {
184         if (potentialRaw instanceof DerivedNamespaceBehaviour) {
185             final VirtualNamespaceContext derivedContext = new VirtualNamespaceContext(
186                     (DerivedNamespaceBehaviour) potentialRaw);
187             getNamespaceBehaviour(((DerivedNamespaceBehaviour) potentialRaw).getDerivedFrom()).addDerivedNamespace(
188                     derivedContext);
189             return derivedContext;
190         }
191         return new SimpleNamespaceContext<>(potentialRaw);
192     }
193
194     StatementDefinitionContext<?, ?, ?> getStatementDefinition(final YangVersion version, final QName name) {
195         StatementDefinitionContext<?, ?, ?> potential = definitions.get(version, name);
196         if (potential == null) {
197             final StatementSupport<?, ?, ?> potentialRaw = supports.get(currentPhase).getStatementDefinition(version,
198                     name);
199             if (potentialRaw != null) {
200                 potential = new StatementDefinitionContext<>(potentialRaw);
201                 definitions.put(version, name, potential);
202             }
203         }
204         return potential;
205     }
206
207     StatementDefinitionContext<?, ?, ?> getModelDefinedStatementDefinition(final QName name) {
208         return modelDefinedStmtDefs.get(name);
209     }
210
211     void putModelDefinedStatementDefinition(final QName name, final StatementDefinitionContext<?, ?, ?> def) {
212         modelDefinedStmtDefs.put(name, def);
213     }
214
215     private void executePhases() throws ReactorException {
216         for (final ModelProcessingPhase phase : PHASE_EXECUTION_ORDER) {
217             startPhase(phase);
218             loadPhaseStatements();
219             completePhaseActions();
220             endPhase(phase);
221         }
222     }
223
224     EffectiveModelContext build() throws ReactorException {
225         executePhases();
226         return transform();
227     }
228
229     EffectiveSchemaContext buildEffective() throws ReactorException {
230         executePhases();
231         return transformEffective();
232     }
233
234     private EffectiveModelContext transform() {
235         checkState(finishedPhase == ModelProcessingPhase.EFFECTIVE_MODEL);
236         final List<DeclaredStatement<?>> rootStatements = new ArrayList<>(sources.size());
237         for (final SourceSpecificContext source : sources) {
238             rootStatements.add(source.getRoot().buildDeclared());
239         }
240         return new EffectiveModelContext(rootStatements);
241     }
242
243     private SomeModifiersUnresolvedException propagateException(final SourceSpecificContext source,
244             final RuntimeException cause) throws SomeModifiersUnresolvedException {
245         final SourceIdentifier sourceId = StmtContextUtils.createSourceIdentifier(source.getRoot());
246         if (!(cause instanceof SourceException)) {
247             /*
248              * This should not be happening as all our processing should provide SourceExceptions.
249              * We will wrap the exception to provide enough information to identify the problematic model,
250              * but also emit a warning so the offending codepath will get fixed.
251              */
252             LOG.warn("Unexpected error processing source {}. Please file an issue with this model attached.",
253                 sourceId, cause);
254         }
255
256         throw new SomeModifiersUnresolvedException(currentPhase, sourceId, cause);
257     }
258
259     @SuppressWarnings("checkstyle:illegalCatch")
260     private EffectiveSchemaContext transformEffective() throws ReactorException {
261         checkState(finishedPhase == ModelProcessingPhase.EFFECTIVE_MODEL);
262         final List<DeclaredStatement<?>> rootStatements = new ArrayList<>(sources.size());
263         final List<EffectiveStatement<?, ?>> rootEffectiveStatements = new ArrayList<>(sources.size());
264
265         try {
266             for (final SourceSpecificContext source : sources) {
267                 final RootStatementContext<?, ?, ?> root = source.getRoot();
268                 try {
269                     rootStatements.add(root.buildDeclared());
270                     rootEffectiveStatements.add(root.buildEffective());
271                 } catch (final RuntimeException ex) {
272                     throw propagateException(source, ex);
273                 }
274             }
275         } finally {
276             RecursiveObjectLeaker.cleanup();
277         }
278
279         sealMutableStatements();
280         return EffectiveSchemaContext.create(rootStatements, rootEffectiveStatements);
281     }
282
283     private void startPhase(final ModelProcessingPhase phase) {
284         checkState(Objects.equals(finishedPhase, phase.getPreviousPhase()));
285         startPhaseFor(phase, sources);
286         startPhaseFor(phase, libSources);
287
288         currentPhase = phase;
289         LOG.debug("Global phase {} started", phase);
290     }
291
292     private static void startPhaseFor(final ModelProcessingPhase phase, final Set<SourceSpecificContext> sources) {
293         for (final SourceSpecificContext source : sources) {
294             source.startPhase(phase);
295         }
296     }
297
298     private void loadPhaseStatements() throws ReactorException {
299         checkState(currentPhase != null);
300         loadPhaseStatementsFor(sources);
301         loadPhaseStatementsFor(libSources);
302     }
303
304     @SuppressWarnings("checkstyle:illegalCatch")
305     private void loadPhaseStatementsFor(final Set<SourceSpecificContext> srcs) throws ReactorException {
306         for (final SourceSpecificContext source : srcs) {
307             try {
308                 source.loadStatements();
309             } catch (final RuntimeException ex) {
310                 throw propagateException(source, ex);
311             }
312         }
313     }
314
315     private SomeModifiersUnresolvedException addSourceExceptions(final List<SourceSpecificContext> sourcesToProgress) {
316         boolean addedCause = false;
317         SomeModifiersUnresolvedException buildFailure = null;
318         for (final SourceSpecificContext failedSource : sourcesToProgress) {
319             final Optional<SourceException> optSourceEx = failedSource.failModifiers(currentPhase);
320             if (!optSourceEx.isPresent()) {
321                 continue;
322             }
323
324             final SourceException sourceEx = optSourceEx.get();
325             // Workaround for broken logging implementations which ignore
326             // suppressed exceptions
327             final Throwable cause = sourceEx.getCause() != null ? sourceEx.getCause() : sourceEx;
328             if (LOG.isDebugEnabled()) {
329                 LOG.error("Failed to parse YANG from source {}", failedSource, sourceEx);
330             } else {
331                 LOG.error("Failed to parse YANG from source {}: {}", failedSource, cause.getMessage());
332             }
333
334             final Throwable[] suppressed = sourceEx.getSuppressed();
335             if (suppressed.length > 0) {
336                 LOG.error("{} additional errors reported:", suppressed.length);
337
338                 int count = 1;
339                 for (final Throwable t : suppressed) {
340                     // FIXME: this should be configured in the appender, really
341                     if (LOG.isDebugEnabled()) {
342                         LOG.error("Error {}: {}", count, t.getMessage(), t);
343                     } else {
344                         LOG.error("Error {}: {}", count, t.getMessage());
345                     }
346
347                     count++;
348                 }
349             }
350
351             if (!addedCause) {
352                 addedCause = true;
353                 final SourceIdentifier sourceId = StmtContextUtils.createSourceIdentifier(failedSource.getRoot());
354                 buildFailure = new SomeModifiersUnresolvedException(currentPhase, sourceId, sourceEx);
355             } else {
356                 buildFailure.addSuppressed(sourceEx);
357             }
358         }
359         return buildFailure;
360     }
361
362     @SuppressWarnings("checkstyle:illegalCatch")
363     private void completePhaseActions() throws ReactorException {
364         checkState(currentPhase != null);
365         final List<SourceSpecificContext> sourcesToProgress = new ArrayList<>(sources);
366         if (!libSources.isEmpty()) {
367             checkState(currentPhase == ModelProcessingPhase.SOURCE_PRE_LINKAGE,
368                     "Yang library sources should be empty after ModelProcessingPhase.SOURCE_PRE_LINKAGE, "
369                             + "but current phase was %s", currentPhase);
370             sourcesToProgress.addAll(libSources);
371         }
372
373         boolean progressing = true;
374         while (progressing) {
375             // We reset progressing to false.
376             progressing = false;
377             final Iterator<SourceSpecificContext> currentSource = sourcesToProgress.iterator();
378             while (currentSource.hasNext()) {
379                 final SourceSpecificContext nextSourceCtx = currentSource.next();
380                 try {
381                     final PhaseCompletionProgress sourceProgress = nextSourceCtx.tryToCompletePhase(currentPhase);
382                     switch (sourceProgress) {
383                         case FINISHED:
384                             currentSource.remove();
385                             // we were able to make progress in computation
386                             progressing = true;
387                             break;
388                         case PROGRESS:
389                             progressing = true;
390                             break;
391                         case NO_PROGRESS:
392                             // Noop
393                             break;
394                         default:
395                             throw new IllegalStateException("Unsupported phase progress " + sourceProgress);
396                     }
397                 } catch (final RuntimeException ex) {
398                     throw propagateException(nextSourceCtx, ex);
399                 }
400             }
401         }
402
403         if (!libSources.isEmpty()) {
404             final Set<SourceSpecificContext> requiredLibs = getRequiredSourcesFromLib();
405             sources.addAll(requiredLibs);
406             libSources = ImmutableSet.of();
407             /*
408              * We want to report errors of relevant sources only, so any others can
409              * be removed.
410              */
411             sourcesToProgress.retainAll(sources);
412         }
413
414         if (!sourcesToProgress.isEmpty()) {
415             final SomeModifiersUnresolvedException buildFailure = addSourceExceptions(sourcesToProgress);
416             if (buildFailure != null) {
417                 throw buildFailure;
418             }
419         }
420     }
421
422     private Set<SourceSpecificContext> getRequiredSourcesFromLib() {
423         checkState(currentPhase == ModelProcessingPhase.SOURCE_PRE_LINKAGE,
424                 "Required library sources can be collected only in ModelProcessingPhase.SOURCE_PRE_LINKAGE phase,"
425                         + " but current phase was %s", currentPhase);
426         final TreeBasedTable<String, Optional<Revision>, SourceSpecificContext> libSourcesTable = TreeBasedTable.create(
427             String::compareTo, Revision::compare);
428         for (final SourceSpecificContext libSource : libSources) {
429             final SourceIdentifier libSourceIdentifier = requireNonNull(libSource.getRootIdentifier());
430             libSourcesTable.put(libSourceIdentifier.getName(), libSourceIdentifier.getRevision(), libSource);
431         }
432
433         final Set<SourceSpecificContext> requiredLibs = new HashSet<>();
434         for (final SourceSpecificContext source : sources) {
435             collectRequiredSourcesFromLib(libSourcesTable, requiredLibs, source);
436             removeConflictingLibSources(source, requiredLibs);
437         }
438         return requiredLibs;
439     }
440
441     private void collectRequiredSourcesFromLib(
442             final TreeBasedTable<String, Optional<Revision>, SourceSpecificContext> libSourcesTable,
443             final Set<SourceSpecificContext> requiredLibs, final SourceSpecificContext source) {
444         for (final SourceIdentifier requiredSource : source.getRequiredSources()) {
445             final SourceSpecificContext libSource = getRequiredLibSource(requiredSource, libSourcesTable);
446             if (libSource != null && requiredLibs.add(libSource)) {
447                 collectRequiredSourcesFromLib(libSourcesTable, requiredLibs, libSource);
448             }
449         }
450     }
451
452     private static SourceSpecificContext getRequiredLibSource(final SourceIdentifier requiredSource,
453             final TreeBasedTable<String, Optional<Revision>, SourceSpecificContext> libSourcesTable) {
454         return requiredSource.getRevision().isPresent()
455                 ? libSourcesTable.get(requiredSource.getName(), requiredSource.getRevision())
456                         : getLatestRevision(libSourcesTable.row(requiredSource.getName()));
457     }
458
459     private static SourceSpecificContext getLatestRevision(final SortedMap<Optional<Revision>,
460             SourceSpecificContext> sourceMap) {
461         return sourceMap != null && !sourceMap.isEmpty() ? sourceMap.get(sourceMap.lastKey()) : null;
462     }
463
464     // removes required library sources which would cause namespace/name conflict with one of the main sources
465     // later in the parsing process. this can happen if we add a parent module or a submodule as a main source
466     // and the same parent module or submodule is added as one of the library sources.
467     // such situation may occur when using the yang-system-test artifact - if a parent module/submodule is specified
468     // as its argument and the same dir is specified as one of the library dirs through -p option).
469     private static void removeConflictingLibSources(final SourceSpecificContext source,
470             final Set<SourceSpecificContext> requiredLibs) {
471         final Iterator<SourceSpecificContext> requiredLibsIter = requiredLibs.iterator();
472         while (requiredLibsIter.hasNext()) {
473             final SourceSpecificContext currentReqSource = requiredLibsIter.next();
474             if (source.getRootIdentifier().equals(currentReqSource.getRootIdentifier())) {
475                 requiredLibsIter.remove();
476             }
477         }
478     }
479
480     private void endPhase(final ModelProcessingPhase phase) {
481         checkState(currentPhase == phase);
482         finishedPhase = currentPhase;
483         LOG.debug("Global phase {} finished", phase);
484     }
485
486     Set<SourceSpecificContext> getSources() {
487         return sources;
488     }
489
490     public Set<YangVersion> getSupportedVersions() {
491         return supportedVersions;
492     }
493
494     void addMutableStmtToSeal(final MutableStatement mutableStatement) {
495         mutableStatementsToSeal.add(mutableStatement);
496     }
497
498     void sealMutableStatements() {
499         for (final MutableStatement mutableStatement : mutableStatementsToSeal) {
500             mutableStatement.seal();
501         }
502         mutableStatementsToSeal.clear();
503     }
504 }