Add an explicit intermediate YANG representation
[yangtools.git] / yang / yang-parser-rfc7950 / src / main / java / org / opendaylight / yangtools / yang / parser / rfc7950 / repo / YangModelDependencyInfo.java
1 /*
2  * Copyright (c) 2014 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.parser.rfc7950.repo;
9
10 import static com.google.common.base.Preconditions.checkArgument;
11 import static java.util.Objects.requireNonNull;
12
13 import com.google.common.annotations.VisibleForTesting;
14 import com.google.common.base.Splitter;
15 import com.google.common.base.Strings;
16 import com.google.common.collect.ImmutableSet;
17 import java.io.IOException;
18 import java.util.HashSet;
19 import java.util.Objects;
20 import java.util.Optional;
21 import java.util.Set;
22 import org.eclipse.jdt.annotation.NonNull;
23 import org.eclipse.jdt.annotation.Nullable;
24 import org.opendaylight.yangtools.concepts.SemVer;
25 import org.opendaylight.yangtools.openconfig.model.api.OpenConfigStatements;
26 import org.opendaylight.yangtools.yang.common.QName;
27 import org.opendaylight.yangtools.yang.common.Revision;
28 import org.opendaylight.yangtools.yang.model.api.ModuleImport;
29 import org.opendaylight.yangtools.yang.model.api.YangStmtMapping;
30 import org.opendaylight.yangtools.yang.model.parser.api.YangSyntaxErrorException;
31 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
32 import org.opendaylight.yangtools.yang.model.repo.api.YangTextSchemaSource;
33 import org.opendaylight.yangtools.yang.parser.rfc7950.ir.IRArgument;
34 import org.opendaylight.yangtools.yang.parser.rfc7950.ir.IRKeyword;
35 import org.opendaylight.yangtools.yang.parser.rfc7950.ir.IRKeyword.Unqualified;
36 import org.opendaylight.yangtools.yang.parser.rfc7950.ir.IRStatement;
37 import org.opendaylight.yangtools.yang.parser.spi.source.DeclarationInTextSource;
38 import org.opendaylight.yangtools.yang.parser.spi.source.StatementSourceReference;
39
40 /**
41  * Helper transfer object which holds basic and dependency information for YANG
42  * model.
43  *
44  * <p>
45  * There are two concrete implementations of this interface:
46  * <ul>
47  * <li>{@link ModuleDependencyInfo} - Dependency information for module</li>
48  * <li>{@link SubmoduleDependencyInfo} - Dependency information for submodule</li>
49  * </ul>
50  *
51  * @see ModuleDependencyInfo
52  * @see SubmoduleDependencyInfo
53  */
54 public abstract class YangModelDependencyInfo {
55     private static final String BELONGS_TO = YangStmtMapping.BELONGS_TO.getStatementName().getLocalName();
56     private static final String IMPORT = YangStmtMapping.IMPORT.getStatementName().getLocalName();
57     private static final String INCLUDE = YangStmtMapping.INCLUDE.getStatementName().getLocalName();
58     private static final String MODULE = YangStmtMapping.MODULE.getStatementName().getLocalName();
59     private static final String REVISION = YangStmtMapping.REVISION.getStatementName().getLocalName();
60     private static final String REVISION_DATE = YangStmtMapping.REVISION_DATE.getStatementName().getLocalName();
61     private static final String SUBMODULE = YangStmtMapping.SUBMODULE.getStatementName().getLocalName();
62
63     private static final String OPENCONFIG_VERSION = OpenConfigStatements.OPENCONFIG_VERSION.getStatementName()
64             .getLocalName();
65     private static final Splitter COLON_SPLITTER = Splitter.on(":").omitEmptyStrings().trimResults();
66
67     private final String name;
68     private final Revision revision;
69     private final SemVer semVer;
70     private final ImmutableSet<ModuleImport> submoduleIncludes;
71     private final ImmutableSet<ModuleImport> moduleImports;
72     private final ImmutableSet<ModuleImport> dependencies;
73
74     YangModelDependencyInfo(final String name, final String formattedRevision,
75             final ImmutableSet<ModuleImport> imports,
76             final ImmutableSet<ModuleImport> includes) {
77         this(name, formattedRevision, imports, includes, Optional.empty());
78     }
79
80     YangModelDependencyInfo(final String name, final String formattedRevision,
81             final ImmutableSet<ModuleImport> imports,
82             final ImmutableSet<ModuleImport> includes,
83             final Optional<SemVer> semVer) {
84         this.name = name;
85         this.revision = Revision.ofNullable(formattedRevision).orElse(null);
86         this.moduleImports = imports;
87         this.submoduleIncludes = includes;
88         this.dependencies = ImmutableSet.<ModuleImport>builder()
89                 .addAll(moduleImports).addAll(submoduleIncludes).build();
90         this.semVer = semVer.orElse(null);
91     }
92
93     /**
94      * Returns immutable collection of all module imports. This collection contains both <code>import</code> statements
95      * and <code>include</code> statements for submodules.
96      *
97      * @return Immutable collection of imports.
98      */
99     public ImmutableSet<ModuleImport> getDependencies() {
100         return dependencies;
101     }
102
103     /**
104      * Returns model name.
105      *
106      * @return model name
107      */
108     public String getName() {
109         return name;
110     }
111
112     /**
113      * Returns formatted revision string.
114      *
115      * @return formatted revision string
116      */
117     public String getFormattedRevision() {
118         return revision != null ? revision.toString() : null;
119     }
120
121     /**
122      * Returns revision.
123      *
124      * @return revision, potentially null
125      */
126     public Optional<Revision> getRevision() {
127         return Optional.ofNullable(revision);
128     }
129
130     /**
131      * Returns semantic version of module.
132      *
133      * @return semantic version
134      */
135     public Optional<SemVer> getSemanticVersion() {
136         return Optional.ofNullable(semVer);
137     }
138
139     @Override
140     public int hashCode() {
141         final int prime = 31;
142         int result = 1;
143         result = prime * result + Objects.hashCode(name);
144         result = prime * result + Objects.hashCode(revision);
145         result = prime * result + Objects.hashCode(semVer);
146         return result;
147     }
148
149     @Override
150     public boolean equals(final Object obj) {
151         if (this == obj) {
152             return true;
153         }
154         if (obj == null) {
155             return false;
156         }
157         if (!(obj instanceof YangModelDependencyInfo)) {
158             return false;
159         }
160         final YangModelDependencyInfo other = (YangModelDependencyInfo) obj;
161         return Objects.equals(name, other.name) && Objects.equals(revision, other.revision)
162                 && Objects.equals(semVer, other.semVer);
163     }
164
165     /**
166      * Extracts {@link YangModelDependencyInfo} from an abstract syntax tree of a YANG model.
167      *
168      * @param source Source identifier
169      * @param rootStatement root statement
170      * @return {@link YangModelDependencyInfo}
171      * @throws IllegalArgumentException If the AST is not a valid YANG module/submodule
172      */
173     static @NonNull YangModelDependencyInfo parseAST(final IRStatement rootStatement,
174             final SourceIdentifier source) {
175         final IRKeyword keyword = rootStatement.keyword();
176         checkArgument(keyword instanceof Unqualified, "Invalid root statement %s", keyword);
177
178         final String arg = keyword.identifier();
179         if (MODULE.equals(arg)) {
180             return parseModuleContext(rootStatement, source);
181         }
182         if (SUBMODULE.equals(arg)) {
183             return parseSubmoduleContext(rootStatement, source);
184         }
185         throw new IllegalArgumentException("Root of parsed AST must be either module or submodule");
186     }
187
188     /**
189      * Extracts {@link YangModelDependencyInfo} from input stream containing a YANG model. This parsing does not
190      * validate full YANG module, only parses header up to the revisions and imports.
191      *
192      * @param refClass Base search class
193      * @param resourceName resource name, relative to refClass
194      * @return {@link YangModelDependencyInfo}
195      * @throws YangSyntaxErrorException If the resource does not pass syntactic analysis
196      * @throws IOException When the resource cannot be read
197      * @throws IllegalArgumentException
198      *             If input stream is not valid YANG stream
199      */
200     @VisibleForTesting
201     public static YangModelDependencyInfo forResource(final Class<?> refClass, final String resourceName)
202             throws IOException, YangSyntaxErrorException {
203         final YangStatementStreamSource source = YangStatementStreamSource.create(
204             YangTextSchemaSource.forResource(refClass, resourceName));
205         return parseAST(source.rootStatement(), source.getIdentifier());
206     }
207
208     private static @NonNull YangModelDependencyInfo parseModuleContext(final IRStatement module,
209             final SourceIdentifier source) {
210         final String name = safeStringArgument(source, module, "module name");
211         final String latestRevision = getLatestRevision(module, source);
212         final Optional<SemVer> semVer = Optional.ofNullable(findSemanticVersion(module, source));
213         final ImmutableSet<ModuleImport> imports = parseImports(module, source);
214         final ImmutableSet<ModuleImport> includes = parseIncludes(module, source);
215
216         return new ModuleDependencyInfo(name, latestRevision, imports, includes, semVer);
217     }
218
219     private static ImmutableSet<ModuleImport> parseImports(final IRStatement module,
220             final SourceIdentifier source) {
221         final Set<ModuleImport> result = new HashSet<>();
222         for (final IRStatement substatement : module.statements()) {
223             if (isBuiltin(substatement, IMPORT)) {
224                 final String importedModuleName = safeStringArgument(source, substatement, "imported module name");
225                 final String revisionDateStr = getRevisionDateString(substatement, source);
226                 final Revision revisionDate = Revision.ofNullable(revisionDateStr).orElse(null);
227                 final SemVer importSemVer = findSemanticVersion(substatement, source);
228                 result.add(new ModuleImportImpl(importedModuleName, revisionDate, importSemVer));
229             }
230         }
231         return ImmutableSet.copyOf(result);
232     }
233
234     private static SemVer findSemanticVersion(final IRStatement statement, final SourceIdentifier source) {
235         String semVerString = null;
236         for (final IRStatement substatement : statement.statements()) {
237             // FIXME: this should also check we are using a prefix
238             if (OPENCONFIG_VERSION.equals(substatement.keyword().identifier())) {
239                 semVerString = safeStringArgument(source,  substatement, "version string");
240                 break;
241             }
242         }
243
244         return Strings.isNullOrEmpty(semVerString) ? null : SemVer.valueOf(semVerString);
245     }
246
247     private static boolean isBuiltin(final IRStatement stmt, final String localName) {
248         final IRKeyword keyword = stmt.keyword();
249         return keyword instanceof Unqualified && localName.equals(keyword.identifier());
250     }
251
252     private static ImmutableSet<ModuleImport> parseIncludes(final IRStatement module, final SourceIdentifier source) {
253         final Set<ModuleImport> result = new HashSet<>();
254         for (final IRStatement substatement : module.statements()) {
255             if (isBuiltin(substatement, INCLUDE)) {
256                 final String revisionDateStr = getRevisionDateString(substatement, source);
257                 final String IncludeModuleName = safeStringArgument(source, substatement, "included submodule name");
258                 final Revision revisionDate = Revision.ofNullable(revisionDateStr).orElse(null);
259                 result.add(new ModuleImportImpl(IncludeModuleName, revisionDate));
260             }
261         }
262         return ImmutableSet.copyOf(result);
263     }
264
265     private static String getRevisionDateString(final IRStatement importStatement, final SourceIdentifier source) {
266         String revisionDateStr = null;
267         for (final IRStatement substatement : importStatement.statements()) {
268             if (isBuiltin(substatement, REVISION_DATE)) {
269                 revisionDateStr = safeStringArgument(source, substatement, "imported module revision-date");
270             }
271         }
272         return revisionDateStr;
273     }
274
275     public static String getLatestRevision(final IRStatement module, final SourceIdentifier source) {
276         String latestRevision = null;
277         for (final IRStatement substatement : module.statements()) {
278             if (isBuiltin(substatement, REVISION)) {
279                 final String currentRevision = safeStringArgument(source, substatement, "revision date");
280                 if (latestRevision == null || latestRevision.compareTo(currentRevision) < 0) {
281                     latestRevision = currentRevision;
282                 }
283             }
284         }
285         return latestRevision;
286     }
287
288     private static @NonNull YangModelDependencyInfo parseSubmoduleContext(final IRStatement submodule,
289             final SourceIdentifier source) {
290         final String name = safeStringArgument(source, submodule, "submodule name");
291         final String belongsTo = parseBelongsTo(submodule, source);
292
293         final String latestRevision = getLatestRevision(submodule, source);
294         final ImmutableSet<ModuleImport> imports = parseImports(submodule, source);
295         final ImmutableSet<ModuleImport> includes = parseIncludes(submodule, source);
296
297         return new SubmoduleDependencyInfo(name, latestRevision, belongsTo, imports, includes);
298     }
299
300     private static String parseBelongsTo(final IRStatement submodule, final SourceIdentifier source) {
301         for (final IRStatement substatement : submodule.statements()) {
302             if (isBuiltin(substatement, BELONGS_TO)) {
303                 return safeStringArgument(source, substatement, "belongs-to module name");
304             }
305         }
306         return null;
307     }
308
309     private static String safeStringArgument(final SourceIdentifier source, final IRStatement stmt, final String desc) {
310         final StatementSourceReference ref = getReference(source, stmt);
311         final IRArgument arg = stmt.argument();
312         checkArgument(arg != null, "Missing %s at %s", desc, ref);
313         // TODO: we probably need to understand yang version first....
314         return ArgumentContextUtils.rfc6020().stringFromStringContext(arg, ref);
315     }
316
317     private static StatementSourceReference getReference(final SourceIdentifier source, final IRStatement stmt) {
318         return DeclarationInTextSource.atPosition(source.getName(), stmt.startLine(), stmt.startColumn());
319     }
320
321     /**
322      * Dependency information for YANG module.
323      */
324     public static final class ModuleDependencyInfo extends YangModelDependencyInfo {
325         ModuleDependencyInfo(final String name, final String latestRevision, final ImmutableSet<ModuleImport> imports,
326                 final ImmutableSet<ModuleImport> includes, final Optional<SemVer> semVer) {
327             super(name, latestRevision, imports, includes, semVer);
328         }
329
330         @Override
331         public String toString() {
332             return "Module [name=" + getName() + ", revision=" + getRevision()
333                 + ", semanticVersion=" + getSemanticVersion().orElse(null)
334                 + ", dependencies=" + getDependencies()
335                 + "]";
336         }
337     }
338
339     /**
340      * Dependency information for submodule, also provides name for parent module.
341      */
342     public static final class SubmoduleDependencyInfo extends YangModelDependencyInfo {
343         private final String belongsTo;
344
345         private SubmoduleDependencyInfo(final String name, final String latestRevision, final String belongsTo,
346                 final ImmutableSet<ModuleImport> imports, final ImmutableSet<ModuleImport> includes) {
347             super(name, latestRevision, imports, includes);
348             this.belongsTo = belongsTo;
349         }
350
351         /**
352          * Returns name of parent module.
353          */
354         public String getParentModule() {
355             return belongsTo;
356         }
357
358         @Override
359         public String toString() {
360             return "Submodule [name=" + getName() + ", revision="
361                     + getRevision() + ", dependencies=" + getDependencies()
362                     + "]";
363         }
364     }
365
366     /**
367      * Utility implementation of {@link ModuleImport} to be used by {@link YangModelDependencyInfo}.
368      */
369     private static final class ModuleImportImpl implements ModuleImport {
370
371         private final Revision revision;
372         private final SemVer semVer;
373         private final String name;
374
375         ModuleImportImpl(final @NonNull String moduleName, final @Nullable Revision revision) {
376             this(moduleName, revision, null);
377         }
378
379         ModuleImportImpl(final @NonNull String moduleName, final @Nullable Revision revision,
380                 final @Nullable SemVer semVer) {
381             this.name = requireNonNull(moduleName, "Module name must not be null.");
382             this.revision = revision;
383             this.semVer = semVer;
384         }
385
386         @Override
387         public String getModuleName() {
388             return name;
389         }
390
391         @Override
392         public Optional<Revision> getRevision() {
393             return Optional.ofNullable(revision);
394         }
395
396         @Override
397         public Optional<SemVer> getSemanticVersion() {
398             return Optional.ofNullable(semVer);
399         }
400
401         @Override
402         public String getPrefix() {
403             return null;
404         }
405
406         @Override
407         public Optional<String> getDescription() {
408             return Optional.empty();
409         }
410
411         @Override
412         public Optional<String> getReference() {
413             return Optional.empty();
414         }
415
416         @Override
417         public int hashCode() {
418             final int prime = 31;
419             int result = 1;
420             result = prime * result + Objects.hashCode(name);
421             result = prime * result + Objects.hashCode(revision);
422             result = prime * result + Objects.hashCode(semVer);
423             return result;
424         }
425
426         @Override
427         public boolean equals(final Object obj) {
428             if (this == obj) {
429                 return true;
430             }
431             if (!(obj instanceof ModuleImportImpl)) {
432                 return false;
433             }
434             final ModuleImportImpl other = (ModuleImportImpl) obj;
435             return name.equals(other.name) && Objects.equals(revision, other.revision)
436                     && Objects.equals(getSemanticVersion(), other.getSemanticVersion());
437         }
438
439         @Override
440         public String toString() {
441             return "ModuleImportImpl [name=" + name + ", revision="
442                     + QName.formattedRevision(Optional.ofNullable(revision)) + ", semanticVersion=" + semVer + "]";
443         }
444     }
445 }