yang/yang-parser-impl/src/main/java/org/opendaylight/yangtools/yang/parser/impl/YangParserImpl.java

   1 /*
   2  * Copyright (c) 2013 Cisco Systems, Inc. and others. All rights reserved.
   3  * This program and the accompanying materials are made available under the
   4  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   5  * and is available at http://www.eclipse.org/legal/epl-v10.html
   6  */
   7 package org.opendaylight.yangtools.yang.parser.impl;
   8
   9 import static com.google.common.base.Preconditions.checkNotNull;
  10 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.fillAugmentTarget;
  11 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.findBaseIdentity;
  12 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.findModuleFromBuilders;
  13 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.findModuleFromContext;
  14 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.findSchemaNode;
  15 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.findSchemaNodeInModule;
  16 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.processAugmentation;
  17 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.setNodeAddedByUses;
  18 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.wrapChildNodes;
  19 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.wrapGroupings;
  20 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.wrapTypedefs;
  21 import static org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils.wrapUnknownNodes;
  22 import static org.opendaylight.yangtools.yang.parser.builder.impl.TypeUtils.resolveType;
  23 import static org.opendaylight.yangtools.yang.parser.builder.impl.TypeUtils.resolveTypeUnion;
  24
  25 import com.google.common.base.Optional;
  26 import com.google.common.base.Preconditions;
  27 import com.google.common.base.Splitter;
  28 import com.google.common.collect.HashBiMap;
  29 import com.google.common.io.ByteSource;
  30
  31 import java.io.File;
  32 import java.io.IOException;
  33 import java.io.InputStream;
  34 import java.util.ArrayList;
  35 import java.util.Collection;
  36 import java.util.Collections;
  37 import java.util.Date;
  38 import java.util.HashMap;
  39 import java.util.HashSet;
  40 import java.util.LinkedHashMap;
  41 import java.util.LinkedHashSet;
  42 import java.util.List;
  43 import java.util.Map;
  44 import java.util.Set;
  45 import java.util.TreeMap;
  46
  47 import javax.annotation.concurrent.Immutable;
  48
  49 import org.antlr.v4.runtime.ANTLRInputStream;
  50 import org.antlr.v4.runtime.CommonTokenStream;
  51 import org.antlr.v4.runtime.tree.ParseTree;
  52 import org.antlr.v4.runtime.tree.ParseTreeWalker;
  53 import org.opendaylight.yangtools.antlrv4.code.gen.YangLexer;
  54 import org.opendaylight.yangtools.antlrv4.code.gen.YangParser;
  55 import org.opendaylight.yangtools.antlrv4.code.gen.YangParser.YangContext;
  56 import org.opendaylight.yangtools.yang.common.QName;
  57 import org.opendaylight.yangtools.yang.common.QNameModule;
  58 import org.opendaylight.yangtools.yang.model.api.ExtensionDefinition;
  59 import org.opendaylight.yangtools.yang.model.api.GroupingDefinition;
  60 import org.opendaylight.yangtools.yang.model.api.Module;
  61 import org.opendaylight.yangtools.yang.model.api.ModuleIdentifier;
  62 import org.opendaylight.yangtools.yang.model.api.ModuleImport;
  63 import org.opendaylight.yangtools.yang.model.api.SchemaContext;
  64 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
  65 import org.opendaylight.yangtools.yang.model.parser.api.YangContextParser;
  66 import org.opendaylight.yangtools.yang.model.parser.api.YangSyntaxErrorException;
  67 import org.opendaylight.yangtools.yang.parser.builder.api.AugmentationSchemaBuilder;
  68 import org.opendaylight.yangtools.yang.parser.builder.api.AugmentationTargetBuilder;
  69 import org.opendaylight.yangtools.yang.parser.builder.api.Builder;
  70 import org.opendaylight.yangtools.yang.parser.builder.api.DataNodeContainerBuilder;
  71 import org.opendaylight.yangtools.yang.parser.builder.api.DataSchemaNodeBuilder;
  72 import org.opendaylight.yangtools.yang.parser.builder.api.ExtensionBuilder;
  73 import org.opendaylight.yangtools.yang.parser.builder.api.GroupingBuilder;
  74 import org.opendaylight.yangtools.yang.parser.builder.api.SchemaNodeBuilder;
  75 import org.opendaylight.yangtools.yang.parser.builder.api.TypeAwareBuilder;
  76 import org.opendaylight.yangtools.yang.parser.builder.api.TypeDefinitionBuilder;
  77 import org.opendaylight.yangtools.yang.parser.builder.api.UnknownSchemaNodeBuilder;
  78 import org.opendaylight.yangtools.yang.parser.builder.api.UsesNodeBuilder;
  79 import org.opendaylight.yangtools.yang.parser.builder.impl.BuilderUtils;
  80 import org.opendaylight.yangtools.yang.parser.builder.impl.ChoiceBuilder;
  81 import org.opendaylight.yangtools.yang.parser.builder.impl.ChoiceCaseBuilder;
  82 import org.opendaylight.yangtools.yang.parser.builder.impl.DeviationBuilder;
  83 import org.opendaylight.yangtools.yang.parser.builder.impl.GroupingUtils;
  84 import org.opendaylight.yangtools.yang.parser.builder.impl.IdentitySchemaNodeBuilder;
  85 import org.opendaylight.yangtools.yang.parser.builder.impl.IdentityrefTypeBuilder;
  86 import org.opendaylight.yangtools.yang.parser.builder.impl.ModuleBuilder;
  87 import org.opendaylight.yangtools.yang.parser.builder.impl.ModuleImpl;
  88 import org.opendaylight.yangtools.yang.parser.builder.impl.UnionTypeBuilder;
  89 import org.opendaylight.yangtools.yang.parser.builder.impl.UnknownSchemaNodeBuilderImpl;
  90 import org.opendaylight.yangtools.yang.parser.builder.util.Comparators;
  91 import org.opendaylight.yangtools.yang.parser.util.ModuleDependencySort;
  92 import org.opendaylight.yangtools.yang.parser.util.NamedByteArrayInputStream;
  93 import org.opendaylight.yangtools.yang.parser.util.NamedFileInputStream;
  94 import org.opendaylight.yangtools.yang.parser.util.NamedInputStream;
  95 import org.opendaylight.yangtools.yang.parser.util.YangParseException;
  96 import org.slf4j.Logger;
  97 import org.slf4j.LoggerFactory;
  98
  99 @Immutable
 100 public final class YangParserImpl implements YangContextParser {
 101     private static final Logger LOG = LoggerFactory.getLogger(YangParserImpl.class);
 102     private static final String FAIL_DEVIATION_TARGET = "Failed to find deviation target.";
 103     private static final Splitter COLON_SPLITTER = Splitter.on(':');
 104     private static final YangParserImpl INSTANCE = new YangParserImpl();
 105
 106     public static YangParserImpl getInstance() {
 107         return INSTANCE;
 108     }
 109
 110     @Override
 111     @Deprecated
 112     public Set<Module> parseYangModels(final File yangFile, final File directory) {
 113         try {
 114             return parseFile(yangFile, directory).getModules();
 115         } catch (IOException | YangSyntaxErrorException e) {
 116             throw new YangParseException("Failed to parse yang data", e);
 117         }
 118     }
 119
 120     @Override
 121     public SchemaContext parseFile(final File yangFile, final File directory) throws IOException,
 122     YangSyntaxErrorException {
 123         Preconditions.checkState(yangFile.exists(), yangFile + " does not exists");
 124         Preconditions.checkState(directory.exists(), directory + " does not exists");
 125         Preconditions.checkState(directory.isDirectory(), directory + " is not a directory");
 126
 127         final String yangFileName = yangFile.getName();
 128         final String[] fileList = checkNotNull(directory.list(), directory + " not found or is not a directory");
 129
 130         Map<ByteSource, File> sourceToFile = new LinkedHashMap<>();
 131         ByteSource mainFileSource = BuilderUtils.fileToByteSource(yangFile);
 132         sourceToFile.put(mainFileSource, yangFile);
 133
 134         for (String fileName : fileList) {
 135             if (fileName.equals(yangFileName)) {
 136                 continue;
 137             }
 138             File dependency = new File(directory, fileName);
 139             if (dependency.isFile()) {
 140                 sourceToFile.put(BuilderUtils.fileToByteSource(dependency), dependency);
 141             }
 142         }
 143
 144         Map<ByteSource, ModuleBuilder> sourceToBuilder = parseSourcesToBuilders(sourceToFile.keySet());
 145         ModuleBuilder main = sourceToBuilder.get(mainFileSource);
 146
 147         List<ModuleBuilder> moduleBuilders = new ArrayList<>();
 148         moduleBuilders.add(main);
 149         filterImports(main, new ArrayList<>(sourceToBuilder.values()), moduleBuilders);
 150         Collection<ModuleBuilder> resolved = resolveSubmodules(moduleBuilders);
 151
 152         // module builders sorted by dependencies
 153         List<ModuleBuilder> sortedBuilders = ModuleDependencySort.sort(resolved);
 154         LinkedHashMap<String, TreeMap<Date, ModuleBuilder>> modules = resolveModulesWithImports(sortedBuilders, null);
 155         Collection<Module> unsorted = build(modules).values();
 156         Set<Module> result = new LinkedHashSet<>(
 157                 ModuleDependencySort.sort(unsorted.toArray(new Module[unsorted.size()])));
 158         return resolveSchemaContext(result);
 159     }
 160
 161     @Override
 162     @Deprecated
 163     public Set<Module> parseYangModels(final List<File> yangFiles) {
 164         return parseFiles(yangFiles).getModules();
 165     }
 166
 167     @Override
 168     public SchemaContext parseFiles(final Collection<File> yangFiles) {
 169         Collection<Module> unsorted = parseYangModelsMapped(yangFiles).values();
 170         Set<Module> sorted = new LinkedHashSet<>(
 171                 ModuleDependencySort.sort(unsorted.toArray(new Module[unsorted.size()])));
 172         return resolveSchemaContext(sorted);
 173     }
 174
 175     @Override
 176     @Deprecated
 177     public Set<Module> parseYangModels(final List<File> yangFiles, final SchemaContext context) {
 178         try {
 179             return parseFiles(yangFiles, context).getModules();
 180         } catch (IOException | YangSyntaxErrorException e) {
 181             throw new YangParseException("Failed to parse yang data", e);
 182         }
 183     }
 184
 185     @Override
 186     public SchemaContext parseFiles(final Collection<File> yangFiles, final SchemaContext context) throws IOException,
 187     YangSyntaxErrorException {
 188         if (yangFiles == null) {
 189             return resolveSchemaContext(Collections.<Module> emptySet());
 190         }
 191
 192         Collection<ByteSource> sources = BuilderUtils.filesToByteSources(yangFiles);
 193         return parseSources(sources, context);
 194     }
 195
 196     @Override
 197     @Deprecated
 198     public Set<Module> parseYangModelsFromStreams(final List<InputStream> yangModelStreams) {
 199         try {
 200             Collection<ByteSource> sources = BuilderUtils.streamsToByteSources(yangModelStreams);
 201             return parseSources(sources).getModules();
 202         } catch (IOException | YangSyntaxErrorException e) {
 203             throw new YangParseException("Failed to parse yang data", e);
 204         }
 205     }
 206
 207     @Override
 208     public SchemaContext parseSources(final Collection<ByteSource> sources) throws IOException,
 209     YangSyntaxErrorException {
 210         Collection<Module> unsorted = parseYangModelSources(sources).values();
 211         Set<Module> sorted = new LinkedHashSet<>(
 212                 ModuleDependencySort.sort(unsorted.toArray(new Module[unsorted.size()])));
 213         return resolveSchemaContext(sorted);
 214     }
 215
 216     @Override
 217     @Deprecated
 218     public Set<Module> parseYangModelsFromStreams(final List<InputStream> yangModelStreams, final SchemaContext context) {
 219         try {
 220             Collection<ByteSource> sources = BuilderUtils.streamsToByteSources(yangModelStreams);
 221             return parseSources(sources, context).getModules();
 222         } catch (IOException | YangSyntaxErrorException e) {
 223             throw new YangParseException("Failed to parse yang data", e);
 224         }
 225     }
 226
 227     @Override
 228     public SchemaContext parseSources(final Collection<ByteSource> sources, final SchemaContext context)
 229             throws IOException, YangSyntaxErrorException {
 230         if (sources == null) {
 231             return resolveSchemaContext(Collections.<Module> emptySet());
 232         }
 233
 234         final List<ModuleBuilder> sorted = resolveModuleBuilders(sources, context);
 235         final Map<String, TreeMap<Date, ModuleBuilder>> modules = resolveModulesWithImports(sorted, context);
 236
 237         final Set<Module> unsorted = new LinkedHashSet<>(build(modules).values());
 238         if (context != null) {
 239             for (Module m : context.getModules()) {
 240                 if (!unsorted.contains(m)) {
 241                     unsorted.add(m);
 242                 }
 243             }
 244         }
 245         Set<Module> result = new LinkedHashSet<>(
 246                 ModuleDependencySort.sort(unsorted.toArray(new Module[unsorted.size()])));
 247         return resolveSchemaContext(result);
 248     }
 249
 250     private LinkedHashMap<String, TreeMap<Date, ModuleBuilder>> resolveModulesWithImports(final List<ModuleBuilder> sorted,
 251             final SchemaContext context) {
 252         final LinkedHashMap<String, TreeMap<Date, ModuleBuilder>> modules = orderModules(sorted);
 253         for (ModuleBuilder module : sorted) {
 254             if (module != null) {
 255                 for (ModuleImport imp : module.getImports().values()) {
 256                     String prefix = imp.getPrefix();
 257                     ModuleBuilder targetModule = findModuleFromBuilders(modules, module, prefix, 0);
 258                     if (targetModule == null) {
 259                         Module result = findModuleFromContext(context, module, prefix, 0);
 260                         targetModule = new ModuleBuilder(result);
 261                         TreeMap<Date, ModuleBuilder> map = modules.get(prefix);
 262                         if (map == null) {
 263                             map = new TreeMap<>();
 264                             map.put(targetModule.getRevision(), targetModule);
 265                             modules.put(targetModule.getName(), map);
 266                         } else {
 267                             map.put(targetModule.getRevision(), targetModule);
 268                         }
 269                     }
 270                     module.addImportedModule(prefix, targetModule);
 271                 }
 272             }
 273         }
 274         return modules;
 275     }
 276
 277     @Override
 278     public Map<File, Module> parseYangModelsMapped(final Collection<File> yangFiles) {
 279         if (yangFiles == null || yangFiles.isEmpty()) {
 280             return Collections.emptyMap();
 281         }
 282
 283         Map<ByteSource, File> byteSourceToFile = new HashMap<>();
 284         for (final File file : yangFiles) {
 285             ByteSource source = new ByteSource() {
 286                 @Override
 287                 public InputStream openStream() throws IOException {
 288                     return new NamedFileInputStream(file, file.getPath());
 289                 }
 290             };
 291             byteSourceToFile.put(source, file);
 292         }
 293
 294         Map<ByteSource, Module> byteSourceToModule;
 295         try {
 296             byteSourceToModule = parseYangModelSources(byteSourceToFile.keySet());
 297         } catch (IOException | YangSyntaxErrorException e) {
 298             throw new YangParseException("Failed to parse yang data", e);
 299         }
 300         Map<File, Module> result = new LinkedHashMap<>();
 301         for (Map.Entry<ByteSource, Module> entry : byteSourceToModule.entrySet()) {
 302             result.put(byteSourceToFile.get(entry.getKey()), entry.getValue());
 303         }
 304         return result;
 305     }
 306
 307     @Override
 308     public Map<InputStream, Module> parseYangModelsFromStreamsMapped(final Collection<InputStream> yangModelStreams) {
 309         if (yangModelStreams == null || yangModelStreams.isEmpty()) {
 310             return Collections.emptyMap();
 311         }
 312
 313         Map<ByteSource, InputStream> sourceToStream = new HashMap<>();
 314         for (final InputStream stream : yangModelStreams) {
 315             ByteSource source = new ByteSource() {
 316                 @Override
 317                 public InputStream openStream() throws IOException {
 318                     return NamedByteArrayInputStream.create(stream);
 319                 }
 320             };
 321             sourceToStream.put(source, stream);
 322         }
 323
 324         Map<ByteSource, Module> sourceToModule;
 325         try {
 326             sourceToModule = parseYangModelSources(sourceToStream.keySet());
 327         } catch (IOException | YangSyntaxErrorException e) {
 328             throw new YangParseException("Failed to parse yang data", e);
 329         }
 330         Map<InputStream, Module> result = new LinkedHashMap<>();
 331         for (Map.Entry<ByteSource, Module> entry : sourceToModule.entrySet()) {
 332             result.put(sourceToStream.get(entry.getKey()), entry.getValue());
 333         }
 334         return result;
 335     }
 336
 337     @Override
 338     public SchemaContext resolveSchemaContext(final Set<Module> modules) {
 339         // after merging parse method with this one, add support for getting
 340         // submodule sources.
 341         Map<ModuleIdentifier, String> identifiersToSources = new HashMap<>();
 342         for (Module module : modules) {
 343             ModuleImpl moduleImpl = (ModuleImpl) module;
 344             identifiersToSources.put(module, moduleImpl.getSource());
 345         }
 346         return new SchemaContextImpl(modules, identifiersToSources);
 347     }
 348
 349     private Map<ByteSource, Module> parseYangModelSources(final Collection<ByteSource> sources) throws IOException,
 350     YangSyntaxErrorException {
 351         if (sources == null || sources.isEmpty()) {
 352             return Collections.emptyMap();
 353         }
 354
 355         Map<ByteSource, ModuleBuilder> sourceToBuilder = resolveSources(sources);
 356         // sort and check for duplicates
 357         List<ModuleBuilder> sorted = ModuleDependencySort.sort(sourceToBuilder.values());
 358         Map<String, TreeMap<Date, ModuleBuilder>> modules = resolveModulesWithImports(sorted, null);
 359         Map<ModuleBuilder, Module> builderToModule = build(modules);
 360         Map<ModuleBuilder, ByteSource> builderToSource = HashBiMap.create(sourceToBuilder).inverse();
 361         sorted = ModuleDependencySort.sort(builderToModule.keySet());
 362
 363         Map<ByteSource, Module> result = new LinkedHashMap<>();
 364         for (ModuleBuilder moduleBuilder : sorted) {
 365             Module value = checkNotNull(builderToModule.get(moduleBuilder), "Cannot get module for %s", moduleBuilder);
 366             result.put(builderToSource.get(moduleBuilder), value);
 367         }
 368
 369         return result;
 370     }
 371
 372     /**
 373      * Parse streams and resolve submodules.
 374      *
 375      * @param streams
 376      *            collection of streams to parse
 377      * @return map, where key is source stream and value is module builder
 378      *         parsed from stream
 379      * @throws YangSyntaxErrorException
 380      */
 381     // TODO: remove ByteSource result after removing YangModelParser
 382     private Map<ByteSource, ModuleBuilder> resolveSources(final Collection<ByteSource> streams) throws IOException,
 383     YangSyntaxErrorException {
 384         Map<ByteSource, ModuleBuilder> builders = parseSourcesToBuilders(streams);
 385         return resolveSubmodules(builders);
 386     }
 387
 388     private Map<ByteSource, ModuleBuilder> parseSourcesToBuilders(final Collection<ByteSource> sources)
 389             throws IOException, YangSyntaxErrorException {
 390         final ParseTreeWalker walker = new ParseTreeWalker();
 391         final Map<ByteSource, ParseTree> sourceToTree = parseYangSources(sources);
 392         final Map<ByteSource, ModuleBuilder> sourceToBuilder = new LinkedHashMap<>();
 393
 394         // validate yang
 395         new YangModelBasicValidator(walker).validate(sourceToTree.values());
 396
 397         YangParserListenerImpl yangModelParser;
 398         for (Map.Entry<ByteSource, ParseTree> entry : sourceToTree.entrySet()) {
 399             ByteSource source = entry.getKey();
 400             String path = null; // TODO refactor to Optional
 401             // TODO refactor so that path can be retrieved without opening
 402             // stream: NamedInputStream -> NamedByteSource ?
 403             try (InputStream stream = source.openStream()) {
 404                 if (stream instanceof NamedInputStream) {
 405                     path = stream.toString();
 406                 }
 407             }
 408             yangModelParser = new YangParserListenerImpl(path);
 409             walker.walk(yangModelParser, entry.getValue());
 410             ModuleBuilder moduleBuilder = yangModelParser.getModuleBuilder();
 411             moduleBuilder.setSource(source);
 412             sourceToBuilder.put(source, moduleBuilder);
 413         }
 414         return sourceToBuilder;
 415     }
 416
 417     private Map<ByteSource, ModuleBuilder> resolveSubmodules(final Map<ByteSource, ModuleBuilder> builders) {
 418         Map<ByteSource, ModuleBuilder> modules = new HashMap<>();
 419         Set<ModuleBuilder> submodules = new HashSet<>();
 420         for (Map.Entry<ByteSource, ModuleBuilder> entry : builders.entrySet()) {
 421             ModuleBuilder moduleBuilder = entry.getValue();
 422             if (moduleBuilder.isSubmodule()) {
 423                 submodules.add(moduleBuilder);
 424             } else {
 425                 modules.put(entry.getKey(), moduleBuilder);
 426             }
 427         }
 428
 429         Collection<ModuleBuilder> values = modules.values();
 430         for (ModuleBuilder submodule : submodules) {
 431             for (ModuleBuilder module : values) {
 432                 if (module.getName().equals(submodule.getBelongsTo())) {
 433                     addSubmoduleToModule(submodule, module);
 434                 }
 435             }
 436         }
 437         return modules;
 438     }
 439
 440     /**
 441      * Traverse collection of builders, find builders representing submodule and
 442      * add this submodule to its parent module.
 443      *
 444      * @param builders
 445      *            collection of builders containing modules and submodules
 446      * @return collection of module builders
 447      */
 448     private Collection<ModuleBuilder> resolveSubmodules(final Collection<ModuleBuilder> builders) {
 449         Collection<ModuleBuilder> modules = new HashSet<>();
 450         Set<ModuleBuilder> submodules = new HashSet<>();
 451         for (ModuleBuilder moduleBuilder : builders) {
 452             if (moduleBuilder.isSubmodule()) {
 453                 submodules.add(moduleBuilder);
 454             } else {
 455                 modules.add(moduleBuilder);
 456             }
 457         }
 458
 459         for (ModuleBuilder submodule : submodules) {
 460             for (ModuleBuilder module : modules) {
 461                 if (module.getName().equals(submodule.getBelongsTo())) {
 462                     addSubmoduleToModule(submodule, module);
 463                 }
 464             }
 465         }
 466         return modules;
 467     }
 468
 469     private void addSubmoduleToModule(final ModuleBuilder submodule, final ModuleBuilder module) {
 470         submodule.setParent(module);
 471         module.getDirtyNodes().addAll(submodule.getDirtyNodes());
 472         module.getImports().putAll(submodule.getImports());
 473         module.getAugments().addAll(submodule.getAugments());
 474         module.getAugmentBuilders().addAll(submodule.getAugmentBuilders());
 475         module.getAllAugments().addAll(submodule.getAllAugments());
 476         module.getChildNodeBuilders().addAll(submodule.getChildNodeBuilders());
 477         module.getChildNodes().putAll(submodule.getChildNodes());
 478         module.getGroupings().addAll(submodule.getGroupings());
 479         module.getGroupingBuilders().addAll(submodule.getGroupingBuilders());
 480         module.getTypeDefinitions().addAll(submodule.getTypeDefinitions());
 481         module.getTypeDefinitionBuilders().addAll(submodule.getTypeDefinitionBuilders());
 482         module.getUsesNodes().addAll(submodule.getUsesNodes());
 483         module.getUsesNodeBuilders().addAll(submodule.getUsesNodeBuilders());
 484         module.getAllGroupings().addAll(submodule.getAllGroupings());
 485         module.getAllUsesNodes().addAll(submodule.getAllUsesNodes());
 486         module.getRpcs().addAll(submodule.getRpcs());
 487         module.getAddedRpcs().addAll(submodule.getAddedRpcs());
 488         module.getNotifications().addAll(submodule.getNotifications());
 489         module.getAddedNotifications().addAll(submodule.getAddedNotifications());
 490         module.getIdentities().addAll(submodule.getIdentities());
 491         module.getAddedIdentities().addAll(submodule.getAddedIdentities());
 492         module.getFeatures().addAll(submodule.getFeatures());
 493         module.getAddedFeatures().addAll(submodule.getAddedFeatures());
 494         module.getDeviations().addAll(submodule.getDeviations());
 495         module.getDeviationBuilders().addAll(submodule.getDeviationBuilders());
 496         module.getExtensions().addAll(submodule.getExtensions());
 497         module.getAddedExtensions().addAll(submodule.getAddedExtensions());
 498         module.getUnknownNodes().addAll(submodule.getUnknownNodes());
 499         module.getAllUnknownNodes().addAll(submodule.getAllUnknownNodes());
 500     }
 501
 502     private List<ModuleBuilder> resolveModuleBuilders(final Collection<ByteSource> yangFileStreams,
 503             final SchemaContext context) throws IOException, YangSyntaxErrorException {
 504         Map<ByteSource, ModuleBuilder> parsedBuilders = resolveSources(yangFileStreams);
 505         ModuleBuilder[] builders = new ModuleBuilder[parsedBuilders.size()];
 506         parsedBuilders.values().toArray(builders);
 507
 508         // module dependency graph sorted
 509         List<ModuleBuilder> sorted;
 510         if (context == null) {
 511             sorted = ModuleDependencySort.sort(builders);
 512         } else {
 513             sorted = ModuleDependencySort.sortWithContext(context, builders);
 514         }
 515         return sorted;
 516     }
 517
 518     /**
 519      * Order modules by name and revision.
 520      *
 521      * @param modules
 522      *            topologically sorted modules
 523      * @return modules ordered by name and revision
 524      */
 525     private LinkedHashMap<String, TreeMap<Date, ModuleBuilder>> orderModules(final List<ModuleBuilder> modules) {
 526         final LinkedHashMap<String, TreeMap<Date, ModuleBuilder>> result = new LinkedHashMap<>();
 527         for (final ModuleBuilder builder : modules) {
 528             if (builder == null) {
 529                 continue;
 530             }
 531             final String builderName = builder.getName();
 532             Date builderRevision = builder.getRevision();
 533             if (builderRevision == null) {
 534                 builderRevision = new Date(0L);
 535             }
 536             TreeMap<Date, ModuleBuilder> builderByRevision = result.get(builderName);
 537             if (builderByRevision == null) {
 538                 builderByRevision = new TreeMap<>();
 539                 builderByRevision.put(builderRevision, builder);
 540                 result.put(builderName, builderByRevision);
 541             } else {
 542                 builderByRevision.put(builderRevision, builder);
 543             }
 544         }
 545         return result;
 546     }
 547
 548     /**
 549      * Find {@code main} dependencies from {@code other} and add them to
 550      * {@code filtered}.
 551      *
 552      * @param main
 553      *            main yang module
 554      * @param other
 555      *            all loaded modules
 556      * @param filtered
 557      *            collection to fill up
 558      */
 559     private void filterImports(final ModuleBuilder main, final Collection<ModuleBuilder> other,
 560             final Collection<ModuleBuilder> filtered) {
 561         Map<String, ModuleImport> imports = main.getImports();
 562
 563         // if this is submodule, add parent to filtered and pick its imports
 564         if (main.isSubmodule()) {
 565             TreeMap<Date, ModuleBuilder> dependencies = new TreeMap<>();
 566             for (ModuleBuilder mb : other) {
 567                 if (mb.getName().equals(main.getBelongsTo())) {
 568                     dependencies.put(mb.getRevision(), mb);
 569                 }
 570             }
 571             ModuleBuilder parent = dependencies.get(dependencies.firstKey());
 572             filtered.add(parent);
 573             imports.putAll(parent.getImports());
 574         }
 575
 576         for (ModuleImport mi : imports.values()) {
 577             for (ModuleBuilder builder : other) {
 578                 if (mi.getModuleName().equals(builder.getModuleName())) {
 579                     if (mi.getRevision() == null) {
 580                         if (!filtered.contains(builder)) {
 581                             filtered.add(builder);
 582                             filterImports(builder, other, filtered);
 583                         }
 584                     } else {
 585                         if (mi.getRevision().equals(builder.getRevision())) {
 586                             if (!filtered.contains(builder)) {
 587                                 filtered.add(builder);
 588                                 filterImports(builder, other, filtered);
 589                             }
 590                         }
 591                     }
 592                 }
 593             }
 594         }
 595     }
 596
 597     private Map<ByteSource, ParseTree> parseYangSources(final Collection<ByteSource> sources) throws IOException,
 598     YangSyntaxErrorException {
 599         final Map<ByteSource, ParseTree> trees = new HashMap<>();
 600         for (ByteSource source : sources) {
 601             trees.put(source, parseYangSource(source));
 602         }
 603         return trees;
 604     }
 605
 606     private YangContext parseYangSource(final ByteSource source) throws IOException, YangSyntaxErrorException {
 607         try (InputStream stream = source.openStream()) {
 608             final ANTLRInputStream input = new ANTLRInputStream(stream);
 609             final YangLexer lexer = new YangLexer(input);
 610             final CommonTokenStream tokens = new CommonTokenStream(lexer);
 611             final YangParser parser = new YangParser(tokens);
 612             parser.removeErrorListeners();
 613
 614             final YangErrorListener errorListener = new YangErrorListener();
 615             parser.addErrorListener(errorListener);
 616
 617             final YangContext result = parser.yang();
 618             errorListener.validate();
 619
 620             return result;
 621         }
 622     }
 623
 624     /**
 625      * Mini parser: This parsing context does not validate full YANG module,
 626      * only parses header up to the revisions and imports.
 627      *
 628      * @see org.opendaylight.yangtools.yang.parser.impl.util.YangModelDependencyInfo
 629      */
 630     public static YangContext parseStreamWithoutErrorListeners(final InputStream yangStream) {
 631         YangContext result = null;
 632         try {
 633             final ANTLRInputStream input = new ANTLRInputStream(yangStream);
 634             final YangLexer lexer = new YangLexer(input);
 635             final CommonTokenStream tokens = new CommonTokenStream(lexer);
 636             final YangParser parser = new YangParser(tokens);
 637             parser.removeErrorListeners();
 638             result = parser.yang();
 639         } catch (IOException e) {
 640             LOG.warn("Exception while reading yang file: " + yangStream, e);
 641         }
 642         return result;
 643     }
 644
 645     /**
 646      * Creates builder-to-module map based on given modules. Method first
 647      * resolve unresolved type references, instantiate groupings through uses
 648      * statements and perform augmentation.
 649      *
 650      * Node resolving must be performed in following order:
 651      * <ol>
 652      * <li>
 653      * unresolved type references</li>
 654      * <li>
 655      * uses in groupings</li>
 656      * <li>
 657      * uses in other nodes</li>
 658      * <li>
 659      * augments</li>
 660      * </ol>
 661      *
 662      * @param modules
 663      *            all loaded modules
 664      * @return modules mapped on their builders
 665      */
 666     private Map<ModuleBuilder, Module> build(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 667         resolveDirtyNodes(modules);
 668         resolveAugmentsTargetPath(modules);
 669         resolveUsesTargetGrouping(modules);
 670         resolveUsesForGroupings(modules);
 671         resolveUsesForNodes(modules);
 672         resolveAugments(modules);
 673         resolveIdentities(modules);
 674         resolveDeviations(modules);
 675
 676         // build
 677         final Map<ModuleBuilder, Module> result = new LinkedHashMap<>();
 678         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
 679             for (Map.Entry<Date, ModuleBuilder> childEntry : entry.getValue().entrySet()) {
 680                 final ModuleBuilder moduleBuilder = childEntry.getValue();
 681                 final Module module = moduleBuilder.build();
 682                 result.put(moduleBuilder, module);
 683             }
 684         }
 685         return result;
 686     }
 687
 688     /**
 689      * Resolve all unresolved type references.
 690      *
 691      * @param modules
 692      *            all loaded modules
 693      */
 694     private void resolveDirtyNodes(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 695         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
 696             for (Map.Entry<Date, ModuleBuilder> childEntry : entry.getValue().entrySet()) {
 697                 final ModuleBuilder module = childEntry.getValue();
 698                 resolveUnknownNodes(modules, module);
 699                 resolveDirtyNodes(modules, module);
 700             }
 701         }
 702     }
 703
 704     /**
 705      * Search for dirty nodes (node which contains UnknownType) and resolve
 706      * unknown types.
 707      *
 708      * @param modules
 709      *            all available modules
 710      * @param module
 711      *            current module
 712      */
 713     private void resolveDirtyNodes(final Map<String, TreeMap<Date, ModuleBuilder>> modules, final ModuleBuilder module) {
 714         final Set<TypeAwareBuilder> dirtyNodes = module.getDirtyNodes();
 715         if (!dirtyNodes.isEmpty()) {
 716             for (TypeAwareBuilder nodeToResolve : dirtyNodes) {
 717                 if (nodeToResolve instanceof UnionTypeBuilder) {
 718                     // special handling for union types
 719                     resolveTypeUnion((UnionTypeBuilder) nodeToResolve, modules, module);
 720                 } else if (nodeToResolve.getTypedef() instanceof IdentityrefTypeBuilder) {
 721                     // special handling for identityref types
 722                     IdentityrefTypeBuilder idref = (IdentityrefTypeBuilder) nodeToResolve.getTypedef();
 723                     IdentitySchemaNodeBuilder identity = findBaseIdentity(modules, module, idref.getBaseString(),
 724                             idref.getLine());
 725                     if (identity == null) {
 726                         throw new YangParseException(module.getName(), idref.getLine(), "Failed to find base identity");
 727                     }
 728                     idref.setBaseIdentity(identity);
 729                     nodeToResolve.setType(idref.build());
 730                 } else {
 731                     resolveType(nodeToResolve, modules, module);
 732                 }
 733             }
 734         }
 735     }
 736
 737     /**
 738      * Traverse through augmentations of modules and fix their child nodes
 739      * schema path.
 740      *
 741      * @param modules
 742      *            all loaded modules
 743      */
 744     private void resolveAugmentsTargetPath(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 745         // collect augments from all loaded modules
 746         final List<AugmentationSchemaBuilder> allAugments = new ArrayList<>();
 747         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
 748             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
 749                 allAugments.addAll(inner.getValue().getAllAugments());
 750             }
 751         }
 752
 753         for (AugmentationSchemaBuilder augment : allAugments) {
 754             setCorrectAugmentTargetPath(modules, augment);
 755         }
 756     }
 757
 758     /**
 759      * Find augment target and set correct schema path for all its child nodes.
 760      *
 761      * @param modules
 762      *            all loaded modules
 763      * @param augment
 764      *            augment to resolve
 765      */
 766     private void setCorrectAugmentTargetPath(final Map<String, TreeMap<Date, ModuleBuilder>> modules,
 767             final AugmentationSchemaBuilder augment) {
 768         ModuleBuilder module = BuilderUtils.getParentModule(augment);
 769         final SchemaPath newSchemaPath;
 770
 771         Builder parent = augment.getParent();
 772         if (parent instanceof UsesNodeBuilder) {
 773             DataNodeContainerBuilder usesParent = ((UsesNodeBuilder) parent).getParent();
 774
 775             QName baseQName = usesParent.getQName();
 776             final QNameModule qnm;
 777             String prefix;
 778             if (baseQName == null) {
 779                 ModuleBuilder m = BuilderUtils.getParentModule(usesParent);
 780                 qnm = m.getQNameModule();
 781                 prefix = m.getPrefix();
 782             } else {
 783                 qnm = baseQName.getModule();
 784                 prefix = baseQName.getPrefix();
 785             }
 786
 787             SchemaPath s = usesParent.getPath();
 788             for (QName qn : augment.getTargetPath().getPathFromRoot()) {
 789                 s = s.createChild(QName.create(qnm, prefix, qn.getLocalName()));
 790             }
 791
 792             newSchemaPath = s;
 793         } else {
 794             final List<QName> newPath = new ArrayList<>();
 795
 796             for (QName qn : augment.getTargetPath().getPathFromRoot()) {
 797                 QNameModule qnm = module.getQNameModule();
 798                 String localPrefix = qn.getPrefix();
 799                 if (localPrefix != null && !localPrefix.isEmpty()) {
 800                     ModuleBuilder currentModule = BuilderUtils.getModuleByPrefix(module, localPrefix);
 801                     if (currentModule == null) {
 802                         throw new YangParseException(module.getName(), augment.getLine(), "Module with prefix "
 803                                 + localPrefix + " not found.");
 804                     }
 805                     qnm = currentModule.getQNameModule();
 806                 }
 807                 newPath.add(QName.create(qnm, localPrefix, qn.getLocalName()));
 808             }
 809
 810             /*
 811              * FIXME: this method of SchemaPath construction is highly ineffective.
 812              *        It would be great if we could actually dive into the context,
 813              *        find the actual target node and reuse its SchemaPath. Can we
 814              *        do that?
 815              */
 816             newSchemaPath = SchemaPath.create(newPath, true);
 817         }
 818         augment.setTargetNodeSchemaPath(newSchemaPath);
 819
 820         for (DataSchemaNodeBuilder childNode : augment.getChildNodeBuilders()) {
 821             correctPathForAugmentNodes(childNode, augment.getTargetNodeSchemaPath());
 822         }
 823     }
 824
 825     /**
 826      * Set new schema path to node and all its child nodes based on given parent
 827      * path. This method do not change the namespace.
 828      *
 829      * @param node
 830      *            node which schema path should be updated
 831      * @param parentPath
 832      *            schema path of parent node
 833      */
 834     private void correctPathForAugmentNodes(final DataSchemaNodeBuilder node, final SchemaPath parentPath) {
 835         SchemaPath newPath = parentPath.createChild(node.getQName());
 836         node.setPath(newPath);
 837         if (node instanceof DataNodeContainerBuilder) {
 838             for (DataSchemaNodeBuilder child : ((DataNodeContainerBuilder) node).getChildNodeBuilders()) {
 839                 correctPathForAugmentNodes(child, node.getPath());
 840             }
 841         }
 842         if (node instanceof ChoiceBuilder) {
 843             for (ChoiceCaseBuilder child : ((ChoiceBuilder) node).getCases()) {
 844                 correctPathForAugmentNodes(child, node.getPath());
 845             }
 846         }
 847     }
 848
 849     /**
 850      * Check augments for mandatory nodes. If the target node is in another
 851      * module, then nodes added by the augmentation MUST NOT be mandatory nodes.
 852      * If mandatory node is found, throw an exception.
 853      *
 854      * @param augments
 855      *            augments to check
 856      */
 857     private void checkAugmentMandatoryNodes(final Collection<AugmentationSchemaBuilder> augments) {
 858         for (AugmentationSchemaBuilder augment : augments) {
 859             String augmentPrefix = augment.getTargetPath().getPathFromRoot().iterator().next().getPrefix();
 860             ModuleBuilder module = BuilderUtils.getParentModule(augment);
 861             String modulePrefix = module.getPrefix();
 862
 863             if (augmentPrefix == null || augmentPrefix.isEmpty() || augmentPrefix.equals(modulePrefix)) {
 864                 continue;
 865             }
 866
 867             for (DataSchemaNodeBuilder childNode : augment.getChildNodeBuilders()) {
 868                 if (childNode.getConstraints().isMandatory()) {
 869                     throw new YangParseException(augment.getModuleName(), augment.getLine(),
 870                             "Error in augment parsing: cannot augment mandatory node "
 871                                     + childNode.getQName().getLocalName());
 872                 }
 873             }
 874         }
 875     }
 876
 877     /**
 878      * Go through all augment definitions and resolve them.
 879      *
 880      * @param modules
 881      *            all loaded modules topologically sorted (based on dependencies
 882      *            between each other)
 883      */
 884     private void resolveAugments(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 885         List<ModuleBuilder> all = new ArrayList<>();
 886         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
 887             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
 888                 all.add(inner.getValue());
 889             }
 890         }
 891
 892         for (ModuleBuilder mb : all) {
 893             if (mb != null) {
 894                 List<AugmentationSchemaBuilder> augments = mb.getAllAugments();
 895                 checkAugmentMandatoryNodes(augments);
 896                 Collections.sort(augments, Comparators.AUGMENT_BUILDER_COMP);
 897                 for (AugmentationSchemaBuilder augment : augments) {
 898                     if (!(augment.isResolved())) {
 899                         boolean resolved = resolveAugment(augment, mb, modules);
 900                         if (!resolved) {
 901                             throw new YangParseException(augment.getModuleName(), augment.getLine(),
 902                                     "Error in augment parsing: failed to find augment target: " + augment);
 903                         }
 904                     }
 905                 }
 906             }
 907         }
 908     }
 909
 910     /**
 911      * Perform augmentation defined under uses statement.
 912      *
 913      * @param augment
 914      *            augment to resolve
 915      * @param module
 916      *            current module
 917      * @param modules
 918      *            all loaded modules
 919      * @return true if augment process succeed
 920      */
 921     private boolean resolveUsesAugment(final AugmentationSchemaBuilder augment, final ModuleBuilder module,
 922             final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 923         if (augment.isResolved()) {
 924             return true;
 925         }
 926
 927         UsesNodeBuilder usesNode = (UsesNodeBuilder) augment.getParent();
 928         DataNodeContainerBuilder parentNode = usesNode.getParent();
 929         Optional<SchemaNodeBuilder> potentialTargetNode;
 930         SchemaPath resolvedTargetPath = augment.getTargetNodeSchemaPath();
 931         if (parentNode instanceof ModuleBuilder && resolvedTargetPath.isAbsolute()) {
 932             // Uses is directly used in module body, we lookup
 933             // We lookup in data namespace to find correct augmentation target
 934             potentialTargetNode = findSchemaNodeInModule(resolvedTargetPath, (ModuleBuilder) parentNode);
 935         } else {
 936             // Uses is used in local context (be it data namespace or grouping
 937             // namespace,
 938             // since all nodes via uses are imported to localName, it is safe to
 939             // to proceed only with local names.
 940             //
 941             // Conflicting elements in other namespaces are still not present
 942             // since resolveUsesAugment occurs before augmenting from external
 943             // modules.
 944             potentialTargetNode = Optional.<SchemaNodeBuilder> fromNullable(findSchemaNode(augment.getTargetPath()
 945                     .getPath(), (SchemaNodeBuilder) parentNode));
 946         }
 947
 948         if (potentialTargetNode.isPresent()) {
 949             SchemaNodeBuilder targetNode = potentialTargetNode.get();
 950             if (targetNode instanceof AugmentationTargetBuilder) {
 951                 fillAugmentTarget(augment, targetNode);
 952                 ((AugmentationTargetBuilder) targetNode).addAugmentation(augment);
 953                 augment.setResolved(true);
 954                 return true;
 955             } else {
 956                 throw new YangParseException(module.getName(), augment.getLine(), String.format(
 957                         "Failed to resolve augment in uses. Invalid augment target: %s", potentialTargetNode));
 958             }
 959         } else {
 960             throw new YangParseException(module.getName(), augment.getLine(), String.format(
 961                     "Failed to resolve augment in uses. Invalid augment target path: %s", augment.getTargetPath()));
 962         }
 963
 964     }
 965
 966     /**
 967      * Find augment target module and perform augmentation.
 968      *
 969      * @param augment
 970      *            augment to resolve
 971      * @param module
 972      *            current module
 973      * @param modules
 974      *            all loaded modules
 975      * @return true if augment process succeed
 976      */
 977     private boolean resolveAugment(final AugmentationSchemaBuilder augment, final ModuleBuilder module,
 978             final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
 979         if (augment.isResolved()) {
 980             return true;
 981         }
 982
 983         QName targetModuleName = augment.getTargetPath().getPathFromRoot().iterator().next();
 984         ModuleBuilder targetModule = BuilderUtils.getModuleByPrefix(module, targetModuleName.getPrefix());
 985         if (targetModule == null) {
 986             throw new YangParseException(module.getModuleName(), augment.getLine(), "Failed to resolve augment "
 987                     + augment);
 988         }
 989
 990         return processAugmentation(augment, targetModule);
 991     }
 992
 993     /**
 994      * Go through identity statements defined in current module and resolve
 995      * their 'base' statement.
 996      *
 997      * @param modules
 998      *            all loaded modules
 999      */
1000     private void resolveIdentities(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1001         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
1002             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
1003                 ModuleBuilder module = inner.getValue();
1004                 final Set<IdentitySchemaNodeBuilder> identities = module.getAddedIdentities();
1005                 for (IdentitySchemaNodeBuilder identity : identities) {
1006                     resolveIdentity(modules, module, identity);
1007                 }
1008             }
1009         }
1010     }
1011
1012     private void resolveIdentity(final Map<String, TreeMap<Date, ModuleBuilder>> modules, final ModuleBuilder module,
1013             final IdentitySchemaNodeBuilder identity) {
1014         final String baseIdentityName = identity.getBaseIdentityName();
1015         if (baseIdentityName != null) {
1016             IdentitySchemaNodeBuilder result = null;
1017             if (baseIdentityName.contains(":")) {
1018                 final int line = identity.getLine();
1019                 String[] splittedBase = baseIdentityName.split(":");
1020                 if (splittedBase.length > 2) {
1021                     throw new YangParseException(module.getName(), line, "Failed to parse identityref base: "
1022                             + baseIdentityName);
1023                 }
1024                 String prefix = splittedBase[0];
1025                 String name = splittedBase[1];
1026                 ModuleBuilder dependentModule = BuilderUtils.getModuleByPrefix(module, prefix);
1027                 result = BuilderUtils.findIdentity(dependentModule.getAddedIdentities(), name);
1028             } else {
1029                 result = BuilderUtils.findIdentity(module.getAddedIdentities(), baseIdentityName);
1030             }
1031             identity.setBaseIdentity(result);
1032         }
1033     }
1034
1035     /**
1036      * Find and add reference of uses target grouping.
1037      *
1038      * @param modules
1039      *            all loaded modules
1040      */
1041     private void resolveUsesTargetGrouping(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1042         final List<UsesNodeBuilder> allUses = new ArrayList<>();
1043         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
1044             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
1045                 allUses.addAll(inner.getValue().getAllUsesNodes());
1046             }
1047         }
1048         for (UsesNodeBuilder usesNode : allUses) {
1049             ModuleBuilder module = BuilderUtils.getParentModule(usesNode);
1050             final GroupingBuilder targetGroupingBuilder = GroupingUtils.getTargetGroupingFromModules(usesNode, modules,
1051                     module);
1052             if (targetGroupingBuilder == null) {
1053                 throw new YangParseException(module.getName(), usesNode.getLine(), "Referenced grouping '"
1054                         + usesNode.getGroupingPathAsString() + "' not found.");
1055             }
1056             usesNode.setGrouping(targetGroupingBuilder);
1057         }
1058     }
1059
1060     /**
1061      * Resolve uses statements defined in groupings.
1062      *
1063      * @param modules
1064      *            all loaded modules
1065      */
1066     private void resolveUsesForGroupings(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1067         final Set<GroupingBuilder> allGroupings = new HashSet<>();
1068         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
1069             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
1070                 ModuleBuilder module = inner.getValue();
1071                 allGroupings.addAll(module.getAllGroupings());
1072             }
1073         }
1074         final List<GroupingBuilder> sorted = GroupingSort.sort(allGroupings);
1075         for (GroupingBuilder gb : sorted) {
1076             List<UsesNodeBuilder> usesNodes = new ArrayList<>(GroupingSort.getAllUsesNodes(gb));
1077             Collections.sort(usesNodes, new GroupingUtils.UsesComparator());
1078             for (UsesNodeBuilder usesNode : usesNodes) {
1079                 resolveUses(usesNode, modules);
1080             }
1081         }
1082     }
1083
1084     /**
1085      * Resolve uses statements.
1086      *
1087      * @param modules
1088      *            all loaded modules
1089      */
1090     private void resolveUsesForNodes(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1091         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
1092             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
1093                 ModuleBuilder module = inner.getValue();
1094                 List<UsesNodeBuilder> usesNodes = module.getAllUsesNodes();
1095                 Collections.sort(usesNodes, new GroupingUtils.UsesComparator());
1096                 for (UsesNodeBuilder usesNode : usesNodes) {
1097                     resolveUses(usesNode, modules);
1098                 }
1099             }
1100         }
1101     }
1102
1103     /**
1104      * Find target grouping and copy its child nodes to current location with
1105      * new namespace.
1106      *
1107      * @param usesNode
1108      *            uses node to resolve
1109      * @param modules
1110      *            all loaded modules
1111      */
1112     private void resolveUses(final UsesNodeBuilder usesNode, final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1113         if (!usesNode.isResolved()) {
1114             DataNodeContainerBuilder parent = usesNode.getParent();
1115             ModuleBuilder module = BuilderUtils.getParentModule(parent);
1116             GroupingBuilder target = GroupingUtils.getTargetGroupingFromModules(usesNode, modules, module);
1117             if (target == null) {
1118                 resolveUsesWithContext(usesNode);
1119                 usesNode.setResolved(true);
1120                 for (AugmentationSchemaBuilder augment : usesNode.getAugmentations()) {
1121                     resolveUsesAugment(augment, module, modules);
1122                 }
1123             } else {
1124                 parent.getChildNodeBuilders().addAll(target.instantiateChildNodes(parent));
1125                 parent.getTypeDefinitionBuilders().addAll(target.instantiateTypedefs(parent));
1126                 parent.getGroupingBuilders().addAll(target.instantiateGroupings(parent));
1127                 parent.getUnknownNodes().addAll(target.instantiateUnknownNodes(parent));
1128                 usesNode.setResolved(true);
1129                 for (AugmentationSchemaBuilder augment : usesNode.getAugmentations()) {
1130                     resolveUsesAugment(augment, module, modules);
1131                 }
1132             }
1133             GroupingUtils.performRefine(usesNode);
1134         }
1135     }
1136
1137     /**
1138      * Copy target grouping child nodes to current location with new namespace.
1139      *
1140      * @param usesNode
1141      *            uses node to resolve
1142      */
1143     private void resolveUsesWithContext(final UsesNodeBuilder usesNode) {
1144         final int line = usesNode.getLine();
1145         DataNodeContainerBuilder parent = usesNode.getParent();
1146         ModuleBuilder module = BuilderUtils.getParentModule(parent);
1147         SchemaPath parentPath;
1148
1149         final QName parentQName;
1150         if (parent instanceof AugmentationSchemaBuilder || parent instanceof ModuleBuilder) {
1151             parentQName = QName.create(module.getQNameModule(), module.getPrefix(), "dummy");
1152             if (parent instanceof AugmentationSchemaBuilder) {
1153                 parentPath = ((AugmentationSchemaBuilder) parent).getTargetNodeSchemaPath();
1154             } else {
1155                 parentPath = parent.getPath();
1156             }
1157         } else {
1158             parentQName = parent.getQName();
1159             parentPath = parent.getPath();
1160         }
1161
1162         GroupingDefinition gd = usesNode.getGroupingDefinition();
1163
1164         Set<DataSchemaNodeBuilder> childNodes = wrapChildNodes(module.getModuleName(), line, gd.getChildNodes(),
1165                 parentPath, parentQName);
1166         parent.getChildNodeBuilders().addAll(childNodes);
1167         for (DataSchemaNodeBuilder childNode : childNodes) {
1168             setNodeAddedByUses(childNode);
1169         }
1170
1171         Set<TypeDefinitionBuilder> typedefs = wrapTypedefs(module.getModuleName(), line, gd, parentPath, parentQName);
1172         parent.getTypeDefinitionBuilders().addAll(typedefs);
1173         for (TypeDefinitionBuilder typedef : typedefs) {
1174             setNodeAddedByUses(typedef);
1175         }
1176
1177         Set<GroupingBuilder> groupings = wrapGroupings(module.getModuleName(), line, usesNode.getGroupingDefinition()
1178                 .getGroupings(), parentPath, parentQName);
1179         parent.getGroupingBuilders().addAll(groupings);
1180         for (GroupingBuilder gb : groupings) {
1181             setNodeAddedByUses(gb);
1182         }
1183
1184         List<UnknownSchemaNodeBuilderImpl> unknownNodes = wrapUnknownNodes(module.getModuleName(), line,
1185                 gd.getUnknownSchemaNodes(), parentPath, parentQName);
1186         parent.getUnknownNodes().addAll(unknownNodes);
1187         for (UnknownSchemaNodeBuilder un : unknownNodes) {
1188             un.setAddedByUses(true);
1189         }
1190     }
1191
1192     /**
1193      * Try to find extension describing this unknown node and assign it to
1194      * unknown node builder.
1195      *
1196      * @param modules
1197      *            all loaded modules
1198      * @param module
1199      *            current module
1200      */
1201     private void resolveUnknownNodes(final Map<String, TreeMap<Date, ModuleBuilder>> modules, final ModuleBuilder module) {
1202         for (UnknownSchemaNodeBuilder usnb : module.getAllUnknownNodes()) {
1203             QName nodeType = usnb.getNodeType();
1204             ModuleBuilder dependentModuleBuilder = BuilderUtils.getModuleByPrefix(module, nodeType.getPrefix());
1205             ExtensionBuilder extBuilder = findExtBuilder(nodeType.getLocalName(),
1206                     dependentModuleBuilder.getAddedExtensions());
1207             if (extBuilder == null) {
1208                 ExtensionDefinition extDef = findExtDef(nodeType.getLocalName(), dependentModuleBuilder.getExtensions());
1209                 if (extDef == null) {
1210                     LOG.warn(
1211                             "Error in module {} at line {}: Failed to resolve node {}: no such extension definition found.",
1212                             module.getName(), usnb.getLine(), usnb);
1213                 } else {
1214                     usnb.setNodeType(new QName(extDef.getQName().getNamespace(), extDef.getQName().getRevision(),
1215                             nodeType.getPrefix(), extDef.getQName().getLocalName()));
1216                     usnb.setExtensionDefinition(extDef);
1217                 }
1218             } else {
1219                 usnb.setNodeType(QName.create(extBuilder.getQName().getModule(),
1220                         nodeType.getPrefix(), extBuilder.getQName().getLocalName()));
1221                 usnb.setExtensionBuilder(extBuilder);
1222             }
1223         }
1224     }
1225
1226     private ExtensionBuilder findExtBuilder(final String name, final Collection<ExtensionBuilder> extensions) {
1227         for (ExtensionBuilder extension : extensions) {
1228             if (extension.getQName().getLocalName().equals(name)) {
1229                 return extension;
1230             }
1231         }
1232         return null;
1233     }
1234
1235     private ExtensionDefinition findExtDef(final String name, final Collection<ExtensionDefinition> extensions) {
1236         for (ExtensionDefinition extension : extensions) {
1237             if (extension.getQName().getLocalName().equals(name)) {
1238                 return extension;
1239             }
1240         }
1241         return null;
1242     }
1243
1244     /**
1245      * Traverse through modules and resolve their deviation statements.
1246      *
1247      * @param modules
1248      *            all loaded modules
1249      */
1250     private void resolveDeviations(final Map<String, TreeMap<Date, ModuleBuilder>> modules) {
1251         for (Map.Entry<String, TreeMap<Date, ModuleBuilder>> entry : modules.entrySet()) {
1252             for (Map.Entry<Date, ModuleBuilder> inner : entry.getValue().entrySet()) {
1253                 ModuleBuilder b = inner.getValue();
1254                 resolveDeviation(modules, b);
1255             }
1256         }
1257     }
1258
1259     /**
1260      * Traverse through module and resolve its deviation statements.
1261      *
1262      * @param modules
1263      *            all loaded modules
1264      * @param module
1265      *            module in which resolve deviations
1266      */
1267     private void resolveDeviation(final Map<String, TreeMap<Date, ModuleBuilder>> modules, final ModuleBuilder module) {
1268         for (DeviationBuilder dev : module.getDeviationBuilders()) {
1269             SchemaPath targetPath = dev.getTargetPath();
1270             Iterable<QName> path = targetPath.getPathFromRoot();
1271             QName q0 = path.iterator().next();
1272             String prefix = q0.getPrefix();
1273             if (prefix == null) {
1274                 prefix = module.getPrefix();
1275             }
1276
1277             ModuleBuilder dependentModuleBuilder = BuilderUtils.getModuleByPrefix(module, prefix);
1278             processDeviation(dev, dependentModuleBuilder, path, module);
1279         }
1280     }
1281
1282     /**
1283      * Correct deviation target path in deviation builder.
1284      *
1285      * @param dev
1286      *            deviation
1287      * @param dependentModuleBuilder
1288      *            module containing deviation target
1289      * @param path
1290      *            current deviation target path
1291      * @param module
1292      *            current module
1293      */
1294     private void processDeviation(final DeviationBuilder dev, final ModuleBuilder dependentModuleBuilder,
1295             final Iterable<QName> path, final ModuleBuilder module) {
1296         final int line = dev.getLine();
1297         Builder currentParent = dependentModuleBuilder;
1298
1299         for (QName q : path) {
1300             if (currentParent == null) {
1301                 throw new YangParseException(module.getName(), line, FAIL_DEVIATION_TARGET);
1302             }
1303             String name = q.getLocalName();
1304             if (currentParent instanceof DataNodeContainerBuilder) {
1305                 currentParent = ((DataNodeContainerBuilder) currentParent).getDataChildByName(name);
1306             }
1307         }
1308
1309         if (!(currentParent instanceof SchemaNodeBuilder)) {
1310             throw new YangParseException(module.getName(), line, FAIL_DEVIATION_TARGET);
1311         }
1312         dev.setTargetPath(((SchemaNodeBuilder) currentParent).getPath());
1313     }
1314
1315 }