yang/yang-parser-impl/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/rfc6020/Utils.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.rfc6020;
   9
  10 import static org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils.firstAttributeOf;
  11 import com.google.common.base.CharMatcher;
  12 import com.google.common.base.Preconditions;
  13 import com.google.common.base.Splitter;
  14 import com.google.common.base.Strings;
  15 import com.google.common.collect.Iterables;
  16 import java.util.ArrayList;
  17 import java.util.Arrays;
  18 import java.util.Collection;
  19 import java.util.Date;
  20 import java.util.HashSet;
  21 import java.util.Iterator;
  22 import java.util.LinkedList;
  23 import java.util.List;
  24 import java.util.Objects;
  25 import java.util.Set;
  26 import java.util.regex.Pattern;
  27 import javax.annotation.Nullable;
  28 import javax.xml.xpath.XPath;
  29 import javax.xml.xpath.XPathExpression;
  30 import javax.xml.xpath.XPathExpressionException;
  31 import javax.xml.xpath.XPathFactory;
  32 import org.antlr.v4.runtime.tree.TerminalNode;
  33 import org.opendaylight.yangtools.antlrv4.code.gen.YangStatementParser;
  34 import org.opendaylight.yangtools.yang.common.QName;
  35 import org.opendaylight.yangtools.yang.common.QNameModule;
  36 import org.opendaylight.yangtools.yang.common.SimpleDateFormatUtil;
  37 import org.opendaylight.yangtools.yang.common.YangConstants;
  38 import org.opendaylight.yangtools.yang.model.api.Deviation;
  39 import org.opendaylight.yangtools.yang.model.api.ModuleIdentifier;
  40 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
  41 import org.opendaylight.yangtools.yang.model.api.Status;
  42 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
  43 import org.opendaylight.yangtools.yang.model.api.stmt.BelongsToStatement;
  44 import org.opendaylight.yangtools.yang.model.api.stmt.ChoiceStatement;
  45 import org.opendaylight.yangtools.yang.model.api.stmt.ModuleStatement;
  46 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
  47 import org.opendaylight.yangtools.yang.model.api.stmt.RevisionStatement;
  48 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  49 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Relative;
  50 import org.opendaylight.yangtools.yang.model.api.stmt.SubmoduleStatement;
  51 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
  52 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  53 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  54 import org.opendaylight.yangtools.yang.parser.spi.source.BelongsToPrefixToModuleName;
  55 import org.opendaylight.yangtools.yang.parser.spi.source.ImpPrefixToModuleIdentifier;
  56 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleCtxToModuleQName;
  57 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleIdentifierToModuleQName;
  58 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleNameToModuleQName;
  59 import org.opendaylight.yangtools.yang.parser.spi.source.PrefixToModule;
  60 import org.opendaylight.yangtools.yang.parser.spi.source.QNameToStatementDefinition;
  61 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace;
  62 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace.ValidationBundleType;
  63 import org.opendaylight.yangtools.yang.parser.stmt.reactor.RootStatementContext;
  64 import org.opendaylight.yangtools.yang.parser.stmt.reactor.StatementContextBase;
  65 import org.slf4j.Logger;
  66 import org.slf4j.LoggerFactory;
  67
  68 public final class Utils {
  69
  70     private static final Logger LOG = LoggerFactory.getLogger(Utils.class);
  71     private static final CharMatcher DOUBLE_QUOTE_MATCHER = CharMatcher.is('"');
  72     private static final CharMatcher SINGLE_QUOTE_MATCHER = CharMatcher.is('\'');
  73     private static final Splitter SLASH_SPLITTER = Splitter.on('/').omitEmptyStrings().trimResults();
  74     private static final Splitter SPACE_SPLITTER = Splitter.on(' ').omitEmptyStrings().trimResults();
  75     private static final Pattern PATH_ABS = Pattern.compile("/[^/].*");
  76
  77     private static final ThreadLocal<XPathFactory> XPATH_FACTORY = new ThreadLocal<XPathFactory>() {
  78         @Override
  79         protected XPathFactory initialValue() {
  80             return XPathFactory.newInstance();
  81         }
  82     };
  83
  84     private Utils() {
  85         throw new UnsupportedOperationException();
  86     }
  87
  88     /**
  89      * Cleanup any resources attached to the current thread. Threads interacting with this class can cause thread-local
  90      * caches to them. Invoke this method if you want to detach those resources.
  91      */
  92     public static void detachFromCurrentThread() {
  93         XPATH_FACTORY.remove();
  94     }
  95
  96     public static Collection<SchemaNodeIdentifier.Relative> transformKeysStringToKeyNodes(final StmtContext<?, ?, ?> ctx,
  97             final String value) {
  98         List<String> keyTokens = SPACE_SPLITTER.splitToList(value);
  99
 100         // to detect if key contains duplicates
 101         if ((new HashSet<>(keyTokens)).size() < keyTokens.size()) {
 102             // FIXME: report all duplicate keys
 103             throw new IllegalArgumentException();
 104         }
 105
 106         Set<SchemaNodeIdentifier.Relative> keyNodes = new HashSet<>();
 107
 108         for (String keyToken : keyTokens) {
 109
 110             SchemaNodeIdentifier.Relative keyNode = (Relative) SchemaNodeIdentifier.Relative.create(false,
 111                     Utils.qNameFromArgument(ctx, keyToken));
 112             keyNodes.add(keyNode);
 113         }
 114
 115         return keyNodes;
 116     }
 117
 118     private static void compileXPath(final StmtContext<?, ?, ?> ctx, final String path) {
 119         final XPath xPath = XPATH_FACTORY.get().newXPath();
 120
 121         try {
 122             xPath.compile(path);
 123         } catch (XPathExpressionException e) {
 124             LOG.warn("Argument {} is not valid XPath string at {}", path, ctx.getStatementSourceReference(), e);
 125         }
 126     }
 127
 128     private static String trimSingleLastSlashFromXPath(final String path) {
 129         return path.replaceAll("/$", "");
 130     }
 131
 132     public static boolean isXPathAbsolute(final StmtContext<?, ?, ?> ctx, final String path) {
 133         // FIXME: this is probably an overkill, as this is called for all XPath objects. If we need this validation,
 134         //        we should wrap the resulting XPath into RevisionAwareXPath.
 135         compileXPath(ctx, trimSingleLastSlashFromXPath(path));
 136
 137         return PATH_ABS.matcher(path).matches();
 138     }
 139
 140     public static QName trimPrefix(final QName identifier) {
 141         String prefixedLocalName = identifier.getLocalName();
 142         String[] namesParts = prefixedLocalName.split(":");
 143
 144         if (namesParts.length == 2) {
 145             String localName = namesParts[1];
 146             return QName.create(identifier.getModule(), localName);
 147         }
 148
 149         return identifier;
 150     }
 151
 152     public static String getPrefixFromArgument(final String prefixedLocalName) {
 153         String[] namesParts = prefixedLocalName.split(":");
 154         if (namesParts.length == 2) {
 155             return namesParts[0];
 156         }
 157         return null;
 158     }
 159
 160     public static boolean isValidStatementDefinition(final PrefixToModule prefixes, final QNameToStatementDefinition stmtDef,
 161             final QName identifier) {
 162         if (stmtDef.get(identifier) != null) {
 163             return true;
 164         } else {
 165             String prefixedLocalName = identifier.getLocalName();
 166             String[] namesParts = prefixedLocalName.split(":");
 167
 168             if (namesParts.length == 2) {
 169                 String prefix = namesParts[0];
 170                 String localName = namesParts[1];
 171                 if (prefixes != null && prefixes.get(prefix) != null
 172                         && stmtDef.get(QName.create(YangConstants.RFC6020_YIN_MODULE, localName)) != null) {
 173                     return true;
 174                 } else {
 175                     if (stmtDef.get(QName.create(YangConstants.RFC6020_YIN_MODULE, localName)) != null) {
 176                         return true;
 177                     }
 178                 }
 179             }
 180         }
 181         return false;
 182     }
 183
 184     static SchemaNodeIdentifier nodeIdentifierFromPath(final StmtContext<?, ?, ?> ctx, final String path) {
 185         // FIXME: is the path trimming really necessary??
 186         final List<QName> qNames = new ArrayList<>();
 187         for (String nodeName : SLASH_SPLITTER.split(trimSingleLastSlashFromXPath(path))) {
 188             try {
 189                 final QName qName = Utils.qNameFromArgument(ctx, nodeName);
 190                 qNames.add(qName);
 191             } catch (Exception e) {
 192                 throw new IllegalArgumentException(
 193                     String.format("Failed to parse node '%s' in path '%s'", nodeName, path), e);
 194             }
 195         }
 196
 197         return SchemaNodeIdentifier.create(qNames, PATH_ABS.matcher(path).matches());
 198     }
 199
 200     public static String stringFromStringContext(final YangStatementParser.ArgumentContext context) {
 201         StringBuilder sb = new StringBuilder();
 202         List<TerminalNode> strings = context.STRING();
 203         if (strings.isEmpty()) {
 204             strings = Arrays.asList(context.IDENTIFIER());
 205         }
 206         for (TerminalNode stringNode : strings) {
 207             final String str = stringNode.getText();
 208             char firstChar = str.charAt(0);
 209             final CharMatcher quoteMatcher;
 210             if (SINGLE_QUOTE_MATCHER.matches(firstChar)) {
 211                 quoteMatcher = SINGLE_QUOTE_MATCHER;
 212             } else if (DOUBLE_QUOTE_MATCHER.matches(firstChar)) {
 213                 quoteMatcher = DOUBLE_QUOTE_MATCHER;
 214             } else {
 215                 sb.append(str);
 216                 continue;
 217             }
 218             sb.append(quoteMatcher.removeFrom(str.substring(1, str.length() - 1)));
 219         }
 220         return sb.toString();
 221     }
 222
 223     public static QName qNameFromArgument(StmtContext<?, ?, ?> ctx, final String value) {
 224         if (Strings.isNullOrEmpty(value)) {
 225             return ctx.getPublicDefinition().getStatementName();
 226         }
 227
 228         String prefix;
 229         QNameModule qNameModule = null;
 230         String localName = null;
 231
 232         String[] namesParts = value.split(":");
 233         switch (namesParts.length) {
 234         case 1:
 235             localName = namesParts[0];
 236             qNameModule = getRootModuleQName(ctx);
 237             break;
 238         default:
 239             prefix = namesParts[0];
 240             localName = namesParts[1];
 241             qNameModule = getModuleQNameByPrefix(ctx, prefix);
 242             // in case of unknown statement argument, we're not going to parse it
 243             if (qNameModule == null
 244                     && ctx.getPublicDefinition().getDeclaredRepresentationClass()
 245                     .isAssignableFrom(UnknownStatementImpl.class)) {
 246                 localName = value;
 247                 qNameModule = getRootModuleQName(ctx);
 248             }
 249             if (qNameModule == null
 250                     && Iterables.getLast(ctx.getCopyHistory()) == StmtContext.TypeOfCopy.ADDED_BY_AUGMENTATION) {
 251                 ctx = ctx.getOriginalCtx();
 252                 qNameModule = getModuleQNameByPrefix(ctx, prefix);
 253             }
 254             break;
 255         }
 256
 257         Preconditions.checkArgument(qNameModule != null, "Error in module '%s': can not resolve QNameModule for '%s'.",
 258                 ctx.getRoot().rawStatementArgument(), value);
 259
 260         QNameModule resultQNameModule = qNameModule.getRevision() == null ? QNameModule.create(
 261                 qNameModule.getNamespace(), SimpleDateFormatUtil.DEFAULT_DATE_REV) : qNameModule;
 262
 263         return QName.create(resultQNameModule, localName);
 264     }
 265
 266     public static QNameModule getModuleQNameByPrefix(final StmtContext<?, ?, ?> ctx, final String prefix) {
 267         QNameModule qNameModule;
 268         ModuleIdentifier impModIdentifier = ctx.getRoot().getFromNamespace(ImpPrefixToModuleIdentifier.class, prefix);
 269         qNameModule = ctx.getFromNamespace(ModuleIdentifierToModuleQName.class, impModIdentifier);
 270
 271         if (qNameModule == null && StmtContextUtils.producesDeclared(ctx.getRoot(), SubmoduleStatement.class)) {
 272             String moduleName = ctx.getRoot().getFromNamespace(BelongsToPrefixToModuleName.class, prefix);
 273             qNameModule = ctx.getFromNamespace(ModuleNameToModuleQName.class, moduleName);
 274         }
 275         return qNameModule;
 276     }
 277
 278     public static QNameModule getRootModuleQName(final StmtContext<?, ?, ?> ctx) {
 279
 280         if (ctx == null) {
 281             return null;
 282         }
 283
 284         StmtContext<?, ?, ?> rootCtx = ctx.getRoot();
 285         QNameModule qNameModule = null;
 286
 287         if (StmtContextUtils.producesDeclared(rootCtx, ModuleStatement.class)) {
 288             qNameModule = rootCtx.getFromNamespace(ModuleCtxToModuleQName.class, rootCtx);
 289         } else if (StmtContextUtils.producesDeclared(rootCtx, SubmoduleStatement.class)) {
 290             String belongsToModuleName = firstAttributeOf(rootCtx.substatements(),
 291                     BelongsToStatement.class);
 292             qNameModule = rootCtx.getFromNamespace(ModuleNameToModuleQName.class, belongsToModuleName);
 293         }
 294
 295         return qNameModule.getRevision() == null ? QNameModule.create(qNameModule.getNamespace(),
 296                 SimpleDateFormatUtil.DEFAULT_DATE_REV) : qNameModule;
 297     }
 298
 299     @Nullable
 300     public static StatementContextBase<?, ?, ?> findNode(final StatementContextBase<?, ?, ?> rootStmtCtx,
 301             final SchemaNodeIdentifier node) {
 302         StatementContextBase<?, ?, ?> current = rootStmtCtx;
 303         Iterator<QName> arguments = node.getPathFromRoot().iterator();
 304         while(current != null && arguments.hasNext()) {
 305             current = (StatementContextBase<?, ?, ?>) current.getFromNamespace(ChildSchemaNodes.class, arguments.next());
 306         }
 307         return current;
 308     }
 309
 310     public static SchemaPath getSchemaPath(final StmtContext<?, ?, ?> ctx) {
 311
 312         if (ctx == null) {
 313             return null;
 314         }
 315
 316         final Iterator<StmtContext<?, ?, ?>> iteratorFromRoot = ctx.getStmtContextsFromRoot().iterator();
 317         // skip root argument
 318         if (iteratorFromRoot.hasNext()) {
 319             iteratorFromRoot.next();
 320         }
 321
 322         List<QName> qNamesFromRoot = new LinkedList<>();
 323         while (iteratorFromRoot.hasNext()) {
 324             StmtContext<?, ?, ?> nextStmtCtx = iteratorFromRoot.next();
 325             Object nextStmtArgument = nextStmtCtx.getStatementArgument();
 326             if (nextStmtArgument instanceof QName) {
 327                 QName qname = (QName) nextStmtArgument;
 328                 if (StmtContextUtils.producesDeclared(nextStmtCtx, UsesStatement.class)) {
 329                     continue;
 330                 }
 331                 if (StmtContextUtils.producesDeclared(nextStmtCtx.getParentContext(), ChoiceStatement.class)
 332                         && isSupportedAsShorthandCase(nextStmtCtx)) {
 333                     qNamesFromRoot.add(qname);
 334                 }
 335                 qNamesFromRoot.add(qname);
 336             } else if (nextStmtArgument instanceof String) {
 337                 // FIXME: This may yield illegal argument exceptions
 338                 StatementContextBase<?, ?, ?> originalCtx = ctx
 339                         .getOriginalCtx();
 340                 final QName qName = (originalCtx != null) ? qNameFromArgument(
 341                         originalCtx, (String) nextStmtArgument)
 342                         : qNameFromArgument(ctx, (String) nextStmtArgument);
 343                 qNamesFromRoot.add(qName);
 344             } else if ((StmtContextUtils.producesDeclared(nextStmtCtx, AugmentStatement.class)
 345                        || StmtContextUtils.producesDeclared(nextStmtCtx, RefineStatement.class))
 346                     && nextStmtArgument instanceof SchemaNodeIdentifier) {
 347                 addQNamesFromSchemaNodeIdentifierToList(qNamesFromRoot, (SchemaNodeIdentifier) nextStmtArgument);
 348             } else if (isUnknownNode(nextStmtCtx)) {
 349                 qNamesFromRoot.add(nextStmtCtx.getPublicDefinition().getStatementName());
 350             } else {
 351                 return SchemaPath.SAME;
 352             }
 353         }
 354
 355         final SchemaPath schemaPath = SchemaPath.create(qNamesFromRoot, true);
 356         return schemaPath;
 357     }
 358
 359     public static boolean isUnknownNode(final StmtContext<?, ?, ?> stmtCtx) {
 360         return stmtCtx.getPublicDefinition().getDeclaredRepresentationClass()
 361                 .isAssignableFrom(UnknownStatementImpl.class);
 362     }
 363
 364     private static boolean isSupportedAsShorthandCase(final StmtContext<?, ?, ?> statementCtx) {
 365
 366         Collection<?> supportedCaseShorthands = statementCtx.getFromNamespace(ValidationBundlesNamespace.class,
 367                 ValidationBundleType.SUPPORTED_CASE_SHORTHANDS);
 368
 369         return supportedCaseShorthands == null || supportedCaseShorthands.contains(statementCtx.getPublicDefinition());
 370     }
 371
 372     private static void addQNamesFromSchemaNodeIdentifierToList(final List<QName> qNamesFromRoot,
 373             final SchemaNodeIdentifier augmentTargetPath) {
 374         for (QName qname : augmentTargetPath.getPathFromRoot()) {
 375             qNamesFromRoot.add(qname);
 376         }
 377     }
 378
 379     public static Deviation.Deviate parseDeviateFromString(final String deviate) {
 380
 381         // Yang constants should be lowercase so we have throw if value does not
 382         // suit this
 383         String deviateUpper = deviate.toUpperCase();
 384         Preconditions.checkArgument(!Objects.equals(deviate, deviateUpper),
 385             "String %s is not valid deviate argument", deviate);
 386
 387         // but Java enum is uppercase so we cannot use lowercase here
 388         try {
 389             return Deviation.Deviate.valueOf(deviateUpper);
 390         } catch (IllegalArgumentException e) {
 391             throw new IllegalArgumentException(String.format("String %s is not valid deviate argument", deviate), e);
 392         }
 393     }
 394
 395     public static Status parseStatus(final String value) {
 396
 397         Status status = null;
 398         switch (value) {
 399         case "current":
 400             status = Status.CURRENT;
 401             break;
 402         case "deprecated":
 403             status = Status.DEPRECATED;
 404             break;
 405         case "obsolete":
 406             status = Status.OBSOLETE;
 407             break;
 408         default:
 409             LOG.warn("Invalid 'status' statement: " + value);
 410         }
 411
 412         return status;
 413     }
 414
 415     public static Date getLatestRevision(final RootStatementContext<?, ?, ?> root) {
 416         return getLatestRevision(root.declaredSubstatements());
 417     }
 418
 419     public static Date getLatestRevision(final Iterable<? extends StmtContext<?, ?, ?>> subStmts) {
 420         Date revision = null;
 421         for (StmtContext<?, ?, ?> subStmt : subStmts) {
 422             if (subStmt.getPublicDefinition().getDeclaredRepresentationClass().isAssignableFrom(RevisionStatement
 423                     .class)) {
 424                 if (revision == null && subStmt.getStatementArgument() != null) {
 425                     revision = (Date) subStmt.getStatementArgument();
 426                 } else if (subStmt.getStatementArgument() != null && ((Date) subStmt.getStatementArgument()).compareTo
 427                         (revision) > 0) {
 428                     revision = (Date) subStmt.getStatementArgument();
 429                 }
 430             }
 431         }
 432         return revision;
 433     }
 434
 435     public static boolean isModuleIdentifierWithoutSpecifiedRevision(final Object o) {
 436         return (o instanceof ModuleIdentifier)
 437                 && (((ModuleIdentifier) o).getRevision() == SimpleDateFormatUtil.DEFAULT_DATE_IMP ||
 438                         ((ModuleIdentifier) o).getRevision() == SimpleDateFormatUtil.DEFAULT_BELONGS_TO_DATE);
 439     }
 440 }