yang/yang-parser-impl/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/rfc6020/Utils.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.rfc6020;
   9
  10 import static org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils.firstAttributeOf;
  11 import com.google.common.base.CharMatcher;
  12 import com.google.common.base.Preconditions;
  13 import com.google.common.base.Splitter;
  14 import com.google.common.base.Strings;
  15 import com.google.common.collect.Iterables;
  16 import java.util.ArrayList;
  17 import java.util.Arrays;
  18 import java.util.Collection;
  19 import java.util.Date;
  20 import java.util.HashSet;
  21 import java.util.Iterator;
  22 import java.util.LinkedList;
  23 import java.util.List;
  24 import java.util.Objects;
  25 import java.util.Set;
  26 import java.util.regex.Pattern;
  27 import javax.annotation.Nullable;
  28 import javax.xml.xpath.XPath;
  29 import javax.xml.xpath.XPathExpressionException;
  30 import javax.xml.xpath.XPathFactory;
  31 import org.antlr.v4.runtime.tree.TerminalNode;
  32 import org.opendaylight.yangtools.antlrv4.code.gen.YangStatementParser;
  33 import org.opendaylight.yangtools.yang.common.QName;
  34 import org.opendaylight.yangtools.yang.common.QNameModule;
  35 import org.opendaylight.yangtools.yang.common.SimpleDateFormatUtil;
  36 import org.opendaylight.yangtools.yang.common.YangConstants;
  37 import org.opendaylight.yangtools.yang.model.api.Deviation;
  38 import org.opendaylight.yangtools.yang.model.api.ModuleIdentifier;
  39 import org.opendaylight.yangtools.yang.model.api.RevisionAwareXPath;
  40 import org.opendaylight.yangtools.yang.model.api.SchemaPath;
  41 import org.opendaylight.yangtools.yang.model.api.Status;
  42 import org.opendaylight.yangtools.yang.model.api.stmt.AugmentStatement;
  43 import org.opendaylight.yangtools.yang.model.api.stmt.BelongsToStatement;
  44 import org.opendaylight.yangtools.yang.model.api.stmt.ChoiceStatement;
  45 import org.opendaylight.yangtools.yang.model.api.stmt.ModuleStatement;
  46 import org.opendaylight.yangtools.yang.model.api.stmt.RefineStatement;
  47 import org.opendaylight.yangtools.yang.model.api.stmt.RevisionStatement;
  48 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  49 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Relative;
  50 import org.opendaylight.yangtools.yang.model.api.stmt.SubmoduleStatement;
  51 import org.opendaylight.yangtools.yang.model.api.stmt.UsesStatement;
  52 import org.opendaylight.yangtools.yang.model.util.RevisionAwareXPathImpl;
  53 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  54 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  55 import org.opendaylight.yangtools.yang.parser.spi.source.BelongsToPrefixToModuleName;
  56 import org.opendaylight.yangtools.yang.parser.spi.source.ImpPrefixToModuleIdentifier;
  57 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleCtxToModuleQName;
  58 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleIdentifierToModuleQName;
  59 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleNameToModuleQName;
  60 import org.opendaylight.yangtools.yang.parser.spi.source.PrefixToModule;
  61 import org.opendaylight.yangtools.yang.parser.spi.source.QNameToStatementDefinition;
  62 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace;
  63 import org.opendaylight.yangtools.yang.parser.spi.validation.ValidationBundlesNamespace.ValidationBundleType;
  64 import org.opendaylight.yangtools.yang.parser.stmt.reactor.RootStatementContext;
  65 import org.opendaylight.yangtools.yang.parser.stmt.reactor.StatementContextBase;
  66 import org.slf4j.Logger;
  67 import org.slf4j.LoggerFactory;
  68
  69 public final class Utils {
  70
  71     private static final Logger LOG = LoggerFactory.getLogger(Utils.class);
  72     private static final CharMatcher DOUBLE_QUOTE_MATCHER = CharMatcher.is('"');
  73     private static final CharMatcher SINGLE_QUOTE_MATCHER = CharMatcher.is('\'');
  74     private static final Splitter SLASH_SPLITTER = Splitter.on('/').omitEmptyStrings().trimResults();
  75     private static final Splitter SPACE_SPLITTER = Splitter.on(' ').omitEmptyStrings().trimResults();
  76     private static final Pattern PATH_ABS = Pattern.compile("/[^/].*");
  77
  78     private static final ThreadLocal<XPathFactory> XPATH_FACTORY = new ThreadLocal<XPathFactory>() {
  79         @Override
  80         protected XPathFactory initialValue() {
  81             return XPathFactory.newInstance();
  82         }
  83     };
  84
  85     private Utils() {
  86         throw new UnsupportedOperationException();
  87     }
  88
  89     /**
  90      * Cleanup any resources attached to the current thread. Threads interacting with this class can cause thread-local
  91      * caches to them. Invoke this method if you want to detach those resources.
  92      */
  93     public static void detachFromCurrentThread() {
  94         XPATH_FACTORY.remove();
  95     }
  96
  97     public static Collection<SchemaNodeIdentifier.Relative> transformKeysStringToKeyNodes(final StmtContext<?, ?, ?> ctx,
  98             final String value) {
  99         List<String> keyTokens = SPACE_SPLITTER.splitToList(value);
 100
 101         // to detect if key contains duplicates
 102         if ((new HashSet<>(keyTokens)).size() < keyTokens.size()) {
 103             // FIXME: report all duplicate keys
 104             throw new IllegalArgumentException();
 105         }
 106
 107         Set<SchemaNodeIdentifier.Relative> keyNodes = new HashSet<>();
 108
 109         for (String keyToken : keyTokens) {
 110
 111             SchemaNodeIdentifier.Relative keyNode = (Relative) SchemaNodeIdentifier.Relative.create(false,
 112                     Utils.qNameFromArgument(ctx, keyToken));
 113             keyNodes.add(keyNode);
 114         }
 115
 116         return keyNodes;
 117     }
 118
 119     private static String trimSingleLastSlashFromXPath(final String path) {
 120         return path.replaceAll("/$", "");
 121     }
 122
 123     static RevisionAwareXPath parseXPath(final StmtContext<?, ?, ?> ctx, final String path) {
 124         final XPath xPath = XPATH_FACTORY.get().newXPath();
 125         xPath.setNamespaceContext(StmtNamespaceContext.create(ctx));
 126
 127         final String trimmed = trimSingleLastSlashFromXPath(path);
 128         try {
 129             // TODO: we could capture the result and expose its 'evaluate' method
 130             xPath.compile(trimmed);
 131         } catch (XPathExpressionException e) {
 132             LOG.warn("Argument \"{}\" is not valid XPath string at \"{}\"", path, ctx.getStatementSourceReference(), e);
 133         }
 134
 135         return new RevisionAwareXPathImpl(path, PATH_ABS.matcher(path).matches());
 136     }
 137
 138     public static QName trimPrefix(final QName identifier) {
 139         String prefixedLocalName = identifier.getLocalName();
 140         String[] namesParts = prefixedLocalName.split(":");
 141
 142         if (namesParts.length == 2) {
 143             String localName = namesParts[1];
 144             return QName.create(identifier.getModule(), localName);
 145         }
 146
 147         return identifier;
 148     }
 149
 150     public static String getPrefixFromArgument(final String prefixedLocalName) {
 151         String[] namesParts = prefixedLocalName.split(":");
 152         if (namesParts.length == 2) {
 153             return namesParts[0];
 154         }
 155         return null;
 156     }
 157
 158     public static boolean isValidStatementDefinition(final PrefixToModule prefixes, final QNameToStatementDefinition stmtDef,
 159             final QName identifier) {
 160         if (stmtDef.get(identifier) != null) {
 161             return true;
 162         } else {
 163             String prefixedLocalName = identifier.getLocalName();
 164             String[] namesParts = prefixedLocalName.split(":");
 165
 166             if (namesParts.length == 2) {
 167                 String prefix = namesParts[0];
 168                 String localName = namesParts[1];
 169                 if (prefixes != null && prefixes.get(prefix) != null
 170                         && stmtDef.get(QName.create(YangConstants.RFC6020_YIN_MODULE, localName)) != null) {
 171                     return true;
 172                 } else {
 173                     if (stmtDef.get(QName.create(YangConstants.RFC6020_YIN_MODULE, localName)) != null) {
 174                         return true;
 175                     }
 176                 }
 177             }
 178         }
 179         return false;
 180     }
 181
 182     static SchemaNodeIdentifier nodeIdentifierFromPath(final StmtContext<?, ?, ?> ctx, final String path) {
 183         // FIXME: is the path trimming really necessary??
 184         final List<QName> qNames = new ArrayList<>();
 185         for (String nodeName : SLASH_SPLITTER.split(trimSingleLastSlashFromXPath(path))) {
 186             try {
 187                 final QName qName = Utils.qNameFromArgument(ctx, nodeName);
 188                 qNames.add(qName);
 189             } catch (Exception e) {
 190                 throw new IllegalArgumentException(
 191                     String.format("Failed to parse node '%s' in path '%s'", nodeName, path), e);
 192             }
 193         }
 194
 195         return SchemaNodeIdentifier.create(qNames, PATH_ABS.matcher(path).matches());
 196     }
 197
 198     public static String stringFromStringContext(final YangStatementParser.ArgumentContext context) {
 199         StringBuilder sb = new StringBuilder();
 200         List<TerminalNode> strings = context.STRING();
 201         if (strings.isEmpty()) {
 202             strings = Arrays.asList(context.IDENTIFIER());
 203         }
 204         for (TerminalNode stringNode : strings) {
 205             final String str = stringNode.getText();
 206             char firstChar = str.charAt(0);
 207             final CharMatcher quoteMatcher;
 208             if (SINGLE_QUOTE_MATCHER.matches(firstChar)) {
 209                 quoteMatcher = SINGLE_QUOTE_MATCHER;
 210             } else if (DOUBLE_QUOTE_MATCHER.matches(firstChar)) {
 211                 quoteMatcher = DOUBLE_QUOTE_MATCHER;
 212             } else {
 213                 sb.append(str);
 214                 continue;
 215             }
 216             sb.append(quoteMatcher.removeFrom(str.substring(1, str.length() - 1)));
 217         }
 218         return sb.toString();
 219     }
 220
 221     public static QName qNameFromArgument(StmtContext<?, ?, ?> ctx, final String value) {
 222         if (Strings.isNullOrEmpty(value)) {
 223             return ctx.getPublicDefinition().getStatementName();
 224         }
 225
 226         String prefix;
 227         QNameModule qNameModule = null;
 228         String localName = null;
 229
 230         String[] namesParts = value.split(":");
 231         switch (namesParts.length) {
 232         case 1:
 233             localName = namesParts[0];
 234             qNameModule = getRootModuleQName(ctx);
 235             break;
 236         default:
 237             prefix = namesParts[0];
 238             localName = namesParts[1];
 239             qNameModule = getModuleQNameByPrefix(ctx, prefix);
 240             // in case of unknown statement argument, we're not going to parse it
 241             if (qNameModule == null
 242                     && ctx.getPublicDefinition().getDeclaredRepresentationClass()
 243                     .isAssignableFrom(UnknownStatementImpl.class)) {
 244                 localName = value;
 245                 qNameModule = getRootModuleQName(ctx);
 246             }
 247             if (qNameModule == null
 248                     && Iterables.getLast(ctx.getCopyHistory()) == StmtContext.TypeOfCopy.ADDED_BY_AUGMENTATION) {
 249                 ctx = ctx.getOriginalCtx();
 250                 qNameModule = getModuleQNameByPrefix(ctx, prefix);
 251             }
 252             break;
 253         }
 254
 255         Preconditions.checkArgument(qNameModule != null, "Error in module '%s': can not resolve QNameModule for '%s'.",
 256                 ctx.getRoot().rawStatementArgument(), value);
 257
 258         QNameModule resultQNameModule = qNameModule.getRevision() == null ? QNameModule.create(
 259                 qNameModule.getNamespace(), SimpleDateFormatUtil.DEFAULT_DATE_REV) : qNameModule;
 260
 261         return QName.create(resultQNameModule, localName);
 262     }
 263
 264     public static QNameModule getModuleQNameByPrefix(final StmtContext<?, ?, ?> ctx, final String prefix) {
 265         QNameModule qNameModule;
 266         ModuleIdentifier impModIdentifier = ctx.getRoot().getFromNamespace(ImpPrefixToModuleIdentifier.class, prefix);
 267         qNameModule = ctx.getFromNamespace(ModuleIdentifierToModuleQName.class, impModIdentifier);
 268
 269         if (qNameModule == null && StmtContextUtils.producesDeclared(ctx.getRoot(), SubmoduleStatement.class)) {
 270             String moduleName = ctx.getRoot().getFromNamespace(BelongsToPrefixToModuleName.class, prefix);
 271             qNameModule = ctx.getFromNamespace(ModuleNameToModuleQName.class, moduleName);
 272         }
 273         return qNameModule;
 274     }
 275
 276     public static QNameModule getRootModuleQName(final StmtContext<?, ?, ?> ctx) {
 277
 278         if (ctx == null) {
 279             return null;
 280         }
 281
 282         StmtContext<?, ?, ?> rootCtx = ctx.getRoot();
 283         QNameModule qNameModule = null;
 284
 285         if (StmtContextUtils.producesDeclared(rootCtx, ModuleStatement.class)) {
 286             qNameModule = rootCtx.getFromNamespace(ModuleCtxToModuleQName.class, rootCtx);
 287         } else if (StmtContextUtils.producesDeclared(rootCtx, SubmoduleStatement.class)) {
 288             String belongsToModuleName = firstAttributeOf(rootCtx.substatements(),
 289                     BelongsToStatement.class);
 290             qNameModule = rootCtx.getFromNamespace(ModuleNameToModuleQName.class, belongsToModuleName);
 291         }
 292
 293         return qNameModule.getRevision() == null ? QNameModule.create(qNameModule.getNamespace(),
 294                 SimpleDateFormatUtil.DEFAULT_DATE_REV) : qNameModule;
 295     }
 296
 297     @Nullable
 298     public static StatementContextBase<?, ?, ?> findNode(final StmtContext<?, ?, ?> rootStmtCtx,
 299             final SchemaNodeIdentifier node) {
 300         return (StatementContextBase<?, ?, ?>) rootStmtCtx.getFromNamespace(SchemaNodeIdentifierBuildNamespace.class, node);
 301     }
 302
 303     public static SchemaPath getSchemaPath(final StmtContext<?, ?, ?> ctx) {
 304
 305         if (ctx == null) {
 306             return null;
 307         }
 308
 309         final Iterator<StmtContext<?, ?, ?>> iteratorFromRoot = ctx.getStmtContextsFromRoot().iterator();
 310         // skip root argument
 311         if (iteratorFromRoot.hasNext()) {
 312             iteratorFromRoot.next();
 313         }
 314
 315         List<QName> qNamesFromRoot = new LinkedList<>();
 316         while (iteratorFromRoot.hasNext()) {
 317             StmtContext<?, ?, ?> nextStmtCtx = iteratorFromRoot.next();
 318             Object nextStmtArgument = nextStmtCtx.getStatementArgument();
 319             if (nextStmtArgument instanceof QName) {
 320                 QName qname = (QName) nextStmtArgument;
 321                 if (StmtContextUtils.producesDeclared(nextStmtCtx, UsesStatement.class)) {
 322                     continue;
 323                 }
 324                 if (StmtContextUtils.producesDeclared(nextStmtCtx.getParentContext(), ChoiceStatement.class)
 325                         && isSupportedAsShorthandCase(nextStmtCtx)) {
 326                     qNamesFromRoot.add(qname);
 327                 }
 328                 qNamesFromRoot.add(qname);
 329             } else if (nextStmtArgument instanceof String) {
 330                 // FIXME: This may yield illegal argument exceptions
 331                 StatementContextBase<?, ?, ?> originalCtx = ctx
 332                         .getOriginalCtx();
 333                 final QName qName = (originalCtx != null) ? qNameFromArgument(
 334                         originalCtx, (String) nextStmtArgument)
 335                         : qNameFromArgument(ctx, (String) nextStmtArgument);
 336                 qNamesFromRoot.add(qName);
 337             } else if ((StmtContextUtils.producesDeclared(nextStmtCtx, AugmentStatement.class)
 338                        || StmtContextUtils.producesDeclared(nextStmtCtx, RefineStatement.class))
 339                     && nextStmtArgument instanceof SchemaNodeIdentifier) {
 340                 addQNamesFromSchemaNodeIdentifierToList(qNamesFromRoot, (SchemaNodeIdentifier) nextStmtArgument);
 341             } else if (isUnknownNode(nextStmtCtx)) {
 342                 qNamesFromRoot.add(nextStmtCtx.getPublicDefinition().getStatementName());
 343             } else {
 344                 return SchemaPath.SAME;
 345             }
 346         }
 347
 348         final SchemaPath schemaPath = SchemaPath.create(qNamesFromRoot, true);
 349         return schemaPath;
 350     }
 351
 352     public static boolean isUnknownNode(final StmtContext<?, ?, ?> stmtCtx) {
 353         return stmtCtx.getPublicDefinition().getDeclaredRepresentationClass()
 354                 .isAssignableFrom(UnknownStatementImpl.class);
 355     }
 356
 357     private static boolean isSupportedAsShorthandCase(final StmtContext<?, ?, ?> statementCtx) {
 358
 359         Collection<?> supportedCaseShorthands = statementCtx.getFromNamespace(ValidationBundlesNamespace.class,
 360                 ValidationBundleType.SUPPORTED_CASE_SHORTHANDS);
 361
 362         return supportedCaseShorthands == null || supportedCaseShorthands.contains(statementCtx.getPublicDefinition());
 363     }
 364
 365     private static void addQNamesFromSchemaNodeIdentifierToList(final List<QName> qNamesFromRoot,
 366             final SchemaNodeIdentifier augmentTargetPath) {
 367         for (QName qname : augmentTargetPath.getPathFromRoot()) {
 368             qNamesFromRoot.add(qname);
 369         }
 370     }
 371
 372     public static Deviation.Deviate parseDeviateFromString(final String deviate) {
 373
 374         // Yang constants should be lowercase so we have throw if value does not
 375         // suit this
 376         String deviateUpper = deviate.toUpperCase();
 377         Preconditions.checkArgument(!Objects.equals(deviate, deviateUpper),
 378             "String %s is not valid deviate argument", deviate);
 379
 380         // but Java enum is uppercase so we cannot use lowercase here
 381         try {
 382             return Deviation.Deviate.valueOf(deviateUpper);
 383         } catch (IllegalArgumentException e) {
 384             throw new IllegalArgumentException(String.format("String %s is not valid deviate argument", deviate), e);
 385         }
 386     }
 387
 388     public static Status parseStatus(final String value) {
 389
 390         Status status = null;
 391         switch (value) {
 392         case "current":
 393             status = Status.CURRENT;
 394             break;
 395         case "deprecated":
 396             status = Status.DEPRECATED;
 397             break;
 398         case "obsolete":
 399             status = Status.OBSOLETE;
 400             break;
 401         default:
 402             LOG.warn("Invalid 'status' statement: " + value);
 403         }
 404
 405         return status;
 406     }
 407
 408     public static Date getLatestRevision(final RootStatementContext<?, ?, ?> root) {
 409         return getLatestRevision(root.declaredSubstatements());
 410     }
 411
 412     public static Date getLatestRevision(final Iterable<? extends StmtContext<?, ?, ?>> subStmts) {
 413         Date revision = null;
 414         for (StmtContext<?, ?, ?> subStmt : subStmts) {
 415             if (subStmt.getPublicDefinition().getDeclaredRepresentationClass().isAssignableFrom(RevisionStatement
 416                     .class)) {
 417                 if (revision == null && subStmt.getStatementArgument() != null) {
 418                     revision = (Date) subStmt.getStatementArgument();
 419                 } else if (subStmt.getStatementArgument() != null && ((Date) subStmt.getStatementArgument()).compareTo
 420                         (revision) > 0) {
 421                     revision = (Date) subStmt.getStatementArgument();
 422                 }
 423             }
 424         }
 425         return revision;
 426     }
 427
 428     public static boolean isModuleIdentifierWithoutSpecifiedRevision(final Object o) {
 429         return (o instanceof ModuleIdentifier)
 430                 && (((ModuleIdentifier) o).getRevision() == SimpleDateFormatUtil.DEFAULT_DATE_IMP ||
 431                         ((ModuleIdentifier) o).getRevision() == SimpleDateFormatUtil.DEFAULT_BELONGS_TO_DATE);
 432     }
 433 }