yang/yang-parser-impl/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/rfc6020/Utils.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.rfc6020;
   9
  10 import static org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils.firstAttributeOf;
  11 import com.google.common.base.CharMatcher;
  12 import com.google.common.base.Preconditions;
  13 import com.google.common.base.Splitter;
  14 import com.google.common.base.Strings;
  15 import com.google.common.collect.ImmutableMap;
  16 import com.google.common.collect.ImmutableMap.Builder;
  17 import com.google.common.collect.Iterables;
  18 import java.util.ArrayList;
  19 import java.util.Arrays;
  20 import java.util.Collection;
  21 import java.util.Date;
  22 import java.util.HashSet;
  23 import java.util.List;
  24 import java.util.Map;
  25 import java.util.Set;
  26 import java.util.regex.Pattern;
  27 import javax.annotation.Nullable;
  28 import javax.xml.xpath.XPath;
  29 import javax.xml.xpath.XPathExpressionException;
  30 import javax.xml.xpath.XPathFactory;
  31 import org.antlr.v4.runtime.tree.TerminalNode;
  32 import org.opendaylight.yangtools.antlrv4.code.gen.YangStatementParser;
  33 import org.opendaylight.yangtools.yang.common.QName;
  34 import org.opendaylight.yangtools.yang.common.QNameModule;
  35 import org.opendaylight.yangtools.yang.common.SimpleDateFormatUtil;
  36 import org.opendaylight.yangtools.yang.model.api.Deviation;
  37 import org.opendaylight.yangtools.yang.model.api.Deviation.Deviate;
  38 import org.opendaylight.yangtools.yang.model.api.ModuleIdentifier;
  39 import org.opendaylight.yangtools.yang.model.api.RevisionAwareXPath;
  40 import org.opendaylight.yangtools.yang.model.api.Status;
  41 import org.opendaylight.yangtools.yang.model.api.stmt.BelongsToStatement;
  42 import org.opendaylight.yangtools.yang.model.api.stmt.ModuleStatement;
  43 import org.opendaylight.yangtools.yang.model.api.stmt.RevisionStatement;
  44 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  45 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Relative;
  46 import org.opendaylight.yangtools.yang.model.api.stmt.SubmoduleStatement;
  47 import org.opendaylight.yangtools.yang.model.util.RevisionAwareXPathImpl;
  48 import org.opendaylight.yangtools.yang.parser.spi.meta.QNameCacheNamespace;
  49 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  50 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  51 import org.opendaylight.yangtools.yang.parser.spi.source.BelongsToPrefixToModuleName;
  52 import org.opendaylight.yangtools.yang.parser.spi.source.ImpPrefixToModuleIdentifier;
  53 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleCtxToModuleQName;
  54 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleIdentifierToModuleQName;
  55 import org.opendaylight.yangtools.yang.parser.spi.source.ModuleNameToModuleQName;
  56 import org.opendaylight.yangtools.yang.parser.spi.source.PrefixToModule;
  57 import org.opendaylight.yangtools.yang.parser.spi.source.QNameToStatementDefinition;
  58 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
  59 import org.opendaylight.yangtools.yang.parser.stmt.reactor.StatementContextBase;
  60 import org.slf4j.Logger;
  61 import org.slf4j.LoggerFactory;
  62
  63 public final class Utils {
  64     private static final Logger LOG = LoggerFactory.getLogger(Utils.class);
  65     private static final CharMatcher DOUBLE_QUOTE_MATCHER = CharMatcher.is('"');
  66     private static final CharMatcher SINGLE_QUOTE_MATCHER = CharMatcher.is('\'');
  67     private static final CharMatcher LEFT_PARENTHESIS_MATCHER = CharMatcher.is('(');
  68     private static final CharMatcher RIGHT_PARENTHESIS_MATCHER = CharMatcher.is(')');
  69     private static final CharMatcher AMPERSAND_MATCHER = CharMatcher.is('&');
  70     private static final CharMatcher QUESTION_MARK_MATCHER = CharMatcher.is('?');
  71     private static final Splitter SLASH_SPLITTER = Splitter.on('/').omitEmptyStrings().trimResults();
  72     private static final Splitter SPACE_SPLITTER = Splitter.on(' ').omitEmptyStrings().trimResults();
  73     private static final Pattern PATH_ABS = Pattern.compile("/[^/].*");
  74
  75     private static final Map<String, Deviate> KEYWORD_TO_DEVIATE_MAP;
  76     static {
  77         Builder<String, Deviate> keywordToDeviateMapBuilder = ImmutableMap.builder();
  78         for (Deviate deviate : Deviation.Deviate.values()) {
  79             keywordToDeviateMapBuilder.put(deviate.getKeyword(), deviate);
  80         }
  81         KEYWORD_TO_DEVIATE_MAP = keywordToDeviateMapBuilder.build();
  82     }
  83
  84     private static final ThreadLocal<XPathFactory> XPATH_FACTORY = new ThreadLocal<XPathFactory>() {
  85         @Override
  86         protected XPathFactory initialValue() {
  87             return XPathFactory.newInstance();
  88         }
  89     };
  90
  91     private Utils() {
  92         throw new UnsupportedOperationException();
  93     }
  94
  95     /**
  96      * Cleanup any resources attached to the current thread. Threads interacting with this class can cause thread-local
  97      * caches to them. Invoke this method if you want to detach those resources.
  98      */
  99     public static void detachFromCurrentThread() {
 100         XPATH_FACTORY.remove();
 101     }
 102
 103     public static Collection<SchemaNodeIdentifier.Relative> transformKeysStringToKeyNodes(final StmtContext<?, ?, ?> ctx,
 104             final String value) {
 105         List<String> keyTokens = SPACE_SPLITTER.splitToList(value);
 106
 107         // to detect if key contains duplicates
 108         if ((new HashSet<>(keyTokens)).size() < keyTokens.size()) {
 109             // FIXME: report all duplicate keys
 110             throw new SourceException(String.format("Duplicate value in list key: %s", value),
 111                     ctx.getStatementSourceReference());
 112         }
 113
 114         Set<SchemaNodeIdentifier.Relative> keyNodes = new HashSet<>();
 115
 116         for (String keyToken : keyTokens) {
 117
 118             SchemaNodeIdentifier.Relative keyNode = (Relative) SchemaNodeIdentifier.Relative.create(false,
 119                     Utils.qNameFromArgument(ctx, keyToken));
 120             keyNodes.add(keyNode);
 121         }
 122
 123         return keyNodes;
 124     }
 125
 126     private static String trimSingleLastSlashFromXPath(final String path) {
 127         return path.endsWith("/") ? path.substring(0, path.length() - 1) : path;
 128     }
 129
 130     static RevisionAwareXPath parseXPath(final StmtContext<?, ?, ?> ctx, final String path) {
 131         final XPath xPath = XPATH_FACTORY.get().newXPath();
 132         xPath.setNamespaceContext(StmtNamespaceContext.create(ctx));
 133
 134         final String trimmed = trimSingleLastSlashFromXPath(path);
 135         try {
 136             // TODO: we could capture the result and expose its 'evaluate' method
 137             xPath.compile(trimmed);
 138         } catch (XPathExpressionException e) {
 139             LOG.warn("Argument \"{}\" is not valid XPath string at \"{}\"", path, ctx.getStatementSourceReference(), e);
 140         }
 141
 142         return new RevisionAwareXPathImpl(path, PATH_ABS.matcher(path).matches());
 143     }
 144
 145     public static QName trimPrefix(final QName identifier) {
 146         String prefixedLocalName = identifier.getLocalName();
 147         String[] namesParts = prefixedLocalName.split(":");
 148
 149         if (namesParts.length == 2) {
 150             String localName = namesParts[1];
 151             return QName.create(identifier.getModule(), localName);
 152         }
 153
 154         return identifier;
 155     }
 156
 157     /**
 158      *
 159      * Based on identifier read from source and collections of relevant prefixes and statement definitions mappings
 160      * provided for actual phase, method resolves and returns valid QName for declared statement to be written.
 161      * This applies to any declared statement, including unknown statements.
 162      *
 163      * @param prefixes - collection of all relevant prefix mappings supplied for actual parsing phase
 164      * @param stmtDef - collection of all relevant statement definition mappings provided for actual parsing phase
 165      * @param identifier - statement to parse from source
 166      * @return valid QName for declared statement to be written
 167      *
 168      */
 169     public static QName getValidStatementDefinition(final PrefixToModule prefixes, final QNameToStatementDefinition
 170             stmtDef, final QName identifier) {
 171         if (stmtDef.get(identifier) != null) {
 172             return stmtDef.get(identifier).getStatementName();
 173         } else {
 174             String prefixedLocalName = identifier.getLocalName();
 175             String[] namesParts = prefixedLocalName.split(":");
 176
 177             if (namesParts.length == 2) {
 178                 String prefix = namesParts[0];
 179                 String localName = namesParts[1];
 180                 if (prefixes != null && prefixes.get(prefix) != null
 181                         && stmtDef.get(QName.create(prefixes.get(prefix), localName)) != null) {
 182                     return QName.create(prefixes.get(prefix), localName);
 183                 }
 184             }
 185         }
 186         return null;
 187     }
 188
 189     static SchemaNodeIdentifier nodeIdentifierFromPath(final StmtContext<?, ?, ?> ctx, final String path) {
 190         // FIXME: is the path trimming really necessary??
 191         final List<QName> qNames = new ArrayList<>();
 192         for (String nodeName : SLASH_SPLITTER.split(trimSingleLastSlashFromXPath(path))) {
 193             try {
 194                 final QName qName = Utils.qNameFromArgument(ctx, nodeName);
 195                 qNames.add(qName);
 196             } catch (Exception e) {
 197                 throw new IllegalArgumentException(
 198                     String.format("Failed to parse node '%s' in path '%s'", nodeName, path), e);
 199             }
 200         }
 201
 202         return SchemaNodeIdentifier.create(qNames, PATH_ABS.matcher(path).matches());
 203     }
 204
 205     public static String stringFromStringContext(final YangStatementParser.ArgumentContext context) {
 206         StringBuilder sb = new StringBuilder();
 207         List<TerminalNode> strings = context.STRING();
 208         if (strings.isEmpty()) {
 209             strings = Arrays.asList(context.IDENTIFIER());
 210         }
 211         for (TerminalNode stringNode : strings) {
 212             final String str = stringNode.getText();
 213             char firstChar = str.charAt(0);
 214             final CharMatcher quoteMatcher;
 215             if (SINGLE_QUOTE_MATCHER.matches(firstChar)) {
 216                 quoteMatcher = SINGLE_QUOTE_MATCHER;
 217             } else if (DOUBLE_QUOTE_MATCHER.matches(firstChar)) {
 218                 quoteMatcher = DOUBLE_QUOTE_MATCHER;
 219             } else {
 220                 sb.append(str);
 221                 continue;
 222             }
 223             sb.append(quoteMatcher.removeFrom(str.substring(1, str.length() - 1)));
 224         }
 225         return sb.toString();
 226     }
 227
 228     public static QName qNameFromArgument(StmtContext<?, ?, ?> ctx, final String value) {
 229         if (Strings.isNullOrEmpty(value)) {
 230             return ctx.getPublicDefinition().getStatementName();
 231         }
 232
 233         String prefix;
 234         QNameModule qNameModule = null;
 235         String localName = null;
 236
 237         String[] namesParts = value.split(":");
 238         switch (namesParts.length) {
 239         case 1:
 240             localName = namesParts[0];
 241             qNameModule = getRootModuleQName(ctx);
 242             break;
 243         default:
 244             prefix = namesParts[0];
 245             localName = namesParts[1];
 246             qNameModule = getModuleQNameByPrefix(ctx, prefix);
 247             // in case of unknown statement argument, we're not going to parse it
 248             if (qNameModule == null
 249                     && ctx.getPublicDefinition().getDeclaredRepresentationClass()
 250                     .isAssignableFrom(UnknownStatementImpl.class)) {
 251                 localName = value;
 252                 qNameModule = getRootModuleQName(ctx);
 253             }
 254             if (qNameModule == null
 255                     && Iterables.getLast(ctx.getCopyHistory()) == StmtContext.TypeOfCopy.ADDED_BY_AUGMENTATION) {
 256                 ctx = ctx.getOriginalCtx();
 257                 qNameModule = getModuleQNameByPrefix(ctx, prefix);
 258             }
 259             break;
 260         }
 261
 262         Preconditions.checkArgument(qNameModule != null,
 263                 "Error in module '%s': can not resolve QNameModule for '%s'. Statement source at %s",
 264                 ctx.getRoot().rawStatementArgument(), value, ctx.getStatementSourceReference());
 265         final QNameModule resultQNameModule;
 266         if (qNameModule.getRevision() == null) {
 267             resultQNameModule = QNameModule.create(qNameModule.getNamespace(), SimpleDateFormatUtil.DEFAULT_DATE_REV)
 268                 .intern();
 269         } else {
 270             resultQNameModule = qNameModule;
 271         }
 272
 273         return ctx.getFromNamespace(QNameCacheNamespace.class, QName.create(resultQNameModule, localName));
 274     }
 275
 276     public static QNameModule getModuleQNameByPrefix(final StmtContext<?, ?, ?> ctx, final String prefix) {
 277         final ModuleIdentifier modId = ctx.getRoot().getFromNamespace(ImpPrefixToModuleIdentifier.class, prefix);
 278         final QNameModule qNameModule = ctx.getFromNamespace(ModuleIdentifierToModuleQName.class, modId);
 279
 280         if (qNameModule == null && StmtContextUtils.producesDeclared(ctx.getRoot(), SubmoduleStatement.class)) {
 281             String moduleName = ctx.getRoot().getFromNamespace(BelongsToPrefixToModuleName.class, prefix);
 282             return ctx.getFromNamespace(ModuleNameToModuleQName.class, moduleName);
 283         }
 284         return qNameModule;
 285     }
 286
 287     public static QNameModule getRootModuleQName(final StmtContext<?, ?, ?> ctx) {
 288         if (ctx == null) {
 289             return null;
 290         }
 291
 292         final StmtContext<?, ?, ?> rootCtx = ctx.getRoot();
 293         final QNameModule qNameModule;
 294
 295         if (StmtContextUtils.producesDeclared(rootCtx, ModuleStatement.class)) {
 296             qNameModule = rootCtx.getFromNamespace(ModuleCtxToModuleQName.class, rootCtx);
 297         } else if (StmtContextUtils.producesDeclared(rootCtx, SubmoduleStatement.class)) {
 298             final String belongsToModuleName = firstAttributeOf(rootCtx.substatements(), BelongsToStatement.class);
 299             qNameModule = rootCtx.getFromNamespace(ModuleNameToModuleQName.class, belongsToModuleName);
 300         } else {
 301             qNameModule = null;
 302         }
 303
 304         Preconditions.checkArgument(qNameModule != null, "Failed to look up root QNameModule for %s", ctx);
 305         if (qNameModule.getRevision() != null) {
 306             return qNameModule;
 307         }
 308
 309         return QNameModule.create(qNameModule.getNamespace(), SimpleDateFormatUtil.DEFAULT_DATE_REV).intern();
 310     }
 311
 312     @Nullable
 313     public static StatementContextBase<?, ?, ?> findNode(final StmtContext<?, ?, ?> rootStmtCtx,
 314             final SchemaNodeIdentifier node) {
 315         return (StatementContextBase<?, ?, ?>) rootStmtCtx.getFromNamespace(SchemaNodeIdentifierBuildNamespace.class, node);
 316     }
 317
 318     public static boolean isUnknownNode(final StmtContext<?, ?, ?> stmtCtx) {
 319         return stmtCtx.getPublicDefinition().getDeclaredRepresentationClass()
 320                 .isAssignableFrom(UnknownStatementImpl.class);
 321     }
 322
 323     public static Deviation.Deviate parseDeviateFromString(final StmtContext<?, ?, ?> ctx, final String deviateKeyword) {
 324         return Preconditions.checkNotNull(KEYWORD_TO_DEVIATE_MAP.get(deviateKeyword),
 325                 "String '%s' is not valid deviate argument. Statement source at %s", deviateKeyword,
 326                 ctx.getStatementSourceReference());
 327     }
 328
 329     public static Status parseStatus(final String value) {
 330         switch (value) {
 331         case "current":
 332             return Status.CURRENT;
 333         case "deprecated":
 334             return Status.DEPRECATED;
 335         case "obsolete":
 336             return Status.OBSOLETE;
 337         default:
 338             LOG.warn("Invalid 'status' statement: {}", value);
 339             return null;
 340         }
 341     }
 342
 343     public static Date getLatestRevision(final Iterable<? extends StmtContext<?, ?, ?>> subStmts) {
 344         Date revision = null;
 345         for (StmtContext<?, ?, ?> subStmt : subStmts) {
 346             if (subStmt.getPublicDefinition().getDeclaredRepresentationClass().isAssignableFrom(RevisionStatement
 347                     .class)) {
 348                 if (revision == null && subStmt.getStatementArgument() != null) {
 349                     revision = (Date) subStmt.getStatementArgument();
 350                 } else if (subStmt.getStatementArgument() != null && ((Date) subStmt.getStatementArgument()).compareTo
 351                         (revision) > 0) {
 352                     revision = (Date) subStmt.getStatementArgument();
 353                 }
 354             }
 355         }
 356         return revision;
 357     }
 358
 359     public static boolean isModuleIdentifierWithoutSpecifiedRevision(final Object o) {
 360         return (o instanceof ModuleIdentifier)
 361                 && (((ModuleIdentifier) o).getRevision() == SimpleDateFormatUtil.DEFAULT_DATE_IMP || ((ModuleIdentifier) o)
 362                         .getRevision() == SimpleDateFormatUtil.DEFAULT_BELONGS_TO_DATE);
 363     }
 364
 365     /**
 366      * Replaces illegal characters of QName by the name of the character (e.g.
 367      * '?' is replaced by "QuestionMark" etc.).
 368      *
 369      * @param string
 370      *            input String
 371      * @return result String
 372      */
 373     public static String replaceIllegalCharsForQName(String string) {
 374         string = LEFT_PARENTHESIS_MATCHER.replaceFrom(string, "LeftParenthesis");
 375         string = RIGHT_PARENTHESIS_MATCHER.replaceFrom(string, "RightParenthesis");
 376         string = AMPERSAND_MATCHER.replaceFrom(string, "Ampersand");
 377         string = QUESTION_MARK_MATCHER.replaceFrom(string, "QuestionMark");
 378
 379         return string;
 380     }
 381 }