yang/yang-parser-impl/src/main/java/org/opendaylight/yangtools/yang/parser/stmt/rfc6020/Utils.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.parser.stmt.rfc6020;
   9
  10 import static org.opendaylight.yangtools.yang.common.YangConstants.RFC6020_YANG_NAMESPACE;
  11 import static org.opendaylight.yangtools.yang.common.YangConstants.YANG_XPATH_FUNCTIONS_PREFIX;
  12
  13 import com.google.common.base.CharMatcher;
  14 import com.google.common.base.Splitter;
  15 import com.google.common.collect.ImmutableBiMap;
  16 import com.google.common.collect.ImmutableSet;
  17 import java.util.ArrayList;
  18 import java.util.Collection;
  19 import java.util.Collections;
  20 import java.util.HashSet;
  21 import java.util.List;
  22 import java.util.Set;
  23 import java.util.regex.Matcher;
  24 import java.util.regex.Pattern;
  25 import javax.annotation.Nonnull;
  26 import javax.annotation.Nullable;
  27 import javax.annotation.RegEx;
  28 import javax.xml.xpath.XPath;
  29 import javax.xml.xpath.XPathExpressionException;
  30 import javax.xml.xpath.XPathFactory;
  31 import org.antlr.v4.runtime.tree.TerminalNode;
  32 import org.opendaylight.yangtools.antlrv4.code.gen.YangStatementParser;
  33 import org.opendaylight.yangtools.yang.common.QName;
  34 import org.opendaylight.yangtools.yang.common.YangVersion;
  35 import org.opendaylight.yangtools.yang.model.api.RevisionAwareXPath;
  36 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier;
  37 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Relative;
  38 import org.opendaylight.yangtools.yang.model.util.RevisionAwareXPathImpl;
  39 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContext;
  40 import org.opendaylight.yangtools.yang.parser.spi.meta.StmtContextUtils;
  41 import org.opendaylight.yangtools.yang.parser.spi.source.SourceException;
  42 import org.opendaylight.yangtools.yang.parser.spi.source.StatementSourceReference;
  43 import org.opendaylight.yangtools.yang.parser.stmt.reactor.StatementContextBase;
  44 import org.slf4j.Logger;
  45 import org.slf4j.LoggerFactory;
  46
  47 public final class Utils {
  48     private static final Logger LOG = LoggerFactory.getLogger(Utils.class);
  49     private static final CharMatcher LEFT_PARENTHESIS_MATCHER = CharMatcher.is('(');
  50     private static final CharMatcher RIGHT_PARENTHESIS_MATCHER = CharMatcher.is(')');
  51     private static final CharMatcher AMPERSAND_MATCHER = CharMatcher.is('&');
  52     private static final CharMatcher QUESTION_MARK_MATCHER = CharMatcher.is('?');
  53     private static final CharMatcher ANYQUOTE_MATCHER = CharMatcher.anyOf("'\"");
  54     private static final Splitter SLASH_SPLITTER = Splitter.on('/').omitEmptyStrings().trimResults();
  55     private static final Splitter SPACE_SPLITTER = Splitter.on(' ').omitEmptyStrings().trimResults();
  56     private static final Splitter COLON_SPLITTER = Splitter.on(":").omitEmptyStrings().trimResults();
  57     private static final Pattern PATH_ABS = Pattern.compile("/[^/].*");
  58     @RegEx
  59     private static final String YANG_XPATH_FUNCTIONS_STRING =
  60             "(re-match|deref|derived-from(-or-self)?|enum-value|bit-is-set)(\\()";
  61     private static final Pattern YANG_XPATH_FUNCTIONS_PATTERN = Pattern.compile(YANG_XPATH_FUNCTIONS_STRING);
  62
  63     private static final ThreadLocal<XPathFactory> XPATH_FACTORY = new ThreadLocal<XPathFactory>() {
  64         @Override
  65         protected XPathFactory initialValue() {
  66             return XPathFactory.newInstance();
  67         }
  68     };
  69
  70     private Utils() {
  71         throw new UnsupportedOperationException();
  72     }
  73
  74     /**
  75      * Cleanup any resources attached to the current thread. Threads interacting with this class can cause thread-local
  76      * caches to them. Invoke this method if you want to detach those resources.
  77      */
  78     public static void detachFromCurrentThread() {
  79         XPATH_FACTORY.remove();
  80     }
  81
  82     public static Collection<SchemaNodeIdentifier.Relative> transformKeysStringToKeyNodes(
  83             final StmtContext<?, ?, ?> ctx, final String value) {
  84         final List<String> keyTokens = SPACE_SPLITTER.splitToList(value);
  85
  86         // to detect if key contains duplicates
  87         if (new HashSet<>(keyTokens).size() < keyTokens.size()) {
  88             // FIXME: report all duplicate keys
  89             throw new SourceException(ctx.getStatementSourceReference(), "Duplicate value in list key: %s", value);
  90         }
  91
  92         final Set<SchemaNodeIdentifier.Relative> keyNodes = new HashSet<>();
  93
  94         for (final String keyToken : keyTokens) {
  95
  96             final SchemaNodeIdentifier.Relative keyNode = (Relative) SchemaNodeIdentifier.Relative.create(false,
  97                     StmtContextUtils.qnameFromArgument(ctx, keyToken));
  98             keyNodes.add(keyNode);
  99         }
 100
 101         return keyNodes;
 102     }
 103
 104     static Collection<SchemaNodeIdentifier.Relative> parseUniqueConstraintArgument(final StmtContext<?, ?, ?> ctx,
 105             final String argumentValue) {
 106         final Set<SchemaNodeIdentifier.Relative> uniqueConstraintNodes = new HashSet<>();
 107         for (final String uniqueArgToken : SPACE_SPLITTER.split(argumentValue)) {
 108             final SchemaNodeIdentifier nodeIdentifier = Utils.nodeIdentifierFromPath(ctx, uniqueArgToken);
 109             SourceException.throwIf(nodeIdentifier.isAbsolute(), ctx.getStatementSourceReference(),
 110                     "Unique statement argument '%s' contains schema node identifier '%s' "
 111                             + "which is not in the descendant node identifier form.", argumentValue, uniqueArgToken);
 112             uniqueConstraintNodes.add((SchemaNodeIdentifier.Relative) nodeIdentifier);
 113         }
 114         return ImmutableSet.copyOf(uniqueConstraintNodes);
 115     }
 116
 117     private static String trimSingleLastSlashFromXPath(final String path) {
 118         return path.endsWith("/") ? path.substring(0, path.length() - 1) : path;
 119     }
 120
 121     static RevisionAwareXPath parseXPath(final StmtContext<?, ?, ?> ctx, final String path) {
 122         final XPath xPath = XPATH_FACTORY.get().newXPath();
 123         xPath.setNamespaceContext(StmtNamespaceContext.create(ctx,
 124                 ImmutableBiMap.of(RFC6020_YANG_NAMESPACE.toString(), YANG_XPATH_FUNCTIONS_PREFIX)));
 125
 126         final String trimmed = trimSingleLastSlashFromXPath(path);
 127         try {
 128             // XPath extension functions have to be prefixed
 129             // yang-specific XPath functions are in fact extended functions, therefore we have to add
 130             // "yang" prefix to them so that they can be properly validated with the XPath.compile() method
 131             // the "yang" prefix is bound to RFC6020 YANG namespace
 132             final String prefixedXPath = addPrefixToYangXPathFunctions(trimmed, ctx);
 133             // TODO: we could capture the result and expose its 'evaluate' method
 134             xPath.compile(prefixedXPath);
 135         } catch (final XPathExpressionException e) {
 136             LOG.warn("Argument \"{}\" is not valid XPath string at \"{}\"", path, ctx.getStatementSourceReference(), e);
 137         }
 138
 139         return new RevisionAwareXPathImpl(path, PATH_ABS.matcher(path).matches());
 140     }
 141
 142     private static String addPrefixToYangXPathFunctions(final String path, final StmtContext<?, ?, ?> ctx) {
 143         if (ctx.getRootVersion() == YangVersion.VERSION_1_1) {
 144             // FIXME once Java 9 is available, change this to StringBuilder as Matcher.appendReplacement() and
 145             // Matcher.appendTail() will accept StringBuilder parameter in Java 9
 146             final StringBuffer result = new StringBuffer();
 147             final String prefix = YANG_XPATH_FUNCTIONS_PREFIX + ":";
 148             final Matcher matcher = YANG_XPATH_FUNCTIONS_PATTERN.matcher(path);
 149             while (matcher.find()) {
 150                 matcher.appendReplacement(result, prefix + matcher.group());
 151             }
 152
 153             matcher.appendTail(result);
 154             return result.toString();
 155         }
 156
 157         return path;
 158     }
 159
 160     public static QName trimPrefix(final QName identifier) {
 161         final String prefixedLocalName = identifier.getLocalName();
 162         final String[] namesParts = prefixedLocalName.split(":");
 163
 164         if (namesParts.length == 2) {
 165             final String localName = namesParts[1];
 166             return QName.create(identifier.getModule(), localName);
 167         }
 168
 169         return identifier;
 170     }
 171
 172     public static String trimPrefix(final String identifier) {
 173         final List<String> namesParts = COLON_SPLITTER.splitToList(identifier);
 174         if (namesParts.size() == 2) {
 175             return namesParts.get(1);
 176         }
 177         return identifier;
 178     }
 179
 180     @SuppressWarnings("checkstyle:illegalCatch")
 181     static SchemaNodeIdentifier nodeIdentifierFromPath(final StmtContext<?, ?, ?> ctx, final String path) {
 182         // FIXME: is the path trimming really necessary??
 183         final List<QName> qNames = new ArrayList<>();
 184         for (final String nodeName : SLASH_SPLITTER.split(trimSingleLastSlashFromXPath(path))) {
 185             try {
 186                 final QName qName = StmtContextUtils.qnameFromArgument(ctx, nodeName);
 187                 qNames.add(qName);
 188             } catch (final RuntimeException e) {
 189                 throw new SourceException(ctx.getStatementSourceReference(), e,
 190                         "Failed to parse node '%s' in path '%s'", nodeName, path);
 191             }
 192         }
 193
 194         return SchemaNodeIdentifier.create(qNames, PATH_ABS.matcher(path).matches());
 195     }
 196
 197     public static String stringFromStringContext(final YangStatementParser.ArgumentContext context,
 198             final StatementSourceReference ref) {
 199         return stringFromStringContext(context, YangVersion.VERSION_1, ref);
 200     }
 201
 202     public static String stringFromStringContext(final YangStatementParser.ArgumentContext context,
 203             final YangVersion yangVersion, final StatementSourceReference ref) {
 204         final StringBuilder sb = new StringBuilder();
 205         List<TerminalNode> strings = context.STRING();
 206         if (strings.isEmpty()) {
 207             strings = Collections.singletonList(context.IDENTIFIER());
 208         }
 209         for (final TerminalNode stringNode : strings) {
 210             final String str = stringNode.getText();
 211             final char firstChar = str.charAt(0);
 212             final char lastChar = str.charAt(str.length() - 1);
 213             if (firstChar == '"' && lastChar == '"') {
 214                 final String innerStr = str.substring(1, str.length() - 1);
 215                 /*
 216                  * Unescape escaped double quotes, tabs, new line and backslash
 217                  * in the inner string and trim the result.
 218                  */
 219                 checkDoubleQuotedString(innerStr, yangVersion, ref);
 220                 sb.append(innerStr.replace("\\\"", "\"").replace("\\\\", "\\").replace("\\n", "\n")
 221                         .replace("\\t", "\t"));
 222             } else if (firstChar == '\'' && lastChar == '\'') {
 223                 /*
 224                  * According to RFC6020 a single quote character cannot occur in
 225                  * a single-quoted string, even when preceded by a backslash.
 226                  */
 227                 sb.append(str.substring(1, str.length() - 1));
 228             } else {
 229                 checkUnquotedString(str, yangVersion, ref);
 230                 sb.append(str);
 231             }
 232         }
 233         return sb.toString();
 234     }
 235
 236     private static void checkUnquotedString(final String str, final YangVersion yangVersion,
 237             final StatementSourceReference ref) {
 238         if (yangVersion == YangVersion.VERSION_1_1) {
 239             SourceException.throwIf(ANYQUOTE_MATCHER.matchesAnyOf(str), ref,
 240                 "YANG 1.1: unquoted string (%s) contains illegal characters", str);
 241         }
 242     }
 243
 244     private static void checkDoubleQuotedString(final String str, final YangVersion yangVersion,
 245             final StatementSourceReference ref) {
 246         if (yangVersion == YangVersion.VERSION_1_1) {
 247             for (int i = 0; i < str.length() - 1; i++) {
 248                 if (str.charAt(i) == '\\') {
 249                     switch (str.charAt(i + 1)) {
 250                         case 'n':
 251                         case 't':
 252                         case '\\':
 253                         case '\"':
 254                             i++;
 255                             break;
 256                         default:
 257                             throw new SourceException(ref, "YANG 1.1: illegal double quoted string (%s). In double "
 258                                     + "quoted string the backslash must be followed by one of the following character "
 259                                     + "[n,t,\",\\], but was '%s'.", str, str.charAt(i + 1));
 260                     }
 261                 }
 262             }
 263         }
 264     }
 265
 266     @Nullable
 267     public static StatementContextBase<?, ?, ?> findNode(final StmtContext<?, ?, ?> rootStmtCtx,
 268             final SchemaNodeIdentifier node) {
 269         return (StatementContextBase<?, ?, ?>) rootStmtCtx.getFromNamespace(SchemaNodeIdentifierBuildNamespace.class,
 270             node);
 271     }
 272
 273     static @Nonnull Boolean parseBoolean(final StmtContext<?, ?, ?> ctx, final String input) {
 274         if ("true".equals(input)) {
 275             return Boolean.TRUE;
 276         } else if ("false".equals(input)) {
 277             return Boolean.FALSE;
 278         } else {
 279             throw new SourceException(ctx.getStatementSourceReference(),
 280                 "Invalid '%s' statement %s '%s', it can be either 'true' or 'false'",
 281                 ctx.getPublicDefinition().getStatementName(), ctx.getPublicDefinition().getArgumentName(), input);
 282         }
 283     }
 284
 285     static String internBoolean(final String input) {
 286         if ("true".equals(input)) {
 287             return "true";
 288         } else if ("false".equals(input)) {
 289             return "false";
 290         } else {
 291             return input;
 292         }
 293     }
 294
 295     /**
 296      * Replaces illegal characters of QName by the name of the character (e.g. '?' is replaced by "QuestionMark" etc.).
 297      *
 298      * @param string
 299      *            input String
 300      * @return result String
 301      */
 302     public static String replaceIllegalCharsForQName(String string) {
 303         string = LEFT_PARENTHESIS_MATCHER.replaceFrom(string, "LeftParenthesis");
 304         string = RIGHT_PARENTHESIS_MATCHER.replaceFrom(string, "RightParenthesis");
 305         string = AMPERSAND_MATCHER.replaceFrom(string, "Ampersand");
 306         string = QUESTION_MARK_MATCHER.replaceFrom(string, "QuestionMark");
 307
 308         return string;
 309     }
 310
 311     public static boolean belongsToTheSameModule(final QName targetStmtQName, final QName sourceStmtQName) {
 312         return targetStmtQName.getModule().equals(sourceStmtQName.getModule());
 313     }
 314 }