plugins/netconf-common-mdsal/src/main/java/org/opendaylight/netconf/common/mdsal/NormalizedDataUtil.java

   1 /*
   2  * Copyright (c) 2013 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.netconf.common.mdsal;
   9
  10 import java.io.IOException;
  11 import java.net.URISyntaxException;
  12 import java.util.Iterator;
  13 import java.util.List;
  14 import java.util.Map;
  15 import java.util.Map.Entry;
  16 import java.util.stream.Collectors;
  17 import javax.xml.stream.XMLOutputFactory;
  18 import javax.xml.stream.XMLStreamException;
  19 import javax.xml.stream.XMLStreamWriter;
  20 import javax.xml.transform.dom.DOMResult;
  21 import javax.xml.transform.dom.DOMSource;
  22 import org.eclipse.jdt.annotation.Nullable;
  23 import org.opendaylight.netconf.api.xml.XmlUtil;
  24 import org.opendaylight.yangtools.rfc7952.data.api.NormalizedMetadata;
  25 import org.opendaylight.yangtools.rfc7952.data.api.StreamWriterMetadataExtension;
  26 import org.opendaylight.yangtools.rfc7952.data.util.NormalizedMetadataWriter;
  27 import org.opendaylight.yangtools.rfc8528.data.api.MountPointContext;
  28 import org.opendaylight.yangtools.rfc8528.data.util.EmptyMountPointContext;
  29 import org.opendaylight.yangtools.yang.common.QName;
  30 import org.opendaylight.yangtools.yang.common.QNameModule;
  31 import org.opendaylight.yangtools.yang.common.Revision;
  32 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier;
  33 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.NodeIdentifierWithPredicates;
  34 import org.opendaylight.yangtools.yang.data.api.YangInstanceIdentifier.PathArgument;
  35 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
  36 import org.opendaylight.yangtools.yang.data.api.schema.stream.NormalizedNodeStreamWriter;
  37 import org.opendaylight.yangtools.yang.data.api.schema.stream.NormalizedNodeWriter;
  38 import org.opendaylight.yangtools.yang.data.codec.xml.XMLStreamNormalizedNodeStreamWriter;
  39 import org.opendaylight.yangtools.yang.data.codec.xml.XmlParserStream;
  40 import org.opendaylight.yangtools.yang.data.impl.schema.ImmutableNormalizedNodeStreamWriter;
  41 import org.opendaylight.yangtools.yang.data.impl.schema.NormalizedNodeResult;
  42 import org.opendaylight.yangtools.yang.model.api.EffectiveModelContext;
  43 import org.opendaylight.yangtools.yang.model.api.SchemaContext;
  44 import org.opendaylight.yangtools.yang.model.api.stmt.SchemaNodeIdentifier.Absolute;
  45 import org.slf4j.Logger;
  46 import org.slf4j.LoggerFactory;
  47 import org.w3c.dom.Element;
  48 import org.xml.sax.SAXException;
  49
  50 /**
  51  * Utility methods to work with {@link NormalizedNode} and related constructs in the context of NETCONF protocol.
  52  */
  53 public final class NormalizedDataUtil {
  54     /**
  55      * Shim interface to handle differences around namespace handling between various XMLStreamWriter implementations.
  56      * Specifically:
  57      * <ul>
  58      *   <li>OpenJDK DOM writer (com.sun.xml.internal.stream.writers.XMLDOMWriterImpl) throws
  59      *       UnsupportedOperationException from its setNamespaceContext() method</li>
  60      *   <li>Woodstox DOM writer (com.ctc.wstx.dom.WstxDOMWrappingWriter) works with namespace context, but treats
  61      *       setPrefix() calls as hints -- which are not discoverable.</li>
  62      * </ul>
  63      *
  64      * <p>
  65      * Due to this we perform a quick test for behavior and decide the appropriate strategy.
  66      */
  67     @FunctionalInterface
  68     private interface NamespaceSetter {
  69         void initializeNamespace(XMLStreamWriter writer) throws XMLStreamException;
  70
  71         static NamespaceSetter forFactory(final XMLOutputFactory xmlFactory) {
  72             final String netconfNamespace = NETCONF_QNAME.getNamespace().toString();
  73             final AnyXmlNamespaceContext namespaceContext = new AnyXmlNamespaceContext(Map.of("op", netconfNamespace));
  74
  75             try {
  76                 final XMLStreamWriter testWriter = xmlFactory.createXMLStreamWriter(new DOMResult(
  77                     XmlUtil.newDocument()));
  78                 testWriter.setNamespaceContext(namespaceContext);
  79             } catch (final UnsupportedOperationException e) {
  80                 // This happens with JDK's DOM writer, which we may be using
  81                 LOG.debug("Unable to set namespace context, falling back to setPrefix()", e);
  82                 return writer -> writer.setPrefix("op", netconfNamespace);
  83             } catch (XMLStreamException e) {
  84                 throw new ExceptionInInitializerError(e);
  85             }
  86
  87             // Success, we can use setNamespaceContext()
  88             return writer -> writer.setNamespaceContext(namespaceContext);
  89         }
  90     }
  91
  92     private static final Logger LOG = LoggerFactory.getLogger(NormalizedDataUtil.class);
  93
  94     // FIXME: document what exactly this QName means, as it is not referring to a tangible node nor the ietf-module.
  95     // FIXME: what is this contract saying?
  96     //        - is it saying all data is going to be interpreted with this root?
  97     //        - is this saying we are following a specific interface contract (i.e. do we have schema mounts?)
  98     //        - is it also inferring some abilities w.r.t. RFC8342?
  99     public static final QName NETCONF_QNAME = QName.create(QNameModule.create(SchemaContext.NAME.getNamespace(),
 100         Revision.of("2011-06-01")), "netconf").intern();
 101     // FIXME: is this the device-bound revision?
 102     public static final QName NETCONF_DATA_QNAME = QName.create(NETCONF_QNAME, "data").intern();
 103
 104     public static final XMLOutputFactory XML_FACTORY;
 105
 106     static {
 107         final XMLOutputFactory f = XMLOutputFactory.newFactory();
 108         // FIXME: not repairing namespaces is probably common, this should be availabe as common XML constant.
 109         f.setProperty(XMLOutputFactory.IS_REPAIRING_NAMESPACES, false);
 110         XML_FACTORY = f;
 111     }
 112
 113     private static final NamespaceSetter XML_NAMESPACE_SETTER = NamespaceSetter.forFactory(XML_FACTORY);
 114
 115     private NormalizedDataUtil() {
 116         // No-op
 117     }
 118
 119     /**
 120      * Write {@code normalized} data into {@link DOMResult}.
 121      *
 122      * @param normalized data to be written
 123      * @param result     DOM result holder
 124      * @param context    mountpoint schema context
 125      * @param path       optional schema node identifier of the parent node
 126      * @throws IOException        when failed to write data into {@link NormalizedNodeStreamWriter}
 127      * @throws XMLStreamException when failed to serialize data into XML document
 128      */
 129     public static void writeNormalizedNode(final NormalizedNode normalized, final DOMResult result,
 130             final EffectiveModelContext context, final @Nullable Absolute path) throws IOException, XMLStreamException {
 131         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 132         try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 133              var writer = NormalizedNodeWriter.forStreamWriter(streamWriter)) {
 134             writer.write(normalized);
 135             writer.flush();
 136         } finally {
 137             xmlWriter.close();
 138         }
 139     }
 140
 141     /**
 142      * Write {@code normalized} data along with corresponding {@code metadata} into {@link DOMResult}.
 143      *
 144      * @param normalized data to be written
 145      * @param metadata   metadata to be written
 146      * @param result     DOM result holder
 147      * @param context    mountpoint schema context
 148      * @param path       optional schema node identifier of the parent node
 149      * @throws IOException        when failed to write data into {@link NormalizedNodeStreamWriter}
 150      * @throws XMLStreamException when failed to serialize data into XML document
 151      */
 152     public static void writeNormalizedNode(final NormalizedNode normalized, final @Nullable NormalizedMetadata metadata,
 153             final DOMResult result, final EffectiveModelContext context, final @Nullable Absolute path)
 154                 throws IOException, XMLStreamException {
 155         if (metadata == null) {
 156             writeNormalizedNode(normalized, result, context, path);
 157             return;
 158         }
 159
 160         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 161         XML_NAMESPACE_SETTER.initializeNamespace(xmlWriter);
 162         try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 163              var writer = NormalizedMetadataWriter.forStreamWriter(streamWriter)) {
 164             writer.write(normalized, metadata);
 165             writer.flush();
 166         } finally {
 167             xmlWriter.close();
 168         }
 169     }
 170
 171     /**
 172      * Write data specified by {@link YangInstanceIdentifier} into {@link DOMResult}.
 173      *
 174      * @param query      path to the root node
 175      * @param result     DOM result holder
 176      * @param context    mountpoint schema context
 177      * @param path       optional schema node identifier of the parent node
 178      * @throws IOException        when failed to write data into {@link NormalizedNodeStreamWriter}
 179      * @throws XMLStreamException when failed to serialize data into XML document
 180      */
 181     public static void writeNormalizedNode(final YangInstanceIdentifier query, final DOMResult result,
 182             final EffectiveModelContext context, final @Nullable Absolute path) throws IOException, XMLStreamException {
 183         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 184         XML_NAMESPACE_SETTER.initializeNamespace(xmlWriter);
 185         try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 186              var writer = new EmptyListXmlWriter(streamWriter, xmlWriter)) {
 187             final Iterator<PathArgument> it = query.getPathArguments().iterator();
 188             final PathArgument first = it.next();
 189             StreamingContext.fromSchemaAndQNameChecked(context, first.getNodeType()).streamToWriter(writer, first, it);
 190         } finally {
 191             xmlWriter.close();
 192         }
 193     }
 194
 195     /**
 196      * Write data specified by {@link YangInstanceIdentifier} along with corresponding {@code metadata}
 197      * into {@link DOMResult}.
 198      *
 199      * @param query      path to the root node
 200      * @param metadata   metadata to be written
 201      * @param result     DOM result holder
 202      * @param context    mountpoint schema context
 203      * @param path       optional schema node identifier of the parent node
 204      * @throws IOException        when failed to write data into {@link NormalizedNodeStreamWriter}
 205      * @throws XMLStreamException when failed to serialize data into XML document
 206      */
 207     public static void writeNormalizedNode(final YangInstanceIdentifier query,
 208             final @Nullable NormalizedMetadata metadata, final DOMResult result, final EffectiveModelContext context,
 209             final @Nullable Absolute path) throws IOException, XMLStreamException {
 210         if (metadata == null) {
 211             writeNormalizedNode(query, result, context, path);
 212             return;
 213         }
 214
 215         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 216         XML_NAMESPACE_SETTER.initializeNamespace(xmlWriter);
 217         try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 218              var writer = new EmptyListXmlMetadataWriter(streamWriter, xmlWriter,
 219                  streamWriter.getExtensions().getInstance(StreamWriterMetadataExtension.class), metadata)) {
 220             final Iterator<PathArgument> it = query.getPathArguments().iterator();
 221             final PathArgument first = it.next();
 222             StreamingContext.fromSchemaAndQNameChecked(context, first.getNodeType()).streamToWriter(writer, first, it);
 223         } finally {
 224             xmlWriter.close();
 225         }
 226     }
 227
 228     /**
 229      * Writing subtree filter specified by {@link YangInstanceIdentifier} into {@link DOMResult}.
 230      *
 231      * @param query      path to the root node
 232      * @param result     DOM result holder
 233      * @param context    mountpoint schema context
 234      * @param path       optional schema node identifier of the parent node
 235      * @throws IOException        failed to write filter into {@link NormalizedNodeStreamWriter}
 236      * @throws XMLStreamException failed to serialize filter into XML document
 237      */
 238     public static void writeFilter(final YangInstanceIdentifier query, final DOMResult result,
 239             final EffectiveModelContext context, final @Nullable Absolute path) throws IOException, XMLStreamException {
 240         if (query.isEmpty()) {
 241             // No query at all
 242             return;
 243         }
 244
 245         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 246         try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 247              var writer = new EmptyListXmlWriter(streamWriter, xmlWriter)) {
 248             final Iterator<PathArgument> it = query.getPathArguments().iterator();
 249             final PathArgument first = it.next();
 250             StreamingContext.fromSchemaAndQNameChecked(context, first.getNodeType()).streamToWriter(writer, first, it);
 251         } finally {
 252             xmlWriter.close();
 253         }
 254     }
 255
 256     /**
 257      * Writing subtree filter specified by parent {@link YangInstanceIdentifier} and specific fields
 258      * into {@link DOMResult}. Field paths are relative to parent query path.
 259      *
 260      * @param query      path to the root node
 261      * @param result     DOM result holder
 262      * @param context    mountpoint schema context
 263      * @param path       optional schema node identifier of the parent node
 264      * @param fields     list of specific fields for which the filter should be created
 265      * @throws IOException        failed to write filter into {@link NormalizedNodeStreamWriter}
 266      * @throws XMLStreamException failed to serialize filter into XML document
 267      * @throws NullPointerException if any argument is null
 268      */
 269     public static void writeFilter(final YangInstanceIdentifier query, final DOMResult result,
 270                                    final EffectiveModelContext context, final @Nullable Absolute path,
 271                                    final List<YangInstanceIdentifier> fields) throws IOException, XMLStreamException {
 272         if (query.isEmpty() || fields.isEmpty()) {
 273             // No query at all
 274             return;
 275         }
 276
 277         final List<YangInstanceIdentifier> aggregatedFields = aggregateFields(fields);
 278         final PathNode rootNode = constructPathArgumentTree(query, aggregatedFields);
 279
 280         final XMLStreamWriter xmlWriter = XML_FACTORY.createXMLStreamWriter(result);
 281         try {
 282             try (var streamWriter = XMLStreamNormalizedNodeStreamWriter.create(xmlWriter, context, path);
 283                  var writer = new EmptyListXmlWriter(streamWriter, xmlWriter)) {
 284                 final PathArgument first = rootNode.element();
 285                 StreamingContext.fromSchemaAndQNameChecked(context, first.getNodeType())
 286                         .streamToWriter(writer, first, rootNode);
 287             }
 288         } finally {
 289             xmlWriter.close();
 290         }
 291     }
 292
 293     /**
 294      * Writing subtree filter specified by parent {@link YangInstanceIdentifier} and specific fields
 295      * into {@link Element}. Field paths are relative to parent query path. Filter is created without following
 296      * {@link EffectiveModelContext}.
 297      *
 298      * @param query         path to the root node
 299      * @param fields        list of specific fields for which the filter should be created
 300      * @param filterElement XML filter element to which the created filter will be written
 301      */
 302     public static void writeSchemalessFilter(final YangInstanceIdentifier query,
 303                                              final List<YangInstanceIdentifier> fields, final Element filterElement) {
 304         pathArgumentTreeToXmlStructure(constructPathArgumentTree(query, aggregateFields(fields)), filterElement);
 305     }
 306
 307     private static void pathArgumentTreeToXmlStructure(final PathNode pathArgumentTree, final Element data) {
 308         final PathArgument pathArg = pathArgumentTree.element();
 309
 310         final QName nodeType = pathArg.getNodeType();
 311         final String elementNamespace = nodeType.getNamespace().toString();
 312
 313         if (data.getElementsByTagNameNS(elementNamespace, nodeType.getLocalName()).getLength() != 0) {
 314             // element has already been written as list key
 315             return;
 316         }
 317
 318         final Element childElement = data.getOwnerDocument().createElementNS(elementNamespace, nodeType.getLocalName());
 319         data.appendChild(childElement);
 320         if (pathArg instanceof NodeIdentifierWithPredicates nip) {
 321             appendListKeyNodes(childElement, nip);
 322         }
 323         for (final PathNode childrenNode : pathArgumentTree.children()) {
 324             pathArgumentTreeToXmlStructure(childrenNode, childElement);
 325         }
 326     }
 327
 328     /**
 329      * Appending list key elements to parent element.
 330      *
 331      * @param parentElement parent XML element to which children elements are appended
 332      * @param listEntryId   list entry identifier
 333      */
 334     public static void appendListKeyNodes(final Element parentElement, final NodeIdentifierWithPredicates listEntryId) {
 335         for (Entry<QName, Object> key : listEntryId.entrySet()) {
 336             final Element keyElement = parentElement.getOwnerDocument().createElementNS(
 337                     key.getKey().getNamespace().toString(), key.getKey().getLocalName());
 338             keyElement.setTextContent(key.getValue().toString());
 339             parentElement.appendChild(keyElement);
 340         }
 341     }
 342
 343     /**
 344      * Aggregation of the fields paths based on parenthesis. Only parent/enclosing {@link YangInstanceIdentifier}
 345      * are kept. For example, paths '/x/y/z', '/x/y', and '/x' are aggregated into single field path: '/x'
 346      *
 347      * @param fields paths of fields
 348      * @return filtered {@link List} of paths
 349      */
 350     private static List<YangInstanceIdentifier> aggregateFields(final List<YangInstanceIdentifier> fields) {
 351         return fields.stream()
 352                 .filter(field -> fields.stream()
 353                         .filter(fieldYiid -> !field.equals(fieldYiid))
 354                         .noneMatch(fieldYiid -> fieldYiid.contains(field)))
 355                 .collect(Collectors.toList());
 356     }
 357
 358     /**
 359      * Construct a tree based on the parent {@link YangInstanceIdentifier} and provided list of fields. The goal of this
 360      * procedure is the elimination of the redundancy that is introduced by potentially overlapping parts of the fields
 361      * paths.
 362      *
 363      * @param query  path to parent element
 364      * @param fields subpaths relative to parent path that identify specific fields
 365      * @return created {@link PathNode} structure
 366      */
 367     private static PathNode constructPathArgumentTree(final YangInstanceIdentifier query,
 368             final List<YangInstanceIdentifier> fields) {
 369         final Iterator<PathArgument> queryIterator = query.getPathArguments().iterator();
 370         final PathNode rootTreeNode = new PathNode(queryIterator.next());
 371
 372         PathNode queryTreeNode = rootTreeNode;
 373         while (queryIterator.hasNext()) {
 374             queryTreeNode = queryTreeNode.ensureChild(queryIterator.next());
 375         }
 376
 377         for (final YangInstanceIdentifier field : fields) {
 378             PathNode actualFieldTreeNode = queryTreeNode;
 379             for (final PathArgument fieldPathArg : field.getPathArguments()) {
 380                 actualFieldTreeNode = actualFieldTreeNode.ensureChild(fieldPathArg);
 381             }
 382         }
 383         return rootTreeNode;
 384     }
 385
 386     public static NormalizedNodeResult transformDOMSourceToNormalizedNode(final MountPointContext mount,
 387             final DOMSource value) throws XMLStreamException, URISyntaxException, IOException, SAXException {
 388         final NormalizedNodeResult resultHolder = new NormalizedNodeResult();
 389         final NormalizedNodeStreamWriter writer = ImmutableNormalizedNodeStreamWriter.from(resultHolder);
 390         try (XmlParserStream xmlParserStream = XmlParserStream.create(writer, new ProxyMountPointContext(mount))) {
 391             xmlParserStream.traverse(value);
 392         }
 393         return resultHolder;
 394     }
 395
 396     // FIXME: document this interface contract. Does it support RFC8528/RFC8542? How?
 397     public static NormalizedNodeResult transformDOMSourceToNormalizedNode(final EffectiveModelContext schemaContext,
 398             final DOMSource value) throws XMLStreamException, URISyntaxException, IOException, SAXException {
 399         return transformDOMSourceToNormalizedNode(new EmptyMountPointContext(schemaContext), value);
 400     }
 401 }