yang/yang-data-impl/src/main/java/org/opendaylight/yangtools/yang/data/impl/codec/xml/XmlDocumentUtils.java

   1 /*
   2  * Copyright (c) 2013 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.yangtools.yang.data.impl.codec.xml;
   9
  10 import static com.google.common.base.Preconditions.checkState;
  11
  12 import com.google.common.base.Function;
  13 import com.google.common.base.Objects;
  14 import com.google.common.base.Optional;
  15 import com.google.common.base.Preconditions;
  16 import com.google.common.base.Strings;
  17 import com.google.common.collect.ImmutableList;
  18
  19 import java.net.URI;
  20 import java.util.*;
  21 import java.util.Map.Entry;
  22
  23 import javax.activation.UnsupportedDataTypeException;
  24 import javax.xml.parsers.DocumentBuilder;
  25 import javax.xml.parsers.DocumentBuilderFactory;
  26 import javax.xml.parsers.ParserConfigurationException;
  27 import javax.xml.stream.XMLOutputFactory;
  28 import javax.xml.stream.XMLStreamException;
  29 import javax.xml.stream.XMLStreamWriter;
  30 import javax.xml.transform.dom.DOMResult;
  31
  32 import org.opendaylight.yangtools.yang.common.QName;
  33 import org.opendaylight.yangtools.yang.data.api.AttributesContainer;
  34 import org.opendaylight.yangtools.yang.data.api.CompositeNode;
  35 import org.opendaylight.yangtools.yang.data.api.ModifyAction;
  36 import org.opendaylight.yangtools.yang.data.api.Node;
  37 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
  38 import org.opendaylight.yangtools.yang.data.impl.ImmutableCompositeNode;
  39 import org.opendaylight.yangtools.yang.data.impl.SimpleNodeTOImpl;
  40 import org.opendaylight.yangtools.yang.data.impl.codec.TypeDefinitionAwareCodec;
  41 import org.opendaylight.yangtools.yang.model.api.*;
  42 import org.opendaylight.yangtools.yang.model.api.type.IdentityrefTypeDefinition;
  43 import org.slf4j.Logger;
  44 import org.slf4j.LoggerFactory;
  45 import org.w3c.dom.Attr;
  46 import org.w3c.dom.Document;
  47 import org.w3c.dom.Element;
  48 import org.w3c.dom.NodeList;
  49
  50 public class XmlDocumentUtils {
  51     private final static String RPC_REPLY_LOCAL_NAME = "rpc-reply";
  52     private final static String RPC_REPLY_NAMESPACE = "urn:ietf:params:xml:ns:netconf:base:1.0";
  53     private final static QName RPC_REPLY_QNAME = QName.create(URI.create(RPC_REPLY_NAMESPACE), null, RPC_REPLY_LOCAL_NAME);
  54
  55     private static class ElementWithSchemaContext {
  56         Element element;
  57         SchemaContext schemaContext;
  58
  59         ElementWithSchemaContext(final Element element,final SchemaContext schemaContext) {
  60             this.schemaContext = schemaContext;
  61             this.element = element;
  62         }
  63
  64         Element getElement() {
  65             return element;
  66         }
  67
  68         SchemaContext getSchemaContext() {
  69             return schemaContext;
  70         }
  71     }
  72
  73     public static final QName OPERATION_ATTRIBUTE_QNAME = QName.create(URI.create("urn:ietf:params:xml:ns:netconf:base:1.0"), null, "operation");
  74     private static final Logger logger = LoggerFactory.getLogger(XmlDocumentUtils.class);
  75     private static final XMLOutputFactory FACTORY = XMLOutputFactory.newFactory();
  76
  77     /**
  78      * Converts Data DOM structure to XML Document for specified XML Codec Provider and corresponding
  79      * Data Node Container schema. The CompositeNode data parameter enters as root of Data DOM tree and will
  80      * be transformed to root in XML Document. Each element of Data DOM tree is compared against specified Data
  81      * Node Container Schema and transformed accordingly.
  82      *
  83      * @param data Data DOM root element
  84      * @param schema Data Node Container Schema
  85      * @param codecProvider XML Codec Provider
  86      * @return new instance of XML Document
  87      * @throws UnsupportedDataTypeException
  88      */
  89     public static Document toDocument(final CompositeNode data, final DataNodeContainer schema, final XmlCodecProvider codecProvider)
  90             throws UnsupportedDataTypeException {
  91         Preconditions.checkNotNull(data);
  92         Preconditions.checkNotNull(schema);
  93
  94         if (!(schema instanceof ContainerSchemaNode || schema instanceof ListSchemaNode)) {
  95             throw new UnsupportedDataTypeException("Schema can be ContainerSchemaNode or ListSchemaNode. Other types are not supported yet.");
  96         }
  97
  98         final DOMResult result = new DOMResult(getDocument());
  99         try {
 100             final XMLStreamWriter writer = FACTORY.createXMLStreamWriter(result);
 101             XmlStreamUtils.create(codecProvider).writeDocument(writer, data, (SchemaNode)schema);
 102             writer.close();
 103             return (Document)result.getNode();
 104         } catch (XMLStreamException e) {
 105             logger.error("Failed to serialize data {}", data, e);
 106             return null;
 107         }
 108     }
 109
 110     public static Document getDocument() {
 111         DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
 112         Document doc = null;
 113         try {
 114             DocumentBuilder bob = dbf.newDocumentBuilder();
 115             doc = bob.newDocument();
 116         } catch (ParserConfigurationException e) {
 117             throw new RuntimeException(e);
 118         }
 119         return doc;
 120     }
 121
 122     /**
 123      * Converts Data DOM structure to XML Document for specified XML Codec Provider. The CompositeNode
 124      * data parameter enters as root of Data DOM tree and will be transformed to root in XML Document. The child
 125      * nodes of Data Tree are transformed accordingly.
 126      *
 127      * @param data Data DOM root element
 128      * @param codecProvider XML Codec Provider
 129      * @return new instance of XML Document
 130      * @throws UnsupportedDataTypeException
 131      */
 132     public static Document toDocument(final CompositeNode data, final XmlCodecProvider codecProvider) {
 133         final DOMResult result = new DOMResult(getDocument());
 134         try {
 135             final XMLStreamWriter writer = FACTORY.createXMLStreamWriter(result);
 136             XmlStreamUtils.create(codecProvider).writeDocument(writer, data);
 137             writer.close();
 138             return (Document)result.getNode();
 139         } catch (XMLStreamException e) {
 140             logger.error("Failed to serialize data {}", data, e);
 141             return null;
 142         }
 143     }
 144
 145     private static final Element createElementFor(final Document doc, final QName qname, final Object obj) {
 146         final Element ret;
 147         if (qname.getNamespace() != null) {
 148             ret = doc.createElementNS(qname.getNamespace().toString(), qname.getLocalName());
 149         } else {
 150             ret = doc.createElementNS(null, qname.getLocalName());
 151         }
 152
 153         if (obj instanceof AttributesContainer) {
 154             final Map<QName, String> attrs = ((AttributesContainer)obj).getAttributes();
 155
 156             if (attrs != null) {
 157                 for (Entry<QName, String> attribute : attrs.entrySet()) {
 158                     ret.setAttributeNS(attribute.getKey().getNamespace().toString(), attribute.getKey().getLocalName(),
 159                             attribute.getValue());
 160                 }
 161             }
 162         }
 163
 164         return ret;
 165     }
 166
 167     public static Element createElementFor(final Document doc, final Node<?> data) {
 168         return createElementFor(doc, data.getNodeType(), data);
 169     }
 170
 171     public static Element createElementFor(final Document doc, final NormalizedNode<?, ?> data) {
 172         return createElementFor(doc, data.getNodeType(), data);
 173     }
 174
 175     public static Node<?> toDomNode(final Element xmlElement, final Optional<DataSchemaNode> schema,
 176             final Optional<XmlCodecProvider> codecProvider) {
 177         return toDomNode(xmlElement, schema, codecProvider, Optional.<SchemaContext>absent());
 178     }
 179
 180     public static Node<?> toDomNode(final Element xmlElement, final Optional<DataSchemaNode> schema,
 181             final Optional<XmlCodecProvider> codecProvider, final Optional<SchemaContext> schemaContext) {
 182         if (schema.isPresent()) {
 183             if(schemaContext.isPresent()) {
 184                 return toNodeWithSchema(xmlElement, schema.get(), codecProvider.or(XmlUtils.DEFAULT_XML_CODEC_PROVIDER), schemaContext.get());
 185             } else {
 186                 return toNodeWithSchema(xmlElement, schema.get(), codecProvider.or(XmlUtils.DEFAULT_XML_CODEC_PROVIDER));
 187             }
 188         }
 189         return toDomNode(xmlElement);
 190     }
 191
 192     public static QName qNameFromElement(final Element xmlElement) {
 193         String namespace = xmlElement.getNamespaceURI();
 194         String localName = xmlElement.getLocalName();
 195         return QName.create(namespace != null ? URI.create(namespace) : null, null, localName);
 196     }
 197
 198     private static Node<?> toNodeWithSchema(final Element xmlElement, final DataSchemaNode schema, final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
 199         checkQName(xmlElement, schema.getQName());
 200         if (schema instanceof DataNodeContainer) {
 201             return toCompositeNodeWithSchema(xmlElement, schema.getQName(), (DataNodeContainer) schema, codecProvider,schemaCtx);
 202         } else if (schema instanceof LeafSchemaNode) {
 203             return toSimpleNodeWithType(xmlElement, (LeafSchemaNode) schema, codecProvider,schemaCtx);
 204         } else if (schema instanceof LeafListSchemaNode) {
 205             return toSimpleNodeWithType(xmlElement, (LeafListSchemaNode) schema, codecProvider,schemaCtx);
 206         }
 207         return null;
 208     }
 209
 210     private static Node<?> toNodeWithSchema(final Element xmlElement, final DataSchemaNode schema, final XmlCodecProvider codecProvider) {
 211         return toNodeWithSchema(xmlElement, schema, codecProvider, null);
 212     }
 213
 214     protected static Node<?> toSimpleNodeWithType(final Element xmlElement, final LeafSchemaNode schema,
 215             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
 216         TypeDefinitionAwareCodec<? extends Object, ? extends TypeDefinition<?>> codec = codecProvider.codecFor(schema.getType());
 217         String text = xmlElement.getTextContent();
 218         Object value = null;
 219         if (codec != null) {
 220             value = codec.deserialize(text);
 221         }
 222         final TypeDefinition<?> baseType = XmlUtils.resolveBaseTypeFrom(schema.getType());
 223
 224         if (baseType instanceof org.opendaylight.yangtools.yang.model.util.InstanceIdentifierType) {
 225             value = InstanceIdentifierForXmlCodec.deserialize(xmlElement,schemaCtx);
 226         } else if(baseType instanceof IdentityrefTypeDefinition){
 227             value = InstanceIdentifierForXmlCodec.toIdentity(xmlElement.getTextContent(), xmlElement, schemaCtx);
 228         }
 229
 230         if (value == null) {
 231             value = xmlElement.getTextContent();
 232         }
 233
 234         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
 235         return new SimpleNodeTOImpl<>(schema.getQName(), null, value, modifyAction.orNull());
 236     }
 237
 238     private static Node<?> toSimpleNodeWithType(final Element xmlElement, final LeafListSchemaNode schema,
 239             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
 240         TypeDefinitionAwareCodec<? extends Object, ? extends TypeDefinition<?>> codec = codecProvider.codecFor(schema.getType());
 241         String text = xmlElement.getTextContent();
 242         Object value = null;
 243         if (codec != null) {
 244             value = codec.deserialize(text);
 245         }
 246         if (schema.getType() instanceof org.opendaylight.yangtools.yang.model.util.InstanceIdentifierType) {
 247             value = InstanceIdentifierForXmlCodec.deserialize(xmlElement,schemaCtx);
 248         }
 249         if (value == null) {
 250             value = xmlElement.getTextContent();
 251         }
 252
 253         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
 254         return new SimpleNodeTOImpl<>(schema.getQName(), null, value, modifyAction.orNull());
 255     }
 256
 257     private static Node<?> toCompositeNodeWithSchema(final Element xmlElement, final QName qName, final DataNodeContainer schema,
 258             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
 259         List<Node<?>> values = toDomNodes(xmlElement, Optional.fromNullable(schema.getChildNodes()),schemaCtx);
 260         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
 261         return ImmutableCompositeNode.create(qName, values, modifyAction.orNull());
 262     }
 263
 264     public static Optional<ModifyAction> getModifyOperationFromAttributes(final Element xmlElement) {
 265         Attr attributeNodeNS = xmlElement.getAttributeNodeNS(OPERATION_ATTRIBUTE_QNAME.getNamespace().toString(), OPERATION_ATTRIBUTE_QNAME.getLocalName());
 266         if(attributeNodeNS == null) {
 267             return Optional.absent();
 268         }
 269
 270         ModifyAction action = ModifyAction.fromXmlValue(attributeNodeNS.getValue());
 271         Preconditions.checkArgument(action.isOnElementPermitted(), "Unexpected operation %s on %s", action, xmlElement);
 272
 273         return Optional.of(action);
 274     }
 275
 276     private static void checkQName(final Element xmlElement, final QName qName) {
 277         checkState(Objects.equal(xmlElement.getNamespaceURI(), qName.getNamespace().toString()),  "Not equal: %s to: %s for: %s and: %s", qName.getNamespace(), xmlElement.getNamespaceURI(), qName, xmlElement);
 278         checkState(qName.getLocalName().equals(xmlElement.getLocalName()), "Not equal: %s to: %s for: %s and: %s", qName.getLocalName(), xmlElement.getLocalName(), qName, xmlElement);
 279     }
 280
 281     public static final Optional<DataSchemaNode> findFirstSchema(final QName qname, final Iterable<DataSchemaNode> dataSchemaNode) {
 282         if (dataSchemaNode != null && qname != null) {
 283             for (DataSchemaNode dsn : dataSchemaNode) {
 284                 if (qname.isEqualWithoutRevision(dsn.getQName())) {
 285                     return Optional.<DataSchemaNode> of(dsn);
 286                 } else if (dsn instanceof ChoiceNode) {
 287                     for (ChoiceCaseNode choiceCase : ((ChoiceNode) dsn).getCases()) {
 288                         Optional<DataSchemaNode> foundDsn = findFirstSchema(qname, choiceCase.getChildNodes());
 289                         if (foundDsn != null && foundDsn.isPresent()) {
 290                             return foundDsn;
 291                         }
 292                     }
 293                 }
 294             }
 295         }
 296         return Optional.absent();
 297     }
 298
 299     public static Node<?> toDomNode(final Document doc) {
 300         return toDomNode(doc.getDocumentElement());
 301     }
 302
 303     private static Node<?> toDomNode(final Element element) {
 304         QName qname = qNameFromElement(element);
 305
 306         ImmutableList.Builder<Node<?>> values = ImmutableList.<Node<?>> builder();
 307         NodeList nodes = element.getChildNodes();
 308         boolean isSimpleObject = true;
 309         String value = null;
 310         for (int i = 0; i < nodes.getLength(); i++) {
 311             org.w3c.dom.Node child = nodes.item(i);
 312             if (child instanceof Element) {
 313                 isSimpleObject = false;
 314                 values.add(toDomNode((Element) child));
 315             }
 316             if (isSimpleObject && child instanceof org.w3c.dom.Text) {
 317                 value = element.getTextContent();
 318                 if (!Strings.isNullOrEmpty(value)) {
 319                     isSimpleObject = true;
 320                 }
 321             }
 322         }
 323         if (isSimpleObject) {
 324             return new SimpleNodeTOImpl<>(qname, null, value);
 325         }
 326         return ImmutableCompositeNode.create(qname, values.build());
 327     }
 328
 329     public static List<Node<?>> toDomNodes(final Element element, final Optional<? extends Iterable<DataSchemaNode>> context, final SchemaContext schemaCtx) {
 330         return forEachChild(element.getChildNodes(),schemaCtx, new Function<ElementWithSchemaContext, Optional<Node<?>>>() {
 331
 332             @Override
 333             public Optional<Node<?>> apply(final ElementWithSchemaContext input) {
 334                 if (context.isPresent()) {
 335                     QName partialQName = qNameFromElement(input.getElement());
 336                     Optional<DataSchemaNode> schemaNode = findFirstSchema(partialQName, context.get());
 337                     if (schemaNode.isPresent()) {
 338                         return Optional.<Node<?>> fromNullable(
 339                                 toNodeWithSchema(input.getElement(), schemaNode.get(), XmlUtils.DEFAULT_XML_CODEC_PROVIDER, input.getSchemaContext()));
 340                     }
 341                 }
 342                 return Optional.<Node<?>> fromNullable(toDomNode(input.getElement()));
 343             }
 344
 345         });
 346
 347     }
 348
 349     public static List<Node<?>> toDomNodes(final Element element, final Optional<? extends Iterable<DataSchemaNode>> context) {
 350         return toDomNodes(element, context, null);
 351     }
 352
 353     /**
 354      * Converts XML Document containing notification data from Netconf device to
 355      * Data DOM Nodes. <br>
 356      * By specification defined in <a
 357      * href="http://tools.ietf.org/search/rfc6020#section-7.14">RFC 6020</a>
 358      * there are xml elements containing notifications metadata, like eventTime
 359      * or root notification element which specifies namespace for which is
 360      * notification defined in yang model. Those elements MUST be stripped off
 361      * notifications body. This method returns pure notification body which
 362      * begins in element which is equal to notifications name defined in
 363      * corresponding yang model. Rest of notification metadata are obfuscated,
 364      * thus Data DOM contains only pure notification body.
 365      *
 366      * @param document
 367      *            XML Document containing notification body
 368      * @param notifications
 369      *            Notifications Definition Schema
 370      * @return Data DOM Nodes containing xml notification body definition or
 371      *         <code>null</code> if there is no NotificationDefinition with
 372      *         Element with equal notification QName defined in XML Document.
 373      */
 374     public static CompositeNode notificationToDomNodes(final Document document,
 375             final Optional<Set<NotificationDefinition>> notifications, final SchemaContext schemaCtx) {
 376         if (notifications.isPresent() && (document != null) && (document.getDocumentElement() != null)) {
 377             final NodeList originChildNodes = document.getDocumentElement().getChildNodes();
 378             for (int i = 0; i < originChildNodes.getLength(); i++) {
 379                 org.w3c.dom.Node child = originChildNodes.item(i);
 380                 if (child instanceof Element) {
 381                     final Element childElement = (Element) child;
 382                     final QName partialQName = qNameFromElement(childElement);
 383                     final Optional<NotificationDefinition> notificationDef = findNotification(partialQName,
 384                             notifications.get());
 385                     if (notificationDef.isPresent()) {
 386                         final Iterable<DataSchemaNode> dataNodes = notificationDef.get().getChildNodes();
 387                         final List<Node<?>> domNodes = toDomNodes(childElement,
 388                                 Optional.<Iterable<DataSchemaNode>> fromNullable(dataNodes),schemaCtx);
 389                         return ImmutableCompositeNode.create(notificationDef.get().getQName(), domNodes);
 390                     }
 391                 }
 392             }
 393         }
 394         return null;
 395     }
 396
 397     /**
 398      * Transforms XML Document representing Rpc output body into Composite Node structure based on Rpc definition
 399      * within given Schema Context. The transformation is based on Rpc Definition which is defined in provided Schema Context.
 400      * If Rpc Definition is missing from given Schema Context the method will return <code>null</code>
 401      *
 402      * @param document XML Document containing Output RPC message
 403      * @param rpcName Rpc QName
 404      * @param context Schema Context
 405      * @return Rpc message in Composite Node data structures if Rpc definition is present within provided Schema Context, otherwise
 406      * returns <code>null</code>
 407      */
 408     public static CompositeNode rpcReplyToDomNodes(final Document document, final QName rpcName,
 409         final SchemaContext context) {
 410         Preconditions.checkNotNull(document);
 411         Preconditions.checkNotNull(rpcName);
 412         Preconditions.checkNotNull(context);
 413
 414         Optional<RpcDefinition> rpcDefinition = findRpc(rpcName, context);
 415         if (rpcDefinition.isPresent()) {
 416              RpcDefinition rpc = rpcDefinition.get();
 417
 418             final Collection<DataSchemaNode> outputNode = rpc.getOutput().getChildNodes();
 419             final Element rpcReplyElement = document.getDocumentElement();
 420             final QName partialQName = qNameFromElement(rpcReplyElement);
 421
 422             if (RPC_REPLY_QNAME.equals(partialQName)) {
 423                 final List<Node<?>> domNodes = toDomNodes(rpcReplyElement, Optional.fromNullable(outputNode), context);
 424                 List<Node<?>> rpcOutNodes = Collections.<Node<?>>singletonList(ImmutableCompositeNode.create(
 425                     rpc.getOutput().getQName(), domNodes));
 426                 return ImmutableCompositeNode.create(rpcName, rpcOutNodes);
 427             }
 428         }
 429         return null;
 430     }
 431
 432     /**
 433      * Method searches given schema context for Rpc Definition with given QName.
 434      * Returns Rpc Definition if is present within given Schema Context, otherwise returns Optional.absent().
 435      *
 436      * @param rpc Rpc QName
 437      * @param context Schema Context
 438      * @return Rpc Definition if is present within given Schema Context, otherwise returns Optional.absent().
 439      */
 440     private static Optional<RpcDefinition> findRpc(QName rpc, SchemaContext context) {
 441         Preconditions.checkNotNull(rpc);
 442         Preconditions.checkNotNull(context);
 443         for (final RpcDefinition rpcDefinition : context.getOperations()) {
 444             if ((rpcDefinition != null) && rpc.equals(rpcDefinition.getQName())) {
 445                 return Optional.of(rpcDefinition);
 446             }
 447         }
 448         return Optional.absent();
 449     }
 450
 451     public static CompositeNode notificationToDomNodes(final Document document,
 452             final Optional<Set<NotificationDefinition>> notifications) {
 453         return notificationToDomNodes(document, notifications,null);
 454     }
 455
 456     private static Optional<NotificationDefinition> findNotification(final QName notifName,
 457             final Set<NotificationDefinition> notifications) {
 458         if ((notifName != null) && (notifications != null)) {
 459             for (final NotificationDefinition notification : notifications) {
 460                 if ((notification != null) && notifName.isEqualWithoutRevision(notification.getQName())) {
 461                     return Optional.<NotificationDefinition>fromNullable(notification);
 462                 }
 463             }
 464         }
 465         return Optional.<NotificationDefinition>absent();
 466     }
 467
 468     private static final <T> List<T> forEachChild(final NodeList nodes, final SchemaContext schemaContext, final Function<ElementWithSchemaContext, Optional<T>> forBody) {
 469         final int l = nodes.getLength();
 470         if (l == 0) {
 471             return ImmutableList.of();
 472         }
 473
 474         final List<T> list = new ArrayList<>(l);
 475         for (int i = 0; i < l; i++) {
 476             org.w3c.dom.Node child = nodes.item(i);
 477             if (child instanceof Element) {
 478                 Optional<T> result = forBody.apply(new ElementWithSchemaContext((Element) child,schemaContext));
 479                 if (result.isPresent()) {
 480                     list.add(result.get());
 481                 }
 482             }
 483         }
 484         return ImmutableList.copyOf(list);
 485     }
 486
 487     public static final XmlCodecProvider defaultValueCodecProvider() {
 488         return XmlUtils.DEFAULT_XML_CODEC_PROVIDER;
 489     }
 490 }