Do not require namespace repairing
[yangtools.git] / yang / yang-data-impl / src / main / java / org / opendaylight / yangtools / yang / data / impl / codec / xml / XmlDocumentUtils.java
1 /*
2  * Copyright (c) 2013 Cisco Systems, Inc. and others.  All rights reserved.
3  *
4  * This program and the accompanying materials are made available under the
5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
6  * and is available at http://www.eclipse.org/legal/epl-v10.html
7  */
8 package org.opendaylight.yangtools.yang.data.impl.codec.xml;
9
10 import static com.google.common.base.Preconditions.checkState;
11
12 import com.google.common.base.Function;
13 import com.google.common.base.Objects;
14 import com.google.common.base.Optional;
15 import com.google.common.base.Preconditions;
16 import com.google.common.base.Strings;
17 import com.google.common.collect.ImmutableList;
18
19 import java.net.URI;
20 import java.util.ArrayList;
21 import java.util.Collection;
22 import java.util.Collections;
23 import java.util.List;
24 import java.util.Map;
25 import java.util.Map.Entry;
26 import java.util.Set;
27
28 import javax.activation.UnsupportedDataTypeException;
29 import javax.xml.parsers.DocumentBuilder;
30 import javax.xml.parsers.DocumentBuilderFactory;
31 import javax.xml.parsers.ParserConfigurationException;
32 import javax.xml.stream.XMLOutputFactory;
33 import javax.xml.stream.XMLStreamException;
34 import javax.xml.stream.XMLStreamWriter;
35 import javax.xml.transform.dom.DOMResult;
36
37 import org.opendaylight.yangtools.yang.common.QName;
38 import org.opendaylight.yangtools.yang.data.api.AttributesContainer;
39 import org.opendaylight.yangtools.yang.data.api.CompositeNode;
40 import org.opendaylight.yangtools.yang.data.api.ModifyAction;
41 import org.opendaylight.yangtools.yang.data.api.Node;
42 import org.opendaylight.yangtools.yang.data.api.schema.NormalizedNode;
43 import org.opendaylight.yangtools.yang.data.impl.ImmutableCompositeNode;
44 import org.opendaylight.yangtools.yang.data.impl.SimpleNodeTOImpl;
45 import org.opendaylight.yangtools.yang.data.impl.codec.TypeDefinitionAwareCodec;
46 import org.opendaylight.yangtools.yang.model.api.ChoiceCaseNode;
47 import org.opendaylight.yangtools.yang.model.api.ChoiceNode;
48 import org.opendaylight.yangtools.yang.model.api.ContainerSchemaNode;
49 import org.opendaylight.yangtools.yang.model.api.DataNodeContainer;
50 import org.opendaylight.yangtools.yang.model.api.DataSchemaNode;
51 import org.opendaylight.yangtools.yang.model.api.LeafListSchemaNode;
52 import org.opendaylight.yangtools.yang.model.api.LeafSchemaNode;
53 import org.opendaylight.yangtools.yang.model.api.ListSchemaNode;
54 import org.opendaylight.yangtools.yang.model.api.NotificationDefinition;
55 import org.opendaylight.yangtools.yang.model.api.RpcDefinition;
56 import org.opendaylight.yangtools.yang.model.api.SchemaContext;
57 import org.opendaylight.yangtools.yang.model.api.SchemaNode;
58 import org.opendaylight.yangtools.yang.model.api.TypeDefinition;
59 import org.opendaylight.yangtools.yang.model.api.type.IdentityrefTypeDefinition;
60 import org.slf4j.Logger;
61 import org.slf4j.LoggerFactory;
62 import org.w3c.dom.Attr;
63 import org.w3c.dom.Document;
64 import org.w3c.dom.Element;
65 import org.w3c.dom.NodeList;
66
67 public class XmlDocumentUtils {
68     private final static String RPC_REPLY_LOCAL_NAME = "rpc-reply";
69     private final static String RPC_REPLY_NAMESPACE = "urn:ietf:params:xml:ns:netconf:base:1.0";
70     private final static QName RPC_REPLY_QNAME = QName.create(URI.create(RPC_REPLY_NAMESPACE), null, RPC_REPLY_LOCAL_NAME);
71
72     private static class ElementWithSchemaContext {
73         Element element;
74         SchemaContext schemaContext;
75
76         ElementWithSchemaContext(final Element element,final SchemaContext schemaContext) {
77             this.schemaContext = schemaContext;
78             this.element = element;
79         }
80
81         Element getElement() {
82             return element;
83         }
84
85         SchemaContext getSchemaContext() {
86             return schemaContext;
87         }
88     }
89
90     public static final QName OPERATION_ATTRIBUTE_QNAME = QName.create(URI.create("urn:ietf:params:xml:ns:netconf:base:1.0"), null, "operation");
91     private static final Logger logger = LoggerFactory.getLogger(XmlDocumentUtils.class);
92     private static final XMLOutputFactory FACTORY = XMLOutputFactory.newFactory();
93
94     /**
95      * Converts Data DOM structure to XML Document for specified XML Codec Provider and corresponding
96      * Data Node Container schema. The CompositeNode data parameter enters as root of Data DOM tree and will
97      * be transformed to root in XML Document. Each element of Data DOM tree is compared against specified Data
98      * Node Container Schema and transformed accordingly.
99      *
100      * @param data Data DOM root element
101      * @param schema Data Node Container Schema
102      * @param codecProvider XML Codec Provider
103      * @return new instance of XML Document
104      * @throws UnsupportedDataTypeException
105      */
106     public static Document toDocument(final CompositeNode data, final DataNodeContainer schema, final XmlCodecProvider codecProvider)
107             throws UnsupportedDataTypeException {
108         Preconditions.checkNotNull(data);
109         Preconditions.checkNotNull(schema);
110
111         if (!(schema instanceof ContainerSchemaNode || schema instanceof ListSchemaNode)) {
112             throw new UnsupportedDataTypeException("Schema can be ContainerSchemaNode or ListSchemaNode. Other types are not supported yet.");
113         }
114
115         final DOMResult result = new DOMResult(getDocument());
116         try {
117             final XMLStreamWriter writer = FACTORY.createXMLStreamWriter(result);
118             XmlStreamUtils.create(codecProvider).writeDocument(writer, data, (SchemaNode)schema);
119             writer.close();
120             return (Document)result.getNode();
121         } catch (XMLStreamException e) {
122             logger.error("Failed to serialize data {}", data, e);
123             return null;
124         }
125     }
126
127     public static Document getDocument() {
128         DocumentBuilderFactory dbf = DocumentBuilderFactory.newInstance();
129         Document doc = null;
130         try {
131             DocumentBuilder bob = dbf.newDocumentBuilder();
132             doc = bob.newDocument();
133         } catch (ParserConfigurationException e) {
134             throw new RuntimeException(e);
135         }
136         return doc;
137     }
138
139     /**
140      * Converts Data DOM structure to XML Document for specified XML Codec Provider. The CompositeNode
141      * data parameter enters as root of Data DOM tree and will be transformed to root in XML Document. The child
142      * nodes of Data Tree are transformed accordingly.
143      *
144      * @param data Data DOM root element
145      * @param codecProvider XML Codec Provider
146      * @return new instance of XML Document
147      * @throws UnsupportedDataTypeException
148      */
149     public static Document toDocument(final CompositeNode data, final XmlCodecProvider codecProvider) {
150         final DOMResult result = new DOMResult(getDocument());
151         try {
152             final XMLStreamWriter writer = FACTORY.createXMLStreamWriter(result);
153             XmlStreamUtils.create(codecProvider).writeDocument(writer, data);
154             writer.close();
155             return (Document)result.getNode();
156         } catch (XMLStreamException e) {
157             logger.error("Failed to serialize data {}", data, e);
158             return null;
159         }
160     }
161
162     private static final Element createElementFor(final Document doc, final QName qname, final Object obj) {
163         final Element ret;
164         if (qname.getNamespace() != null) {
165             ret = doc.createElementNS(qname.getNamespace().toString(), qname.getLocalName());
166         } else {
167             ret = doc.createElementNS(null, qname.getLocalName());
168         }
169
170         if (obj instanceof AttributesContainer) {
171             final Map<QName, String> attrs = ((AttributesContainer)obj).getAttributes();
172
173             if (attrs != null) {
174                 for (Entry<QName, String> attribute : attrs.entrySet()) {
175                     ret.setAttributeNS(attribute.getKey().getNamespace().toString(), attribute.getKey().getLocalName(),
176                             attribute.getValue());
177                 }
178             }
179         }
180
181         return ret;
182     }
183
184     public static Element createElementFor(final Document doc, final Node<?> data) {
185         return createElementFor(doc, data.getNodeType(), data);
186     }
187
188     public static Element createElementFor(final Document doc, final NormalizedNode<?, ?> data) {
189         return createElementFor(doc, data.getNodeType(), data);
190     }
191
192     public static Node<?> toDomNode(final Element xmlElement, final Optional<DataSchemaNode> schema,
193             final Optional<XmlCodecProvider> codecProvider) {
194         return toDomNode(xmlElement, schema, codecProvider, Optional.<SchemaContext>absent());
195     }
196
197     public static Node<?> toDomNode(final Element xmlElement, final Optional<DataSchemaNode> schema,
198             final Optional<XmlCodecProvider> codecProvider, final Optional<SchemaContext> schemaContext) {
199         if (schema.isPresent()) {
200             if(schemaContext.isPresent()) {
201                 return toNodeWithSchema(xmlElement, schema.get(), codecProvider.or(XmlUtils.DEFAULT_XML_CODEC_PROVIDER), schemaContext.get());
202             } else {
203                 return toNodeWithSchema(xmlElement, schema.get(), codecProvider.or(XmlUtils.DEFAULT_XML_CODEC_PROVIDER));
204             }
205         }
206         return toDomNode(xmlElement);
207     }
208
209     public static QName qNameFromElement(final Element xmlElement) {
210         String namespace = xmlElement.getNamespaceURI();
211         String localName = xmlElement.getLocalName();
212         return QName.create(namespace != null ? URI.create(namespace) : null, null, localName);
213     }
214
215     private static Node<?> toNodeWithSchema(final Element xmlElement, final DataSchemaNode schema, final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
216         checkQName(xmlElement, schema.getQName());
217         if (schema instanceof DataNodeContainer) {
218             return toCompositeNodeWithSchema(xmlElement, schema.getQName(), (DataNodeContainer) schema, codecProvider,schemaCtx);
219         } else if (schema instanceof LeafSchemaNode) {
220             return toSimpleNodeWithType(xmlElement, (LeafSchemaNode) schema, codecProvider,schemaCtx);
221         } else if (schema instanceof LeafListSchemaNode) {
222             return toSimpleNodeWithType(xmlElement, (LeafListSchemaNode) schema, codecProvider,schemaCtx);
223         }
224         return null;
225     }
226
227     private static Node<?> toNodeWithSchema(final Element xmlElement, final DataSchemaNode schema, final XmlCodecProvider codecProvider) {
228         return toNodeWithSchema(xmlElement, schema, codecProvider, null);
229     }
230
231     protected static Node<?> toSimpleNodeWithType(final Element xmlElement, final LeafSchemaNode schema,
232             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
233         TypeDefinitionAwareCodec<? extends Object, ? extends TypeDefinition<?>> codec = codecProvider.codecFor(schema.getType());
234         String text = xmlElement.getTextContent();
235         Object value = null;
236         if (codec != null) {
237             value = codec.deserialize(text);
238         }
239         final TypeDefinition<?> baseType = XmlUtils.resolveBaseTypeFrom(schema.getType());
240
241         if (baseType instanceof org.opendaylight.yangtools.yang.model.util.InstanceIdentifierType) {
242             value = InstanceIdentifierForXmlCodec.deserialize(xmlElement,schemaCtx);
243         } else if(baseType instanceof IdentityrefTypeDefinition){
244             value = InstanceIdentifierForXmlCodec.toIdentity(xmlElement.getTextContent(), xmlElement, schemaCtx);
245         }
246
247         if (value == null) {
248             value = xmlElement.getTextContent();
249         }
250
251         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
252         return new SimpleNodeTOImpl<>(schema.getQName(), null, value, modifyAction.orNull());
253     }
254
255     private static Node<?> toSimpleNodeWithType(final Element xmlElement, final LeafListSchemaNode schema,
256             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
257         TypeDefinitionAwareCodec<? extends Object, ? extends TypeDefinition<?>> codec = codecProvider.codecFor(schema.getType());
258         String text = xmlElement.getTextContent();
259         Object value = null;
260         if (codec != null) {
261             value = codec.deserialize(text);
262         }
263         if (schema.getType() instanceof org.opendaylight.yangtools.yang.model.util.InstanceIdentifierType) {
264             value = InstanceIdentifierForXmlCodec.deserialize(xmlElement,schemaCtx);
265         }
266         if (value == null) {
267             value = xmlElement.getTextContent();
268         }
269
270         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
271         return new SimpleNodeTOImpl<>(schema.getQName(), null, value, modifyAction.orNull());
272     }
273
274     private static Node<?> toCompositeNodeWithSchema(final Element xmlElement, final QName qName, final DataNodeContainer schema,
275             final XmlCodecProvider codecProvider,final SchemaContext schemaCtx) {
276         List<Node<?>> values = toDomNodes(xmlElement, Optional.fromNullable(schema.getChildNodes()),schemaCtx);
277         Optional<ModifyAction> modifyAction = getModifyOperationFromAttributes(xmlElement);
278         return ImmutableCompositeNode.create(qName, values, modifyAction.orNull());
279     }
280
281     public static Optional<ModifyAction> getModifyOperationFromAttributes(final Element xmlElement) {
282         Attr attributeNodeNS = xmlElement.getAttributeNodeNS(OPERATION_ATTRIBUTE_QNAME.getNamespace().toString(), OPERATION_ATTRIBUTE_QNAME.getLocalName());
283         if(attributeNodeNS == null) {
284             return Optional.absent();
285         }
286
287         ModifyAction action = ModifyAction.fromXmlValue(attributeNodeNS.getValue());
288         Preconditions.checkArgument(action.isOnElementPermitted(), "Unexpected operation %s on %s", action, xmlElement);
289
290         return Optional.of(action);
291     }
292
293     private static void checkQName(final Element xmlElement, final QName qName) {
294         checkState(Objects.equal(xmlElement.getNamespaceURI(), qName.getNamespace().toString()),  "Not equal: %s to: %s for: %s and: %s", qName.getNamespace(), xmlElement.getNamespaceURI(), qName, xmlElement);
295         checkState(qName.getLocalName().equals(xmlElement.getLocalName()), "Not equal: %s to: %s for: %s and: %s", qName.getLocalName(), xmlElement.getLocalName(), qName, xmlElement);
296     }
297
298     public static final Optional<DataSchemaNode> findFirstSchema(final QName qname, final Iterable<DataSchemaNode> dataSchemaNode) {
299         if (dataSchemaNode != null && qname != null) {
300             for (DataSchemaNode dsn : dataSchemaNode) {
301                 if (qname.isEqualWithoutRevision(dsn.getQName())) {
302                     return Optional.<DataSchemaNode> of(dsn);
303                 } else if (dsn instanceof ChoiceNode) {
304                     for (ChoiceCaseNode choiceCase : ((ChoiceNode) dsn).getCases()) {
305                         Optional<DataSchemaNode> foundDsn = findFirstSchema(qname, choiceCase.getChildNodes());
306                         if (foundDsn != null && foundDsn.isPresent()) {
307                             return foundDsn;
308                         }
309                     }
310                 }
311             }
312         }
313         return Optional.absent();
314     }
315
316     public static Node<?> toDomNode(final Document doc) {
317         return toDomNode(doc.getDocumentElement());
318     }
319
320     private static Node<?> toDomNode(final Element element) {
321         QName qname = qNameFromElement(element);
322
323         ImmutableList.Builder<Node<?>> values = ImmutableList.<Node<?>> builder();
324         NodeList nodes = element.getChildNodes();
325         boolean isSimpleObject = true;
326         String value = null;
327         for (int i = 0; i < nodes.getLength(); i++) {
328             org.w3c.dom.Node child = nodes.item(i);
329             if (child instanceof Element) {
330                 isSimpleObject = false;
331                 values.add(toDomNode((Element) child));
332             }
333             if (isSimpleObject && child instanceof org.w3c.dom.Text) {
334                 value = element.getTextContent();
335                 if (!Strings.isNullOrEmpty(value)) {
336                     isSimpleObject = true;
337                 }
338             }
339         }
340         if (isSimpleObject) {
341             return new SimpleNodeTOImpl<>(qname, null, value);
342         }
343         return ImmutableCompositeNode.create(qname, values.build());
344     }
345
346     public static List<Node<?>> toDomNodes(final Element element, final Optional<? extends Iterable<DataSchemaNode>> context, final SchemaContext schemaCtx) {
347         return forEachChild(element.getChildNodes(),schemaCtx, new Function<ElementWithSchemaContext, Optional<Node<?>>>() {
348
349             @Override
350             public Optional<Node<?>> apply(final ElementWithSchemaContext input) {
351                 if (context.isPresent()) {
352                     QName partialQName = qNameFromElement(input.getElement());
353                     Optional<DataSchemaNode> schemaNode = findFirstSchema(partialQName, context.get());
354                     if (schemaNode.isPresent()) {
355                         return Optional.<Node<?>> fromNullable(
356                                 toNodeWithSchema(input.getElement(), schemaNode.get(), XmlUtils.DEFAULT_XML_CODEC_PROVIDER, input.getSchemaContext()));
357                     }
358                 }
359                 return Optional.<Node<?>> fromNullable(toDomNode(input.getElement()));
360             }
361
362         });
363
364     }
365
366     public static List<Node<?>> toDomNodes(final Element element, final Optional<? extends Iterable<DataSchemaNode>> context) {
367         return toDomNodes(element, context, null);
368     }
369
370     /**
371      * Converts XML Document containing notification data from Netconf device to
372      * Data DOM Nodes. <br>
373      * By specification defined in <a
374      * href="http://tools.ietf.org/search/rfc6020#section-7.14">RFC 6020</a>
375      * there are xml elements containing notifications metadata, like eventTime
376      * or root notification element which specifies namespace for which is
377      * notification defined in yang model. Those elements MUST be stripped off
378      * notifications body. This method returns pure notification body which
379      * begins in element which is equal to notifications name defined in
380      * corresponding yang model. Rest of notification metadata are obfuscated,
381      * thus Data DOM contains only pure notification body.
382      *
383      * @param document
384      *            XML Document containing notification body
385      * @param notifications
386      *            Notifications Definition Schema
387      * @return Data DOM Nodes containing xml notification body definition or
388      *         <code>null</code> if there is no NotificationDefinition with
389      *         Element with equal notification QName defined in XML Document.
390      */
391     public static CompositeNode notificationToDomNodes(final Document document,
392             final Optional<Set<NotificationDefinition>> notifications, final SchemaContext schemaCtx) {
393         if (notifications.isPresent() && (document != null) && (document.getDocumentElement() != null)) {
394             final NodeList originChildNodes = document.getDocumentElement().getChildNodes();
395             for (int i = 0; i < originChildNodes.getLength(); i++) {
396                 org.w3c.dom.Node child = originChildNodes.item(i);
397                 if (child instanceof Element) {
398                     final Element childElement = (Element) child;
399                     final QName partialQName = qNameFromElement(childElement);
400                     final Optional<NotificationDefinition> notificationDef = findNotification(partialQName,
401                             notifications.get());
402                     if (notificationDef.isPresent()) {
403                         final Iterable<DataSchemaNode> dataNodes = notificationDef.get().getChildNodes();
404                         final List<Node<?>> domNodes = toDomNodes(childElement,
405                                 Optional.<Iterable<DataSchemaNode>> fromNullable(dataNodes),schemaCtx);
406                         return ImmutableCompositeNode.create(notificationDef.get().getQName(), domNodes);
407                     }
408                 }
409             }
410         }
411         return null;
412     }
413
414     /**
415      * Transforms XML Document representing Rpc output body into Composite Node structure based on Rpc definition
416      * within given Schema Context. The transformation is based on Rpc Definition which is defined in provided Schema Context.
417      * If Rpc Definition is missing from given Schema Context the method will return <code>null</code>
418      *
419      * @param document XML Document containing Output RPC message
420      * @param rpcName Rpc QName
421      * @param context Schema Context
422      * @return Rpc message in Composite Node data structures if Rpc definition is present within provided Schema Context, otherwise
423      * returns <code>null</code>
424      */
425     public static CompositeNode rpcReplyToDomNodes(final Document document, final QName rpcName,
426             final SchemaContext context) {
427         Preconditions.checkNotNull(document);
428         Preconditions.checkNotNull(rpcName);
429         Preconditions.checkNotNull(context);
430
431         Optional<RpcDefinition> rpcDefinition = findRpc(rpcName, context);
432         if (rpcDefinition.isPresent()) {
433             RpcDefinition rpc = rpcDefinition.get();
434
435             final Collection<DataSchemaNode> outputNode = rpc.getOutput() != null ? rpc.getOutput().getChildNodes() : null;
436             final Element rpcReplyElement = document.getDocumentElement();
437             final QName partialQName = qNameFromElement(rpcReplyElement);
438
439             if (RPC_REPLY_QNAME.equals(partialQName)) {
440                 final List<Node<?>> domNodes = toDomNodes(rpcReplyElement, Optional.fromNullable(outputNode), context);
441                 QName qName = rpc.getOutput() != null ? rpc.getOutput().getQName() : QName.cachedReference(QName.create(rpcName, "output"));
442                 List<Node<?>> rpcOutNodes = Collections.<Node<?>>singletonList(ImmutableCompositeNode.create(
443                         qName, domNodes));
444                 return ImmutableCompositeNode.create(rpcName, rpcOutNodes);
445             }
446         }
447         return null;
448     }
449
450     /**
451      * Method searches given schema context for Rpc Definition with given QName.
452      * Returns Rpc Definition if is present within given Schema Context, otherwise returns Optional.absent().
453      *
454      * @param rpc Rpc QName
455      * @param context Schema Context
456      * @return Rpc Definition if is present within given Schema Context, otherwise returns Optional.absent().
457      */
458     private static Optional<RpcDefinition> findRpc(final QName rpc, final SchemaContext context) {
459         Preconditions.checkNotNull(rpc);
460         Preconditions.checkNotNull(context);
461         for (final RpcDefinition rpcDefinition : context.getOperations()) {
462             if ((rpcDefinition != null) && rpc.equals(rpcDefinition.getQName())) {
463                 return Optional.of(rpcDefinition);
464             }
465         }
466         return Optional.absent();
467     }
468
469     public static CompositeNode notificationToDomNodes(final Document document,
470             final Optional<Set<NotificationDefinition>> notifications) {
471         return notificationToDomNodes(document, notifications,null);
472     }
473
474     private static Optional<NotificationDefinition> findNotification(final QName notifName,
475             final Set<NotificationDefinition> notifications) {
476         if ((notifName != null) && (notifications != null)) {
477             for (final NotificationDefinition notification : notifications) {
478                 if ((notification != null) && notifName.isEqualWithoutRevision(notification.getQName())) {
479                     return Optional.<NotificationDefinition>fromNullable(notification);
480                 }
481             }
482         }
483         return Optional.<NotificationDefinition>absent();
484     }
485
486     private static final <T> List<T> forEachChild(final NodeList nodes, final SchemaContext schemaContext, final Function<ElementWithSchemaContext, Optional<T>> forBody) {
487         final int l = nodes.getLength();
488         if (l == 0) {
489             return ImmutableList.of();
490         }
491
492         final List<T> list = new ArrayList<>(l);
493         for (int i = 0; i < l; i++) {
494             org.w3c.dom.Node child = nodes.item(i);
495             if (child instanceof Element) {
496                 Optional<T> result = forBody.apply(new ElementWithSchemaContext((Element) child,schemaContext));
497                 if (result.isPresent()) {
498                     list.add(result.get());
499                 }
500             }
501         }
502         return ImmutableList.copyOf(list);
503     }
504
505     public static final XmlCodecProvider defaultValueCodecProvider() {
506         return XmlUtils.DEFAULT_XML_CODEC_PROVIDER;
507     }
508 }