restconf/sal-rest-docgen/src/main/java/org/opendaylight/netconf/sal/rest/doc/impl/BaseYangSwaggerGenerator.java

   1 /*
   2  * Copyright (c) 2014 Brocade Communications Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8 package org.opendaylight.netconf.sal.rest.doc.impl;
   9
  10 import static org.opendaylight.netconf.sal.rest.doc.util.RestDocgenUtil.resolvePathArgumentsName;
  11
  12 import com.fasterxml.jackson.databind.ObjectMapper;
  13 import com.fasterxml.jackson.databind.SerializationFeature;
  14 import com.fasterxml.jackson.datatype.jsonorg.JsonOrgModule;
  15 import com.google.common.base.Preconditions;
  16 import java.io.IOException;
  17 import java.net.URI;
  18 import java.text.ParseException;
  19 import java.util.ArrayList;
  20 import java.util.Arrays;
  21 import java.util.Calendar;
  22 import java.util.Collection;
  23 import java.util.Collections;
  24 import java.util.Date;
  25 import java.util.GregorianCalendar;
  26 import java.util.List;
  27 import java.util.Set;
  28 import java.util.SortedSet;
  29 import java.util.TreeSet;
  30 import javax.ws.rs.core.UriInfo;
  31 import org.json.JSONException;
  32 import org.json.JSONObject;
  33 import org.opendaylight.netconf.sal.rest.doc.model.builder.OperationBuilder;
  34 import org.opendaylight.netconf.sal.rest.doc.model.builder.OperationBuilder.Delete;
  35 import org.opendaylight.netconf.sal.rest.doc.model.builder.OperationBuilder.Get;
  36 import org.opendaylight.netconf.sal.rest.doc.model.builder.OperationBuilder.Post;
  37 import org.opendaylight.netconf.sal.rest.doc.model.builder.OperationBuilder.Put;
  38 import org.opendaylight.netconf.sal.rest.doc.swagger.Api;
  39 import org.opendaylight.netconf.sal.rest.doc.swagger.ApiDeclaration;
  40 import org.opendaylight.netconf.sal.rest.doc.swagger.Operation;
  41 import org.opendaylight.netconf.sal.rest.doc.swagger.Parameter;
  42 import org.opendaylight.netconf.sal.rest.doc.swagger.Resource;
  43 import org.opendaylight.netconf.sal.rest.doc.swagger.ResourceList;
  44 import org.opendaylight.yangtools.yang.common.QName;
  45 import org.opendaylight.yangtools.yang.common.SimpleDateFormatUtil;
  46 import org.opendaylight.yangtools.yang.model.api.ContainerSchemaNode;
  47 import org.opendaylight.yangtools.yang.model.api.DataNodeContainer;
  48 import org.opendaylight.yangtools.yang.model.api.DataSchemaNode;
  49 import org.opendaylight.yangtools.yang.model.api.LeafSchemaNode;
  50 import org.opendaylight.yangtools.yang.model.api.ListSchemaNode;
  51 import org.opendaylight.yangtools.yang.model.api.Module;
  52 import org.opendaylight.yangtools.yang.model.api.RpcDefinition;
  53 import org.opendaylight.yangtools.yang.model.api.SchemaContext;
  54 import org.opendaylight.yangtools.yang.model.repo.api.SourceIdentifier;
  55 import org.slf4j.Logger;
  56 import org.slf4j.LoggerFactory;
  57
  58 public class BaseYangSwaggerGenerator {
  59
  60     private static final Logger LOG = LoggerFactory.getLogger(BaseYangSwaggerGenerator.class);
  61
  62     protected static final String API_VERSION = "1.0.0";
  63     protected static final String SWAGGER_VERSION = "1.2";
  64     protected static final String RESTCONF_CONTEXT_ROOT = "restconf";
  65     private static final String RESTCONF_DRAFT = "18";
  66
  67     static final String MODULE_NAME_SUFFIX = "_module";
  68     private final ModelGenerator jsonConverter = new ModelGenerator();
  69
  70     // private Map<String, ApiDeclaration> MODULE_DOC_CACHE = new HashMap<>()
  71     private final ObjectMapper mapper = new ObjectMapper();
  72     private static boolean newDraft;
  73
  74     protected BaseYangSwaggerGenerator() {
  75         this.mapper.registerModule(new JsonOrgModule());
  76         this.mapper.configure(SerializationFeature.INDENT_OUTPUT, true);
  77     }
  78
  79     /**
  80      * Return list of modules converted to swagger compliant resource list.
  81      */
  82     public ResourceList getResourceListing(final UriInfo uriInfo, final SchemaContext schemaContext,
  83             final String context) {
  84
  85         final ResourceList resourceList = createResourceList();
  86
  87         final Set<Module> modules = getSortedModules(schemaContext);
  88
  89         final List<Resource> resources = new ArrayList<>(modules.size());
  90
  91         LOG.info("Modules found [{}]", modules.size());
  92
  93         for (final Module module : modules) {
  94             final String revisionString = module.getQNameModule().getFormattedRevision();
  95             final Resource resource = new Resource();
  96             LOG.debug("Working on [{},{}]...", module.getName(), revisionString);
  97             final ApiDeclaration doc =
  98                     getApiDeclaration(module.getName(), revisionString, uriInfo, schemaContext, context);
  99
 100             if (doc != null) {
 101                 resource.setPath(generatePath(uriInfo, module.getName(), revisionString));
 102                 resources.add(resource);
 103             } else {
 104                 LOG.warn("Could not generate doc for {},{}", module.getName(), revisionString);
 105             }
 106         }
 107
 108         resourceList.setApis(resources);
 109
 110         return resourceList;
 111     }
 112
 113     protected ResourceList createResourceList() {
 114         final ResourceList resourceList = new ResourceList();
 115         resourceList.setApiVersion(API_VERSION);
 116         resourceList.setSwaggerVersion(SWAGGER_VERSION);
 117         return resourceList;
 118     }
 119
 120     protected String generatePath(final UriInfo uriInfo, final String name, final String revision) {
 121         final URI uri = uriInfo.getRequestUriBuilder().path(generateCacheKey(name, revision)).build();
 122         return uri.toASCIIString();
 123     }
 124
 125     public ApiDeclaration getApiDeclaration(final String moduleName, final String revision, final UriInfo uriInfo,
 126             final SchemaContext schemaContext, final String context) {
 127         Date rev = null;
 128
 129         try {
 130             if (revision != null && !SourceIdentifier.NOT_PRESENT_FORMATTED_REVISION.equals(revision)) {
 131                 rev = SimpleDateFormatUtil.getRevisionFormat().parse(revision);
 132             }
 133         } catch (final ParseException e) {
 134             throw new IllegalArgumentException(e);
 135         }
 136
 137         if (rev != null) {
 138             final Calendar cal = new GregorianCalendar();
 139
 140             cal.setTime(rev);
 141
 142             if (cal.get(Calendar.YEAR) < 1970) {
 143                 rev = null;
 144             }
 145         }
 146
 147         final Module module = schemaContext.findModuleByName(moduleName, rev);
 148         Preconditions.checkArgument(module != null,
 149                 "Could not find module by name,revision: " + moduleName + "," + revision);
 150
 151         return getApiDeclaration(module, rev, uriInfo, context, schemaContext);
 152     }
 153
 154     public ApiDeclaration getApiDeclaration(final Module module, final Date revision, final UriInfo uriInfo,
 155             final String context, final SchemaContext schemaContext) {
 156         final String basePath = createBasePathFromUriInfo(uriInfo);
 157
 158         final ApiDeclaration doc = getSwaggerDocSpec(module, basePath, context, schemaContext);
 159         if (doc != null) {
 160             return doc;
 161         }
 162         return null;
 163     }
 164
 165     protected String createBasePathFromUriInfo(final UriInfo uriInfo) {
 166         String portPart = "";
 167         final int port = uriInfo.getBaseUri().getPort();
 168         if (port != -1) {
 169             portPart = ":" + port;
 170         }
 171         final String basePath =
 172                 new StringBuilder(uriInfo.getBaseUri().getScheme()).append("://").append(uriInfo.getBaseUri().getHost())
 173                         .append(portPart).append("/").append(RESTCONF_CONTEXT_ROOT).toString();
 174         return basePath;
 175     }
 176
 177     public ApiDeclaration getSwaggerDocSpec(final Module m, final String basePath, final String context,
 178             final SchemaContext schemaContext) {
 179         final ApiDeclaration doc = createApiDeclaration(basePath);
 180
 181         final List<Api> apis = new ArrayList<>();
 182         boolean hasAddRootPostLink = false;
 183
 184         final Collection<DataSchemaNode> dataSchemaNodes = m.getChildNodes();
 185         LOG.debug("child nodes size [{}]", dataSchemaNodes.size());
 186         for (final DataSchemaNode node : dataSchemaNodes) {
 187             if ((node instanceof ListSchemaNode) || (node instanceof ContainerSchemaNode)) {
 188                 LOG.debug("Is Configuration node [{}] [{}]", node.isConfiguration(), node.getQName().getLocalName());
 189
 190                 List<Parameter> pathParams = new ArrayList<>();
 191                 String resourcePath;
 192
 193                 /*
 194                  * Only when the node's config statement is true, such apis as
 195                  * GET/PUT/POST/DELETE config are added for this node.
 196                  */
 197                 if (node.isConfiguration()) { // This node's config statement is
 198                                               // true.
 199                     resourcePath = getDataStorePath("config", context);
 200
 201                     /*
 202                      * When there are two or more top container or list nodes
 203                      * whose config statement is true in module, make sure that
 204                      * only one root post link is added for this module.
 205                      */
 206                     if (!hasAddRootPostLink) {
 207                         LOG.debug("Has added root post link for module {}", m.getName());
 208                         addRootPostLink(m, (DataNodeContainer) node, pathParams, resourcePath, "config", apis);
 209
 210                         hasAddRootPostLink = true;
 211                     }
 212
 213                     addApis(node, apis, resourcePath, pathParams, schemaContext, true, m.getName(), "config");
 214                 }
 215                 pathParams = new ArrayList<>();
 216                 resourcePath = getDataStorePath("operational", context);
 217
 218                 addApis(node, apis, resourcePath, pathParams, schemaContext, false, m.getName(), "operational");
 219             }
 220         }
 221
 222         final Set<RpcDefinition> rpcs = m.getRpcs();
 223         for (final RpcDefinition rpcDefinition : rpcs) {
 224             final String resourcePath;
 225             resourcePath = getDataStorePath("operations", context);
 226
 227             addRpcs(rpcDefinition, apis, resourcePath, schemaContext);
 228         }
 229
 230         LOG.debug("Number of APIs found [{}]", apis.size());
 231
 232         if (!apis.isEmpty()) {
 233             doc.setApis(apis);
 234             JSONObject models = null;
 235
 236             try {
 237                 models = this.jsonConverter.convertToJsonSchema(m, schemaContext);
 238                 doc.setModels(models);
 239                 if (LOG.isDebugEnabled()) {
 240                     LOG.debug(this.mapper.writeValueAsString(doc));
 241                 }
 242             } catch (IOException | JSONException e) {
 243                 LOG.error("Exception occured in ModelGenerator", e);
 244             }
 245
 246             return doc;
 247         }
 248         return null;
 249     }
 250
 251     private static void addRootPostLink(final Module module, final DataNodeContainer node,
 252             final List<Parameter> pathParams, final String resourcePath, final String dataStore, final List<Api> apis) {
 253         if (containsListOrContainer(module.getChildNodes())) {
 254             final Api apiForRootPostUri = new Api();
 255             apiForRootPostUri.setPath(resourcePath.concat(getContent(dataStore)));
 256             apiForRootPostUri.setOperations(operationPost(module.getName() + MODULE_NAME_SUFFIX,
 257                     module.getDescription(), module, pathParams, true, ""));
 258             apis.add(apiForRootPostUri);
 259         }
 260     }
 261
 262     protected ApiDeclaration createApiDeclaration(final String basePath) {
 263         final ApiDeclaration doc = new ApiDeclaration();
 264         doc.setApiVersion(API_VERSION);
 265         doc.setSwaggerVersion(SWAGGER_VERSION);
 266         doc.setBasePath(basePath);
 267         doc.setProduces(Arrays.asList("application/json", "application/xml"));
 268         return doc;
 269     }
 270
 271     protected String getDataStorePath(final String dataStore, final String context) {
 272         if (newDraft) {
 273             if ("config".contains(dataStore) || "operational".contains(dataStore)) {
 274                 return "/" + RESTCONF_DRAFT + "/data" + context;
 275             }
 276             return "/" + RESTCONF_DRAFT + "/operations" + context;
 277         }
 278
 279         return "/" + dataStore + context;
 280     }
 281
 282     private static String generateCacheKey(final String module, final String revision) {
 283         return module + "(" + revision + ")";
 284     }
 285
 286     private void addApis(final DataSchemaNode node, final List<Api> apis, final String parentPath,
 287             final List<Parameter> parentPathParams, final SchemaContext schemaContext, final boolean addConfigApi,
 288             final String parentName, final String dataStore) {
 289         final Api api = new Api();
 290         final List<Parameter> pathParams = new ArrayList<>(parentPathParams);
 291
 292         final String resourcePath = parentPath + "/" + createPath(node, pathParams, schemaContext);
 293         LOG.debug("Adding path: [{}]", resourcePath);
 294         api.setPath(resourcePath.concat(getContent(dataStore)));
 295
 296         Iterable<DataSchemaNode> childSchemaNodes = Collections.<DataSchemaNode> emptySet();
 297         if ((node instanceof ListSchemaNode) || (node instanceof ContainerSchemaNode)) {
 298             final DataNodeContainer dataNodeContainer = (DataNodeContainer) node;
 299             childSchemaNodes = dataNodeContainer.getChildNodes();
 300         }
 301         api.setOperations(operation(node, pathParams, addConfigApi, childSchemaNodes, parentName));
 302         apis.add(api);
 303
 304         for (final DataSchemaNode childNode : childSchemaNodes) {
 305             if ((childNode instanceof ListSchemaNode) || (childNode instanceof ContainerSchemaNode)) {
 306                 // keep config and operation attributes separate.
 307                 if (childNode.isConfiguration() == addConfigApi) {
 308                     final String newParent = parentName + "/" + node.getQName().getLocalName();
 309                     addApis(childNode, apis, resourcePath, pathParams, schemaContext, addConfigApi, newParent,
 310                             dataStore);
 311                 }
 312             }
 313         }
 314     }
 315
 316     protected static String getContent(final String dataStore) {
 317         if (newDraft) {
 318             if ("operational".contains(dataStore)) {
 319                 return "?content=nonconfig";
 320             } else if ("config".contains(dataStore)) {
 321                 return "?content=config";
 322             } else {
 323                 return "";
 324             }
 325         } else {
 326             return "";
 327         }
 328     }
 329
 330     private static boolean containsListOrContainer(final Iterable<DataSchemaNode> nodes) {
 331         for (final DataSchemaNode child : nodes) {
 332             if (child instanceof ListSchemaNode || child instanceof ContainerSchemaNode) {
 333                 return true;
 334             }
 335         }
 336         return false;
 337     }
 338
 339     private static List<Operation> operation(final DataSchemaNode node, final List<Parameter> pathParams,
 340             final boolean isConfig, final Iterable<DataSchemaNode> childSchemaNodes, final String parentName) {
 341         final List<Operation> operations = new ArrayList<>();
 342
 343         final Get getBuilder = new Get(node, isConfig);
 344         operations.add(getBuilder.pathParams(pathParams).build());
 345
 346         if (isConfig) {
 347             final Put putBuilder = new Put(node.getQName().getLocalName(), node.getDescription(), parentName);
 348             operations.add(putBuilder.pathParams(pathParams).build());
 349
 350             final Delete deleteBuilder = new Delete(node);
 351             operations.add(deleteBuilder.pathParams(pathParams).build());
 352
 353             if (containsListOrContainer(childSchemaNodes)) {
 354                 operations.addAll(operationPost(node.getQName().getLocalName(), node.getDescription(),
 355                         (DataNodeContainer) node, pathParams, isConfig, parentName + "/"));
 356             }
 357         }
 358         return operations;
 359     }
 360
 361     private static List<Operation> operationPost(final String name, final String description,
 362             final DataNodeContainer dataNodeContainer, final List<Parameter> pathParams, final boolean isConfig,
 363             final String parentName) {
 364         final List<Operation> operations = new ArrayList<>();
 365         if (isConfig) {
 366             final Post postBuilder = new Post(name, parentName + name, description, dataNodeContainer);
 367             operations.add(postBuilder.pathParams(pathParams).build());
 368         }
 369         return operations;
 370     }
 371
 372     private static String createPath(final DataSchemaNode schemaNode, final List<Parameter> pathParams,
 373             final SchemaContext schemaContext) {
 374         final ArrayList<LeafSchemaNode> pathListParams = new ArrayList<>();
 375         final StringBuilder path = new StringBuilder();
 376         final String localName = resolvePathArgumentsName(schemaNode, schemaContext);
 377         path.append(localName);
 378
 379         if ((schemaNode instanceof ListSchemaNode)) {
 380             final List<QName> listKeys = ((ListSchemaNode) schemaNode).getKeyDefinition();
 381             StringBuilder keyBuilder = null;
 382             if (newDraft) {
 383                 keyBuilder = new StringBuilder("=");
 384             }
 385
 386             for (final QName listKey : listKeys) {
 387                 final DataSchemaNode dataChildByName = ((DataNodeContainer) schemaNode).getDataChildByName(listKey);
 388                 pathListParams.add(((LeafSchemaNode) dataChildByName));
 389                 final String pathParamIdentifier;
 390                 if (newDraft) {
 391                     pathParamIdentifier = keyBuilder.append("{").append(listKey.getLocalName()).append("}").toString();
 392                 } else {
 393                     pathParamIdentifier = "/{" + listKey.getLocalName() + "}";
 394                 }
 395                 path.append(pathParamIdentifier);
 396
 397                 final Parameter pathParam = new Parameter();
 398                 pathParam.setName(listKey.getLocalName());
 399                 pathParam.setDescription(dataChildByName.getDescription());
 400                 pathParam.setType("string");
 401                 pathParam.setParamType("path");
 402
 403                 pathParams.add(pathParam);
 404                 if (newDraft) {
 405                     keyBuilder = new StringBuilder(",");
 406                 }
 407             }
 408         }
 409         return path.toString();
 410     }
 411
 412     protected void addRpcs(final RpcDefinition rpcDefn, final List<Api> apis, final String parentPath,
 413             final SchemaContext schemaContext) {
 414         final Api rpc = new Api();
 415         final String resourcePath = parentPath + "/" + resolvePathArgumentsName(rpcDefn, schemaContext);
 416         rpc.setPath(resourcePath);
 417
 418         final Operation operationSpec = new Operation();
 419         operationSpec.setMethod("POST");
 420         operationSpec.setNotes(rpcDefn.getDescription());
 421         operationSpec.setNickname(rpcDefn.getQName().getLocalName());
 422         if (!rpcDefn.getOutput().getChildNodes().isEmpty()) {
 423             operationSpec.setType("(" + rpcDefn.getQName().getLocalName() + ")output" + OperationBuilder.TOP);
 424         }
 425         if (!rpcDefn.getInput().getChildNodes().isEmpty()) {
 426             final Parameter payload = new Parameter();
 427             payload.setParamType("body");
 428             payload.setType("(" + rpcDefn.getQName().getLocalName() + ")input" + OperationBuilder.TOP);
 429             operationSpec.setParameters(Collections.singletonList(payload));
 430             operationSpec.setConsumes(OperationBuilder.CONSUMES_PUT_POST);
 431         }
 432
 433         rpc.setOperations(Arrays.asList(operationSpec));
 434
 435         apis.add(rpc);
 436     }
 437
 438     protected SortedSet<Module> getSortedModules(final SchemaContext schemaContext) {
 439         if (schemaContext == null) {
 440             return new TreeSet<>();
 441         }
 442
 443         final Set<Module> modules = schemaContext.getModules();
 444
 445         final SortedSet<Module> sortedModules = new TreeSet<>((module1, module2) -> {
 446             int result = module1.getName().compareTo(module2.getName());
 447             if (result == 0) {
 448                 final Date module1Revision = module1.getRevision() != null ? module1.getRevision() : new Date(0);
 449                 final Date module2Revision = module2.getRevision() != null ? module2.getRevision() : new Date(0);
 450                 result = module1Revision.compareTo(module2Revision);
 451             }
 452             if (result == 0) {
 453                 result = module1.getNamespace().compareTo(module2.getNamespace());
 454             }
 455             return result;
 456         });
 457         for (final Module m : modules) {
 458             if (m != null) {
 459                 sortedModules.add(m);
 460             }
 461         }
 462         return sortedModules;
 463     }
 464
 465     public void setDraft(final boolean draft) {
 466         BaseYangSwaggerGenerator.newDraft = draft;
 467     }
 468 }