opendaylight/netconf/netconf-testtool/src/main/java/org/opendaylight/controller/netconf/test/tool/client/http/perf/RestPerfClient.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8
   9 package org.opendaylight.controller.netconf.test.tool.client.http.perf;
  10
  11
  12 import com.google.common.base.Charsets;
  13 import com.google.common.base.Stopwatch;
  14 import com.google.common.io.Files;
  15 import java.io.IOException;
  16 import java.util.ArrayList;
  17 import java.util.List;
  18 import java.util.concurrent.ExecutionException;
  19 import java.util.concurrent.ExecutorService;
  20 import java.util.concurrent.Executors;
  21 import java.util.concurrent.Future;
  22 import java.util.concurrent.TimeUnit;
  23 import java.util.concurrent.TimeoutException;
  24 import net.sourceforge.argparse4j.inf.ArgumentParser;
  25 import net.sourceforge.argparse4j.inf.ArgumentParserException;
  26 import org.opendaylight.controller.netconf.test.tool.TestToolUtils;
  27 import org.slf4j.Logger;
  28 import org.slf4j.LoggerFactory;
  29
  30 public class RestPerfClient {
  31
  32     private static final Logger LOG = LoggerFactory.getLogger(RestPerfClient.class);
  33
  34     private static final String HOST_KEY = "{HOST}";
  35     private static final String PORT_KEY = "{PORT}";
  36     private static final String DEVICE_PORT_KEY = "{DEVICE_PORT}";
  37
  38     private static final String PEER_KEY = "{PEERID}";
  39     private static final String INT_LEAF_KEY = "{INTLEAF}";
  40
  41     private static final String PHYS_ADDR_PLACEHOLDER = "{PHYS_ADDR}";
  42
  43     private static final String dest = "http://{HOST}:{PORT}";
  44
  45     private static long macStart = 0xAABBCCDD0000L;
  46
  47     static int throttle;
  48
  49     static final class DestToPayload {
  50
  51         private final String destination;
  52         private final String payload;
  53
  54         public DestToPayload(String destination, String payload) {
  55             this.destination = destination;
  56             this.payload = payload;
  57         }
  58
  59         public String getDestination() {
  60             return destination;
  61         }
  62
  63         public String getPayload() {
  64             return payload;
  65         }
  66     }
  67
  68     public static void main(String[] args) throws IOException {
  69
  70         Parameters parameters = parseArgs(args, Parameters.getParser());
  71         parameters.validate();
  72         throttle = parameters.throttle / parameters.threadAmount;
  73
  74         if (parameters.async && parameters.threadAmount > 1) {
  75             LOG.info("Throttling per thread: {}", throttle);
  76         }
  77
  78         final String editContentString;
  79         try {
  80             editContentString = Files.toString(parameters.editContent, Charsets.UTF_8);
  81         } catch (final IOException e) {
  82             throw new IllegalArgumentException("Cannot read content of " + parameters.editContent);
  83         }
  84
  85         final int threadAmount = parameters.threadAmount;
  86         LOG.info("thread amount: {}", threadAmount);
  87         final int requestsPerThread = parameters.editCount / parameters.threadAmount;
  88         LOG.info("requestsPerThread: {}", requestsPerThread);
  89         final int leftoverRequests = parameters.editCount % parameters.threadAmount;
  90         LOG.info("leftoverRequests: {}", leftoverRequests);
  91
  92         final ArrayList<ArrayList<DestToPayload>> allThreadsPayloads = new ArrayList<>();
  93         for (int i = 0; i < threadAmount; i++) {
  94             final ArrayList<DestToPayload> payloads = new ArrayList<>();
  95             for (int j = 0; j < requestsPerThread; j++) {
  96                 final int devicePort = parameters.sameDevice ? parameters.devicePortRangeStart : parameters.devicePortRangeStart + i;
  97                 final StringBuilder destBuilder = new StringBuilder(dest);
  98                 destBuilder.replace(destBuilder.indexOf(HOST_KEY), destBuilder.indexOf(HOST_KEY) + HOST_KEY.length(), parameters.ip)
  99                         .replace(destBuilder.indexOf(PORT_KEY), destBuilder.indexOf(PORT_KEY) + PORT_KEY.length(), parameters.port + "");
 100                 final StringBuilder suffixBuilder = new StringBuilder(parameters.destination);
 101                 if (suffixBuilder.indexOf(DEVICE_PORT_KEY) != -1) {
 102                     suffixBuilder.replace(suffixBuilder.indexOf(DEVICE_PORT_KEY), suffixBuilder.indexOf(DEVICE_PORT_KEY) + DEVICE_PORT_KEY.length(), devicePort + "");
 103                 }
 104                 destBuilder.append(suffixBuilder);
 105
 106                 payloads.add(new DestToPayload(destBuilder.toString(), prepareMessage(i, j, editContentString)));
 107             }
 108             allThreadsPayloads.add(payloads);
 109         }
 110
 111         for (int i = 0; i < leftoverRequests; i++) {
 112             ArrayList<DestToPayload> payloads = allThreadsPayloads.get(allThreadsPayloads.size() - 1);
 113
 114             final int devicePort = parameters.sameDevice ? parameters.devicePortRangeStart : parameters.devicePortRangeStart + threadAmount - 1;
 115             final StringBuilder destBuilder = new StringBuilder(dest);
 116             destBuilder.replace(destBuilder.indexOf(HOST_KEY), destBuilder.indexOf(HOST_KEY) + HOST_KEY.length(), parameters.ip)
 117                     .replace(destBuilder.indexOf(PORT_KEY), destBuilder.indexOf(PORT_KEY) + PORT_KEY.length(), parameters.port + "");
 118             final StringBuilder suffixBuilder = new StringBuilder(parameters.destination);
 119             if (suffixBuilder.indexOf(DEVICE_PORT_KEY) != -1) {
 120                 suffixBuilder.replace(suffixBuilder.indexOf(DEVICE_PORT_KEY), suffixBuilder.indexOf(DEVICE_PORT_KEY) + DEVICE_PORT_KEY.length(), devicePort + "");
 121             }
 122             destBuilder.append(suffixBuilder);
 123             payloads.add(new DestToPayload(destBuilder.toString(), prepareMessage(threadAmount - 1, requestsPerThread + i, editContentString)));
 124         }
 125
 126         final ArrayList<PerfClientCallable> callables = new ArrayList<>();
 127         for (ArrayList<DestToPayload> payloads : allThreadsPayloads) {
 128             callables.add(new PerfClientCallable(parameters, payloads));
 129         }
 130
 131         final ExecutorService executorService = Executors.newFixedThreadPool(threadAmount);
 132
 133         LOG.info("Starting performance test");
 134         final Stopwatch started = Stopwatch.createStarted();
 135         try {
 136             final List<Future<Void>> futures = executorService.invokeAll(callables, 5, TimeUnit.MINUTES);
 137             for (final Future<Void> future : futures) {
 138                 try {
 139                     future.get(4L, TimeUnit.MINUTES);
 140                 } catch (ExecutionException | TimeoutException e) {
 141                     throw new RuntimeException(e);
 142                 }
 143             }
 144             executorService.shutdownNow();
 145         } catch (final InterruptedException e) {
 146             throw new RuntimeException("Unable to execute requests", e);
 147         }
 148         started.stop();
 149
 150         LOG.info("FINISHED. Execution time: {}", started);
 151         LOG.info("Requests per second: {}", (parameters.editCount * 1000.0 / started.elapsed(TimeUnit.MILLISECONDS)));
 152
 153         System.exit(0);
 154     }
 155
 156     private static Parameters parseArgs(final String[] args, final ArgumentParser parser) {
 157         final Parameters opt = new Parameters();
 158         try {
 159             parser.parseArgs(args, opt);
 160             return opt;
 161         } catch (final ArgumentParserException e) {
 162             parser.handleError(e);
 163         }
 164
 165         System.exit(1);
 166         return null;
 167     }
 168
 169     private static String prepareMessage(final int idi, final int idj, final String editContentString) {
 170         StringBuilder messageBuilder = new StringBuilder(editContentString);
 171         if (editContentString.contains(PEER_KEY)) {
 172             messageBuilder.replace(messageBuilder.indexOf(PEER_KEY), messageBuilder.indexOf(PEER_KEY) + PEER_KEY.length(), Integer.toString(idi))
 173                     .replace(messageBuilder.indexOf(INT_LEAF_KEY), messageBuilder.indexOf(INT_LEAF_KEY) + INT_LEAF_KEY.length(), Integer.toString(idj));
 174         }
 175
 176         int idx = messageBuilder.indexOf(PHYS_ADDR_PLACEHOLDER);
 177
 178         while (idx != -1) {
 179             messageBuilder.replace(idx, idx + PHYS_ADDR_PLACEHOLDER.length(), TestToolUtils.getMac(macStart++));
 180             idx = messageBuilder.indexOf(PHYS_ADDR_PLACEHOLDER);
 181         }
 182
 183         return messageBuilder.toString();
 184     }
 185 }