opendaylight/netconf/tools/netconf-testtool/src/main/java/org/opendaylight/netconf/test/tool/client/http/perf/RestPerfClient.java

   1 /*
   2  * Copyright (c) 2015 Cisco Systems, Inc. and others.  All rights reserved.
   3  *
   4  * This program and the accompanying materials are made available under the
   5  * terms of the Eclipse Public License v1.0 which accompanies this distribution,
   6  * and is available at http://www.eclipse.org/legal/epl-v10.html
   7  */
   8
   9 package org.opendaylight.netconf.test.tool.client.http.perf;
  10
  11
  12 import com.google.common.base.Charsets;
  13 import com.google.common.base.Stopwatch;
  14 import com.google.common.io.Files;
  15 import java.io.IOException;
  16 import java.util.ArrayList;
  17 import java.util.List;
  18 import java.util.concurrent.ExecutionException;
  19 import java.util.concurrent.ExecutorService;
  20 import java.util.concurrent.Executors;
  21 import java.util.concurrent.Future;
  22 import java.util.concurrent.TimeUnit;
  23 import net.sourceforge.argparse4j.inf.ArgumentParser;
  24 import net.sourceforge.argparse4j.inf.ArgumentParserException;
  25 import org.opendaylight.netconf.test.tool.TestToolUtils;
  26 import org.slf4j.Logger;
  27 import org.slf4j.LoggerFactory;
  28
  29 public class RestPerfClient {
  30
  31     private static final Logger LOG = LoggerFactory.getLogger(RestPerfClient.class);
  32
  33     private static final String HOST_KEY = "{HOST}";
  34     private static final String PORT_KEY = "{PORT}";
  35     private static final String DEVICE_PORT_KEY = "{DEVICE_PORT}";
  36
  37     private static final String PEER_KEY = "{PEERID}";
  38     private static final String INT_LEAF_KEY = "{INTLEAF}";
  39
  40     private static final String PHYS_ADDR_PLACEHOLDER = "{PHYS_ADDR}";
  41
  42     private static final String dest = "http://{HOST}:{PORT}";
  43
  44     private static long macStart = 0xAABBCCDD0000L;
  45
  46     static int throttle;
  47
  48     static final class DestToPayload {
  49
  50         private final String destination;
  51         private final String payload;
  52
  53         public DestToPayload(String destination, String payload) {
  54             this.destination = destination;
  55             this.payload = payload;
  56         }
  57
  58         public String getDestination() {
  59             return destination;
  60         }
  61
  62         public String getPayload() {
  63             return payload;
  64         }
  65     }
  66
  67     public static void main(String[] args) throws IOException {
  68
  69         Parameters parameters = parseArgs(args, Parameters.getParser());
  70         parameters.validate();
  71         throttle = parameters.throttle / parameters.threadAmount;
  72
  73         if (parameters.async && parameters.threadAmount > 1) {
  74             LOG.info("Throttling per thread: {}", throttle);
  75         }
  76
  77         final String editContentString;
  78         try {
  79             editContentString = Files.toString(parameters.editContent, Charsets.UTF_8);
  80         } catch (final IOException e) {
  81             throw new IllegalArgumentException("Cannot read content of " + parameters.editContent);
  82         }
  83
  84         final int threadAmount = parameters.threadAmount;
  85         LOG.info("thread amount: {}", threadAmount);
  86         final int requestsPerThread = parameters.editCount / parameters.threadAmount;
  87         LOG.info("requestsPerThread: {}", requestsPerThread);
  88         final int leftoverRequests = parameters.editCount % parameters.threadAmount;
  89         LOG.info("leftoverRequests: {}", leftoverRequests);
  90
  91         final ArrayList<ArrayList<DestToPayload>> allThreadsPayloads = new ArrayList<>();
  92         for (int i = 0; i < threadAmount; i++) {
  93             final ArrayList<DestToPayload> payloads = new ArrayList<>();
  94             for (int j = 0; j < requestsPerThread; j++) {
  95                 final int devicePort = parameters.sameDevice ? parameters.devicePortRangeStart : parameters.devicePortRangeStart + i;
  96                 final StringBuilder destBuilder = new StringBuilder(dest);
  97                 destBuilder.replace(destBuilder.indexOf(HOST_KEY), destBuilder.indexOf(HOST_KEY) + HOST_KEY.length(), parameters.ip)
  98                         .replace(destBuilder.indexOf(PORT_KEY), destBuilder.indexOf(PORT_KEY) + PORT_KEY.length(), parameters.port + "");
  99                 final StringBuilder suffixBuilder = new StringBuilder(parameters.destination);
 100                 if (suffixBuilder.indexOf(DEVICE_PORT_KEY) != -1) {
 101                     suffixBuilder.replace(suffixBuilder.indexOf(DEVICE_PORT_KEY), suffixBuilder.indexOf(DEVICE_PORT_KEY) + DEVICE_PORT_KEY.length(), devicePort + "");
 102                 }
 103                 destBuilder.append(suffixBuilder);
 104
 105                 payloads.add(new DestToPayload(destBuilder.toString(), prepareMessage(i, j, editContentString)));
 106             }
 107             allThreadsPayloads.add(payloads);
 108         }
 109
 110         for (int i = 0; i < leftoverRequests; i++) {
 111             ArrayList<DestToPayload> payloads = allThreadsPayloads.get(allThreadsPayloads.size() - 1);
 112
 113             final int devicePort = parameters.sameDevice ? parameters.devicePortRangeStart : parameters.devicePortRangeStart + threadAmount - 1;
 114             final StringBuilder destBuilder = new StringBuilder(dest);
 115             destBuilder.replace(destBuilder.indexOf(HOST_KEY), destBuilder.indexOf(HOST_KEY) + HOST_KEY.length(), parameters.ip)
 116                     .replace(destBuilder.indexOf(PORT_KEY), destBuilder.indexOf(PORT_KEY) + PORT_KEY.length(), parameters.port + "");
 117             final StringBuilder suffixBuilder = new StringBuilder(parameters.destination);
 118             if (suffixBuilder.indexOf(DEVICE_PORT_KEY) != -1) {
 119                 suffixBuilder.replace(suffixBuilder.indexOf(DEVICE_PORT_KEY), suffixBuilder.indexOf(DEVICE_PORT_KEY) + DEVICE_PORT_KEY.length(), devicePort + "");
 120             }
 121             destBuilder.append(suffixBuilder);
 122             payloads.add(new DestToPayload(destBuilder.toString(), prepareMessage(threadAmount - 1, requestsPerThread + i, editContentString)));
 123         }
 124
 125         final ArrayList<PerfClientCallable> callables = new ArrayList<>();
 126         for (ArrayList<DestToPayload> payloads : allThreadsPayloads) {
 127             callables.add(new PerfClientCallable(parameters, payloads));
 128         }
 129
 130         final ExecutorService executorService = Executors.newFixedThreadPool(threadAmount);
 131
 132         LOG.info("Starting performance test");
 133         final Stopwatch started = Stopwatch.createStarted();
 134         try {
 135             final List<Future<Void>> futures = executorService.invokeAll(callables, parameters.timeout, TimeUnit.MINUTES);
 136             for (int i = 0; i < futures.size(); i++) {
 137                 Future<Void> future = futures.get(i);
 138                 if (future.isCancelled()) {
 139                     LOG.info("{}. thread timed out.", i + 1);
 140                 } else {
 141                     try {
 142                         future.get();
 143                     } catch (final ExecutionException e) {
 144                         LOG.info("{}. thread failed.", i + 1, e);
 145                     }
 146                 }
 147             }
 148         } catch (final InterruptedException e) {
 149             LOG.warn("Unable to execute requests", e);
 150         }
 151         executorService.shutdownNow();
 152         started.stop();
 153
 154         LOG.info("FINISHED. Execution time: {}", started);
 155         LOG.info("Requests per second: {}", (parameters.editCount * 1000.0 / started.elapsed(TimeUnit.MILLISECONDS)));
 156
 157         System.exit(0);
 158     }
 159
 160     private static Parameters parseArgs(final String[] args, final ArgumentParser parser) {
 161         final Parameters opt = new Parameters();
 162         try {
 163             parser.parseArgs(args, opt);
 164             return opt;
 165         } catch (final ArgumentParserException e) {
 166             parser.handleError(e);
 167         }
 168
 169         System.exit(1);
 170         return null;
 171     }
 172
 173     private static String prepareMessage(final int idi, final int idj, final String editContentString) {
 174         StringBuilder messageBuilder = new StringBuilder(editContentString);
 175         if (editContentString.contains(PEER_KEY)) {
 176             messageBuilder.replace(messageBuilder.indexOf(PEER_KEY), messageBuilder.indexOf(PEER_KEY) + PEER_KEY.length(), Integer.toString(idi))
 177                     .replace(messageBuilder.indexOf(INT_LEAF_KEY), messageBuilder.indexOf(INT_LEAF_KEY) + INT_LEAF_KEY.length(), Integer.toString(idj));
 178         }
 179
 180         int idx = messageBuilder.indexOf(PHYS_ADDR_PLACEHOLDER);
 181
 182         while (idx != -1) {
 183             messageBuilder.replace(idx, idx + PHYS_ADDR_PLACEHOLDER.length(), TestToolUtils.getMac(macStart++));
 184             idx = messageBuilder.indexOf(PHYS_ADDR_PLACEHOLDER);
 185         }
 186
 187         return messageBuilder.toString();
 188     }
 189 }