csit/suites/sfc/Full_Deploy/docker-ovs.sh

   1 #!/bin/bash
   2 # Copyright (C) 2014 Nicira, Inc.
   3 #
   4 # Licensed under the Apache License, Version 2.0 (the "License");
   5 # you may not use this file except in compliance with the License.
   6 # You may obtain a copy of the License at:
   7 #
   8 #     http://www.apache.org/licenses/LICENSE-2.0
   9 #
  10 # Unless required by applicable law or agreed to in writing, software
  11 # distributed under the License is distributed on an "AS IS" BASIS,
  12 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13 # See the License for the specific language governing permissions and
  14 # limitations under the License.
  15
  16 # BASED ON https://github.com/openvswitch/ovs/blob/master/utilities/ovs-docker
  17 # MODIFIED
  18
  19 set -o xtrace
  20 #set -e #Exit script if a command fails
  21
  22 # Check for programs we'll need.
  23 search_path () {
  24     save_IFS=$IFS
  25     IFS=:
  26     for dir in $PATH; do
  27         IFS=$save_IFS
  28         if test -x "$dir/$1"; then
  29             return 0
  30         fi
  31     done
  32     IFS=$save_IFS
  33     echo >&2 "$0: $1 not found in \$PATH, please install and try again"
  34     exit 1
  35 }
  36
  37 ovs_vsctl () {
  38     sudo ovs-vsctl --timeout=60 "$@"
  39 }
  40
  41 d_ovs_vsctl () {
  42     CONTAINER="$1"
  43     shift
  44     sudo docker exec "$CONTAINER" ovs-vsctl --timeout=60 "$@"
  45 }
  46
  47 create_netns_link () {
  48     sudo mkdir -p /var/run/netns
  49     if [ ! -e /var/run/netns/"$PID" ]; then
  50         sudo ln -s /proc/"$PID"/ns/net /var/run/netns/"$PID"
  51         trap 'delete_netns_link' 0
  52         for signal in 1 2 3 13 14 15; do
  53             trap 'delete_netns_link; trap - $signal; kill -$signal $$' $signal
  54         done
  55     fi
  56 }
  57
  58 delete_netns_link () {
  59     sudo rm -f /var/run/netns/"$PID"
  60 }
  61
  62 setup_ip_forwarding () {
  63     sudo sh -c 'echo 1 > /proc/sys/net/ipv4/ip_forward'
  64     sudo iptables -F
  65     sudo iptables -t nat -F
  66     sudo iptables -P FORWARD ACCEPT
  67 }
  68
  69 connect_namespace_to_container () {
  70
  71     NAMESPACE="$1"
  72     CONTAINER="$2"
  73
  74     if [ -z "$NAMESPACE" ] || [ -z "$CONTAINER" ]; then
  75         echo >&2 "$UTIL add-port: not enough arguments (use --help for help)"
  76         exit 1
  77     fi
  78
  79     shift 2
  80     while [ $# -ne 0 ]; do
  81         case $1 in
  82             --ipaddress=*)
  83                 ADDRESS=`expr X"$1" : 'X[^=]*=\(.*\)'`
  84                 shift
  85                 ;;
  86             --macaddress=*)
  87                 MACADDRESS=`expr X"$1" : 'X[^=]*=\(.*\)'`
  88                 shift
  89                 ;;
  90             *)
  91                 echo >&2 "$UTIL add-port: unknown option \"$1\""
  92                 exit 1
  93                 ;;
  94         esac
  95     done
  96
  97     if PID=`sudo docker inspect -f '{{.State.Pid}}' "$CONTAINER"`; then :; else
  98         echo >&2 "$UTIL: Failed to get the PID of the container"
  99         exit 1
 100     fi
 101
 102     create_netns_link
 103
 104     CONTAINER_IF="v-$NAMESPACE"
 105     NAMESPACE_IF="v-${CONTAINER:0:12}"
 106
 107     # Create namespace
 108     if [ -z `sudo ip netns list | grep "$NAMESPACE"` ]; then
 109          sudo ip netns add "$NAMESPACE"
 110     fi
 111
 112     # Create a veth pair in namespace.
 113     sudo ip netns exec "$NAMESPACE" ip link add "$NAMESPACE_IF" type veth peer \
 114        name "$CONTAINER_IF"
 115     sudo ip netns exec "$NAMESPACE" ip link set dev "$NAMESPACE_IF" up
 116
 117     # Move one side to container namespace.
 118     sudo ip netns exec "$NAMESPACE" ip link set dev "$CONTAINER_IF" netns "$PID"
 119     sudo ip netns exec "$PID" ip link set dev "$CONTAINER_IF" up
 120
 121     # And put it in integration bridge
 122     d_ovs_vsctl "$CONTAINER" add-port br-int "$CONTAINER_IF"
 123
 124     if [ -n "$ADDRESS" ]; then
 125         sudo ip netns exec "$NAMESPACE" ip addr add "$ADDRESS" dev "$NAMESPACE_IF"
 126     fi
 127
 128     if [ -n "$MACADDRESS" ]; then
 129         sudo ip netns exec "$NAMESPACE" ip link set dev "$NAMESPACE_IF" \
 130            address "$MACADDRESS"
 131     fi
 132
 133     delete_netns_link
 134 }
 135
 136 spawn_node () {
 137     NODE="$1"
 138     TUN="$2"
 139
 140     if [ -z `sudo docker images | awk '/^ovs-docker/ {print $1}'` ]; then
 141         echo "$UTIL: Docker image ovs-docker does not exist, creating..."
 142         sudo docker build -t ovs-docker .
 143     fi
 144
 145     CONTAINER=`sudo docker run -itd --privileged --cap-add ALL --name=ovs-node-"$NODE" ovs-docker`
 146
 147     if [ $? -ne 0 ]; then
 148        echo >&2 "$UTIL: Failed to start container $NODE"
 149        exit 1
 150     fi
 151
 152     STATUS=""
 153     while [ "$STATUS" != "EXITED" ]; do
 154        STATUS=`sudo docker exec "$CONTAINER" supervisorctl status configure-ovs |\
 155           awk '{print $2}'`
 156     done
 157     CONTAINER_GW=`sudo docker inspect -f '{{ .NetworkSettings.Gateway }}' "$CONTAINER"`
 158     CONTAINER_IP=`sudo docker inspect -f '{{ .NetworkSettings.IPAddress }}' "$CONTAINER"`
 159
 160     # Create a container bridge as integration for all guests
 161     if d_ovs_vsctl "$CONTAINER" br-exists br-int; then :; else
 162         d_ovs_vsctl "$CONTAINER" add-br br-int
 163         d_ovs_vsctl "$CONTAINER" add-port br-int patch-tun -- \
 164            set interface patch-tun type=patch option:peer=patch-int
 165     fi
 166
 167
 168     # Create a container bridge as endpoint for all tunnels
 169     if d_ovs_vsctl "$CONTAINER" br-exists br-tun; then :; else
 170         d_ovs_vsctl "$CONTAINER" add-br br-tun
 171         d_ovs_vsctl "$CONTAINER" add-port br-tun patch-int -- \
 172            set interface patch-int type=patch option:peer=patch-tun
 173     fi
 174
 175     # Setup the tunnel
 176     if [ "$TUN" == "vxlan" ]; then
 177         TUN_OPT="type=vxlan"
 178     elif [ "$TUN" == "vxlan-gpe" ]; then
 179         TUN_OPT="type=vxlan option:exts=gpe"
 180     else
 181         TUN_OPT=""
 182     fi
 183
 184     if [ -z "$TUN" ]; then :; else
 185         ovs_vsctl add-port br-tun vtep-node-"$NODE" -- \
 186             set interface vtep-node-"$NODE" $TUN_OPT \
 187             option:remote_ip="$CONTAINER_IP" ofport_request="$NODE"
 188         d_ovs_vsctl "$CONTAINER" add-port br-tun vtep -- \
 189             set interface vtep $TUN_OPT \
 190             option:remote_ip="$CONTAINER_GW" ofport_request=10
 191     fi
 192
 193     if [ -z "$ODL" ]; then :; else
 194         d_ovs_vsctl "$CONTAINER" set-manager "tcp:${ODL}:6640"
 195     fi
 196
 197     DO_GUEST="$GUESTS"
 198     until [ $DO_GUEST -eq 0 ]; do
 199         ADDRESS="10.0.${NODE}.${DO_GUEST}/16"
 200         connect_namespace_to_container "ovsnsn${NODE}g$DO_GUEST" "$CONTAINER" \
 201            --ipaddress="$ADDRESS"
 202         let DO_GUEST-=1
 203     done
 204 }
 205
 206 spawn_nodes_and_guests () {
 207
 208     while [ $# -ne 0 ]; do
 209         case $1 in
 210             --nodes=*)
 211                 NODES=`expr X"$1" : 'X[^=]*=\(.*\)'`
 212                 shift
 213                 ;;
 214             --guests=*)
 215                 GUESTS=`expr X"$1" : 'X[^=]*=\(.*\)'`
 216                 shift
 217                 ;;
 218             --tun=*)
 219                 TUN=`expr X"$1" : 'X[^=]*=\(.*\)'`
 220                 shift
 221                 ;;
 222             --odl=*)
 223                 ODL=`expr X"$1" : 'X[^=]*=\(.*\)'`
 224                 shift
 225                 ;;
 226             *)
 227                 echo >&2 "$UTIL spawn: unknown option \"$1\""
 228                 exit 1
 229                 ;;
 230         esac
 231     done
 232
 233     NUM_REGEX="[0-9]+"
 234     TUN_REGEX="vxlan|vxlan-gpe|^$"
 235     IP_REGEX="^$|^(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])$"
 236
 237     if [[ $NODES =~ $NUM_REGEX ]]; then :; else
 238          echo >&2 "$UTIL: NODES has to be a number"
 239          exit 1
 240     fi
 241
 242     if [ $NODES -gt 256 ]; then
 243          echo >&2 "$UTIL: NODES has to be less than 256"
 244          exit 1
 245     fi
 246
 247     if [[ $GUESTS =~ $NUM_REGEX ]]; then :; else
 248          echo >&2 "$UTIL: GUESTS has to be a number"
 249          exit 1
 250     fi
 251
 252     if [ $GUESTS -gt 256 ]; then
 253          echo >&2 "$UTIL: GUESTS has to be less than 256"
 254          exit 1
 255     fi
 256
 257     if [[ $TUN =~ $TUN_REGEX ]]; then :; else
 258          echo >&2 "$UTIL: TYPE has to be vxlan or vxlan-gpe"
 259          exit 1
 260     fi
 261
 262     if [[ $ODL =~ $IP_REGEX ]]; then :; else
 263          echo >&2 "$UTIL: IP has to be a valid ip address"
 264          exit 1
 265     fi
 266
 267     # Make sure ip forwarding is enabled
 268     setup_ip_forwarding
 269
 270     # Create a host bridge as end point for all tunnels
 271     if ovs_vsctl br-exists br-tun; then :; else
 272         ovs_vsctl add-br br-tun
 273         if [ -z "$ODL" ]; then :; else
 274             ovs_vsctl set-manager "tcp:${ODL}:6640"
 275             ovs_vsctl set-controller br-tun "tcp:${ODL}:6633"
 276         fi
 277     fi
 278
 279     DO_NODE="$NODES"
 280     until [ $DO_NODE -eq 0 ]; do
 281        spawn_node "$DO_NODE" "$TUN"
 282        let DO_NODE-=1
 283     done
 284 }
 285
 286 clean() {
 287
 288      for ID in `sudo docker ps -a | awk '/ovs-node-[0-9]+$/ {print $1}'`; do
 289          sudo docker stop "$ID"
 290          sudo docker rm "$ID"
 291      done
 292
 293      for NS in `sudo ip netns list | grep ovsns`; do
 294          sudo ip netns del "$NS"
 295      done
 296
 297      ovs_vsctl del-br br-tun
 298      ovs_vsctl del-manager
 299 }
 300
 301
 302 usage() {
 303     cat << EOF
 304 ${UTIL}: Perform various tasks related with docker-ovs container.
 305 usage: ${UTIL} COMMAND
 306
 307 Commands:
 308   spawn --nodes=NODES --guests=GUESTS --tun=TYPE --odl=IP
 309                     Runs NODES number of docker-ovs instances and attaches
 310                     GUESTS number of namespaces to each instance. If tun
 311                     option is specified, tunnel of such type will be configured
 312                     between the nodes and a host bridge. Types supported are
 313                     vxlan or vxlan-gpe
 314   clean
 315                     Stops containers and deletes namespaces
 316 Options:
 317   -h, --help        display this help message.
 318 EOF
 319 }
 320
 321 UTIL=$(basename $0)
 322 search_path ovs-vsctl
 323 search_path docker
 324
 325 #if [[ $EUID -ne 0 ]]; then
 326 #   echo "This script must be run as root" 1>&2
 327 #   exit 1
 328 #fi
 329
 330 if (sudo ip netns) > /dev/null 2>&1; then :; else
 331     echo >&2 "$UTIL: ip utility not found (or it does not support netns),"\
 332              "cannot proceed"
 333     exit 1
 334 fi
 335
 336 if [ $# -eq 0 ]; then
 337     usage
 338     exit 0
 339 fi
 340
 341 case $1 in
 342     "spawn")
 343         shift
 344         spawn_nodes_and_guests "$@"
 345         exit 0
 346         ;;
 347     "clean")
 348         shift
 349         clean
 350         exit 0
 351         ;;
 352     -h | --help)
 353         usage
 354         exit 0
 355         ;;
 356     *)
 357         echo >&2 "$UTIL: unknown command \"$1\" (use --help for help)"
 358         exit 1
 359         ;;
 360 esac
 361