jjb/packaging/openstack-k8s-config-export.sh

   1 #!/bin/bash -l
   2 # SPDX-License-Identifier: EPL-1.0
   3 ##############################################################################
   4 # Copyright (c) 2021 The Linux Foundation and others.
   5 #
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Eclipse Public License v1.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.eclipse.org/legal/epl-v10.html
  10 ##############################################################################
  11 # shellcheck disable=SC2153,SC2034
  12 echo "---> Export K8S cluster config and view nodes"
  13 set -eux -o pipefail
  14
  15 # shellcheck disable=SC1090
  16 . ~/lf-env.sh
  17
  18 lf-activate-venv --python python3 \
  19     kubernetes \
  20     python-heatclient \
  21     python-openstackclient \
  22     yq
  23
  24 OS_TIMEOUT=5             # Wait time in minutes for OpenStack cluster nodes to come up.
  25 CLUSTER_NODE_RETRIES=15  # Number of times to retry waiting for a cluster nodes.
  26 CLUSTER_NODE_SUCCESSFUL=false
  27
  28 os_cloud="${OS_CLOUD:-vex}"
  29 cluster_name="${CLUSTER_NAME}"
  30 node_count="${NODE_COUNT:-2}"
  31
  32 echo "INFO: Wait for the ${CLUSTER_NODE_RETRIES} nodes to come up ...."
  33 for try in $(seq $CLUSTER_NODE_RETRIES); do
  34     sleep 30
  35     mapfile -t OS_NODES < <(openstack --os-cloud "$os_cloud" server list -f value -c "Name" | grep -E ".*k8s.*")
  36     if (( ${#OS_NODES[@]} == $((node_count+1)) )); then
  37         break
  38     fi
  39 done
  40
  41 echo "INFO: Wait until K8S Cluster nodes are active."
  42 for node in "${OS_NODES[@]}"; do
  43     echo "node: $node"
  44     # Get the main node name
  45     if [[ "$node" =~ .*k8s.*master.* ]]; then
  46         MAIN_NODE="${node}"
  47     elif [[ "$node" =~ .*k8s.*node.* ]]; then
  48         K8S_NODE="${node}"
  49     else
  50         echo "ERROR: K8S nodes not online."
  51         exit 1
  52     fi
  53 done
  54
  55 # Get Internal IP of master and update ${KUBECONFIG}
  56 if [[ -n "${MAIN_NODE}" ]]; then
  57     # Add a network for allowing Jenkins node to connect with the K8S nodes
  58     JOB_SUM=$(echo "$JOB_NAME" | sum | awk '{ print $1 }')
  59     VM_NAME="$JOB_NAME-$BUILD_NUMBER"
  60     SERVER_ID="$(openstack --os-cloud vex server show -f value -c id "$(hostname -s)")"
  61     NETWORK_ID="$(openstack --os-cloud vex network show -f value -c id "$SILO-$VM_NAME")"
  62     openstack --os-cloud vex server add network "$SERVER_ID" "$NETWORK_ID"
  63
  64     FACTER_OS=$(/usr/bin/facter operatingsystem | tr '[:upper:]' '[:lower:]')
  65     FACTER_OSVER=$(/usr/bin/facter operatingsystemrelease)
  66     if [ "$FACTER_OS" == "centos" ]; then
  67         ETH1_MAC=$(ip address show eth1 | grep ether | awk -F' ' '{print $2}')
  68         ETH1_SCRIPT="/etc/sysconfig/network-scripts/ifcfg-eth1"
  69         sudo cp /etc/sysconfig/network-scripts/ifcfg-eth0 "$ETH1_SCRIPT"
  70         sudo sed -i "s/eth0/eth1/; s/^HWADDR=.*/HWADDR=$ETH1_MAC/" "$ETH1_SCRIPT"
  71         sudo echo 'PEERDNS=no' | sudo tee -a "$ETH1_SCRIPT"
  72         sudo echo 'DEFROUTE=no' | sudo tee -a "$ETH1_SCRIPT"
  73         cat "$ETH1_SCRIPT"
  74         sudo ifup eth1
  75
  76     elif [ "$FACTER_OS" == "ubuntu" ]; then
  77         case "$FACTER_OSVER" in
  78             18.04)
  79                 ENS3_MAC=$(ip address show ens3 | grep ether | awk -F' ' '{print $2}')
  80                 ENS7_MAC=$(ip address show ens7 | grep ether | awk -F' ' '{print $2}')
  81                 ENS3_SCRIPT="/etc/netplan/50-cloud-init.yaml"
  82                 ENS7_SCRIPT="/etc/netplan/51-cloud-init.yaml"
  83                 sudo cp "$ENS3_SCRIPT" "$ENS7_SCRIPT"
  84                 sudo sed -i "s/ens3/ens7/; s/macaddress: $ENS3_MAC/macaddress: $ENS7_MAC/" "$ENS7_SCRIPT"
  85                 sudo sed -i "s/dhcp: true/d" "$ENS7_SCRIPT"
  86                 cat "$ENS7_SCRIPT"
  87                 sudo netplan apply
  88             ;;
  89             *)
  90                 echo "---> Unknown Ubuntu version $FACTER_OSVER"
  91                 exit 1
  92             ;;
  93         esac
  94     else
  95         echo "---> Unknown OS $FACTER_OS"
  96         exit 1
  97     fi
  98
  99     # print network interfaces
 100     ip address show
 101
 102     # Get internal IP of main node
 103     MAIN_IP=$(openstack --os-cloud "${os_cloud}" server list -f value -c Networks -c Name --name "${SILO}-.*k8s.*-master" | awk -F"'" '{print $4}')
 104
 105     # Get internal IP of worker node in the cluster
 106     mapfile -t NODE_IPS < <(openstack --os-cloud "${os_cloud}" server list -f value -c Networks -c Name --name "${SILO}-.*k8s.*-node" | awk -F"'" '{print $4}')
 107     if (( ${#NODE_IPS[@]} != $((node_count)) )); then
 108         echo "ERROR: Cluster nodes disappered."
 109         exit 1
 110     fi
 111
 112     echo "INFO: Testing Connectivity between the main and Jenkins minon"
 113     ping -c3 "$MAIN_IP"
 114     echo "INFO: Testing Connectivity between the nodes and Jenkins minon"
 115     for nip in "${NODE_IPS[@]}"; do
 116         if [[ -n "${nip}" ]]; then
 117             echo "Ping Node IP Address: $nip"
 118             ping -c3 "${nip}"
 119         fi
 120     done
 121 else
 122     echo "ERROR: Main node did not come up."
 123     exit 1
 124 fi
 125
 126 # Export cluster config.
 127 openstack --os-cloud "$os_cloud" coe cluster config "${cluster_name}"
 128 KUBECONFIG="${WORKSPACE}/config"
 129 export KUBECONFIG
 130
 131 # Update main node IP in KUBECONFIG
 132 if [[ -n ${MAIN_IP} ]]; then
 133     sed -i "s#server:.*#server: https://${MAIN_IP}:6443#" "$KUBECONFIG"
 134     cat "${KUBECONFIG}"
 135 fi
 136
 137 # Print helm and kubectl version
 138 echo "INFO: helm version:"
 139 helm3.7 version
 140 echo "INFO: kubectl version:"
 141 kubectl version