jjb/packaging/openstack-k8s-config-export.sh

   1 #!/bin/bash -l
   2 # SPDX-License-Identifier: EPL-1.0
   3 ##############################################################################
   4 # Copyright (c) 2021 The Linux Foundation and others.
   5 #
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Eclipse Public License v1.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.eclipse.org/legal/epl-v10.html
  10 ##############################################################################
  11 # shellcheck disable=SC2153,SC2034
  12 echo "---> Export K8S cluster config and view nodes"
  13 set -eux -o pipefail
  14
  15 # shellcheck disable=SC1090
  16 . ~/lf-env.sh
  17
  18 OS_TIMEOUT=5             # Wait time in minutes for OpenStack cluster nodes to come up.
  19 CLUSTER_NODE_RETRIES=15  # Number of times to retry waiting for a cluster nodes.
  20 CLUSTER_NODE_SUCCESSFUL=false
  21
  22 os_cloud="${OS_CLOUD:-vex}"
  23 cluster_name="${CLUSTER_NAME}"
  24 node_count="${NODE_COUNT:-2}"
  25
  26 echo "INFO: Wait for the ${CLUSTER_NODE_RETRIES} nodes to come up ...."
  27 for try in $(seq $CLUSTER_NODE_RETRIES); do
  28     sleep 30
  29     mapfile -t OS_NODES < <(openstack --os-cloud "$os_cloud" server list -f value -c "Name" | grep -E ".*k8s.*")
  30     if (( ${#OS_NODES[@]} == $((node_count+1)) )); then
  31         break
  32     fi
  33 done
  34
  35 echo "INFO: Wait until K8S Cluster nodes are active."
  36 for node in "${OS_NODES[@]}"; do
  37     echo "node: $node"
  38     # Get the main node name
  39     if [[ "$node" =~ .*k8s.*master.* ]]; then
  40         MAIN_NODE="${node}"
  41     elif [[ "$node" =~ .*k8s.*node.* ]]; then
  42         K8S_NODE="${node}"
  43     else
  44         echo "ERROR: K8S nodes not online."
  45         exit 1
  46     fi
  47 done
  48
  49 # Get Internal IP of master and update ${KUBECONFIG}
  50 if [[ -n "${MAIN_NODE}" ]]; then
  51     # Add a network for allowing Jenkins node to connect with the K8S nodes
  52     JOB_SUM=$(echo "$JOB_NAME" | sum | awk '{ print $1 }')
  53     VM_NAME="$JOB_NAME-$BUILD_NUMBER"
  54     SERVER_ID="$(openstack --os-cloud vex server show -f value -c id "$(hostname -s)")"
  55     NETWORK_ID="$(openstack --os-cloud vex network show -f value -c id "$SILO-$VM_NAME")"
  56     openstack --os-cloud vex server add network "$SERVER_ID" "$NETWORK_ID"
  57
  58     FACTER_OS=$(/usr/bin/facter operatingsystem | tr '[:upper:]' '[:lower:]')
  59     FACTER_OSVER=$(/usr/bin/facter operatingsystemrelease)
  60     if [ "$FACTER_OS" == "centos" ]; then
  61         ETH1_MAC=$(ip address show eth1 | grep ether | awk -F' ' '{print $2}')
  62         ETH1_SCRIPT="/etc/sysconfig/network-scripts/ifcfg-eth1"
  63         sudo cp /etc/sysconfig/network-scripts/ifcfg-eth0 "$ETH1_SCRIPT"
  64         sudo sed -i "s/eth0/eth1/; s/^HWADDR=.*/HWADDR=$ETH1_MAC/" "$ETH1_SCRIPT"
  65         sudo echo 'PEERDNS=no' | sudo tee -a "$ETH1_SCRIPT"
  66         sudo echo 'DEFROUTE=no' | sudo tee -a "$ETH1_SCRIPT"
  67         cat "$ETH1_SCRIPT"
  68         sudo ifup eth1
  69
  70     elif [ "$FACTER_OS" == "ubuntu" ]; then
  71         case "$FACTER_OSVER" in
  72             18.04)
  73                 ENS3_MAC=$(ip address show ens3 | grep ether | awk -F' ' '{print $2}')
  74                 ENS7_MAC=$(ip address show ens7 | grep ether | awk -F' ' '{print $2}')
  75                 ENS3_SCRIPT="/etc/netplan/50-cloud-init.yaml"
  76                 ENS7_SCRIPT="/etc/netplan/51-cloud-init.yaml"
  77                 sudo cp "$ENS3_SCRIPT" "$ENS7_SCRIPT"
  78                 sudo sed -i "s/ens3/ens7/; s/macaddress: $ENS3_MAC/macaddress: $ENS7_MAC/" "$ENS7_SCRIPT"
  79                 sudo sed -i "s/dhcp: true/d" "$ENS7_SCRIPT"
  80                 cat "$ENS7_SCRIPT"
  81                 sudo netplan apply
  82             ;;
  83             *)
  84                 echo "---> Unknown Ubuntu version $FACTER_OSVER"
  85                 exit 1
  86             ;;
  87         esac
  88     else
  89         echo "---> Unknown OS $FACTER_OS"
  90         exit 1
  91     fi
  92
  93     # print network interfaces
  94     ip address show
  95
  96     # Get internal IP of main node
  97     MAIN_IP=$(openstack --os-cloud "${os_cloud}" server list -f value -c Networks -c Name --name "${SILO}-.*k8s.*-master" | awk -F"'" '{print $4}')
  98
  99     # Get internal IP of worker node in the cluster
 100     mapfile -t NODE_IPS < <(openstack --os-cloud "${os_cloud}" server list -f value -c Networks -c Name --name "${SILO}-.*k8s.*-node" | awk -F"'" '{print $4}')
 101     if (( ${#NODE_IPS[@]} != $((node_count)) )); then
 102         echo "ERROR: Cluster nodes disappered."
 103         exit 1
 104     fi
 105
 106     echo "INFO: Testing Connectivity between the main and Jenkins minon"
 107     ping -c3 "$MAIN_IP"
 108     echo "INFO: Testing Connectivity between the nodes and Jenkins minon"
 109     for nip in "${NODE_IPS[@]}"; do
 110         if [[ -n "${nip}" ]]; then
 111             echo "Ping Node IP Address: $nip"
 112             ping -c3 "${nip}"
 113         fi
 114     done
 115 else
 116     echo "ERROR: Main node did not come up."
 117     exit 1
 118 fi
 119
 120 # Export cluster config.
 121 openstack --os-cloud "$os_cloud" coe cluster config "${cluster_name}"
 122 KUBECONFIG="${WORKSPACE}/config"
 123 export KUBECONFIG
 124
 125 # Update main node IP in KUBECONFIG
 126 if [[ -n ${MAIN_IP} ]]; then
 127     sed -i "s#server:.*#server: https://${MAIN_IP}:6443#" "$KUBECONFIG"
 128     cat "${KUBECONFIG}"
 129 fi
 130
 131 # Print helm and kubectl version
 132 echo "INFO: helm version:"
 133 helm3.7 version
 134 echo "INFO: kubectl version:"
 135 kubectl version