Setup Kubernetes Cluster dengan Kubeadm dan cri-dockerd

Table of Contents

Panduan ini akan membahas cara membangun kubernetes cluster dengan kubeadm.

Kubeadm merupakan alat untuk membantu menyiapkan kluster kubernetes yang dapat berfungsi dalam waktu yang lebih singkat.

Kubeadm Setup Prerequisites
#

Simulasi ini memerlukan setidaknya 2 VM, 1 sebagai master dan 1 lagi sebagai worker dengan ketentuan seperti berikut.

Master node minimal memilki 2 vCPU dan RAM 2GB
Worker node minimal 1vCPU dan 2 GB RAM

Enable iptables Bridged Traffic
#

Eksekusi perintah berikut pada semua node.

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
EOF

sudo modprobe overlay
sudo modprobe br_netfilter
sudo modprobe ip_vs
sudo modprobe ip_vs_rr
sudo modprobe ip_vs_wrr
sudo modprobe ip_vs_sh
sudo modprobe nf_conntrack

# sysctl params required by setup, params persist across reboots
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

# Apply sysctl params without reboot
sudo sysctl --system

Selanjutnya install package.

yum -y install vim bash-completion wget curl yum-utils lvm2 device-mapper-persistent-data iproute-tc

Install Docker Engine Runtime
#

Kluster kubernetes membutuhkan setidaknya satu dari container runtime seperti berikut.

CRI-O
Containerd
Docker Engine (using cri-dockerd)

Pada simulasi ini akan menggunakan Docker Engine.

Eksekusi perintah berikut pada semua node

Install docker.

curl -fsSL https://get.docker.com -o get-docker.sh
sh get-docker.sh

Lalu install cri-dockerd.

yum -y install https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.4/cri-dockerd-0.3.4-3.el8.x86_64.rpm

Setting driver cgroup dengan membuat file /etc/docker/daemon.json lalu salin konfigurasi berikut.

{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "insecure-registries": [
     "k8s.gcr.io",
     "docker.io",
     "quay.io",
     "registry.access.redhat.com"
  ]
}

Start dan enable service docker cri-docker

systemctl enable --now docker cri-docker

Install Kubeadm & Kubelet & Kubectl
#

Eksekusi setiap langkah dibawah ini pada semua node

Buat file repo /etc/yum.repos.d/kubernetes.repo lalu edit seperti berikut.

[kubernetes]
name=Kubernetes
baseurl=http://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl

Konfig exclude membuat package tidak dapat diupdate secara langsung sehingga versi kubeadm dengan container runtime tetap sama.

Selanjutnya install kubelet, kubeadm, kubectl

yum -y --disableexcludes=kubernetes install kubelet kubeadm kubectl cri-tools-1.26.0-0

Enable kubelet service

systemctl enable kubelet

Initialize Kubeadm Master Node
#

Setting environment berikut dan ganti bagian IPADDR dengan IP Master node

IPADDR="192.168.100.11"
NODENAME=$(hostname -s)
POD_CIDR="10.10.0.0/16"

Setup master node sebagai control plane

kubeadm init --apiserver-advertise-address=$IPADDR \
--apiserver-cert-extra-sans=$IPADDR \
--pod-network-cidr=$POD_CIDR --node-name $NODENAME \
--control-plane-endpoint control-plane.srv1.host \
--cri-socket /run/cri-dockerd.sock

Pastikan control-plane.srv1.host sudah disetting A record ke IP master node. Jika tidak memiliki DNS local maka opsi –control-plane-endpoint tidak perlu dipakai. {: .prompt-tip }

Setelah proses init selesai, Anda akan mendapatkan output berserta lokasi file kubeconfig dan perintah join untuk dieksekusi pada Worker node.

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.100.11:6443 --token owlp40.q6v9qu0yik7zucks \
        --discovery-token-ca-cert-hash sha256:59b3839365a47f92c81d038c6c5cede20cb575828819b7a45edd8934c9936cab

Simpan output tersebut untuk digunakan ketika menghubungkan control plane ke worker.

Selanjutnya jalankan perintah berikut agar kubectl dapat berinteraksi dengan cluster API

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

Atau bisa juga dengan cara alternatif seperti

export KUBECONFIG=/etc/kubernetes/admin.conf

Verifikasi kubeconfig dengan menjalankan perintah kubectl pada namespace kube-system

kubectl get pods -n kube-system

NAME                          READY   STATUS    RESTARTS   AGE
coredns-5d78c9869d-gjpfr      1/1     Running   0          20m
coredns-5d78c9869d-xwt74      1/1     Running   0          20m
etcd-man                      1/1     Running   1          20m
kube-apiserver-man            1/1     Running   1          20m
kube-controller-manager-man   1/1     Running   1          20m
kube-proxy-92w5l              1/1     Running   0          20m
kube-scheduler-man            1/1     Running   1          20m

Untuk cek status health cluster

kubectl get --raw='/readyz?verbose'

Cek info cluster

kubectl cluster-info

Cek pods di semua namespace

kubectl get pods -A

Cek logs pods

kubectl logs -n kube-system kube-controller-manager-man

Cek events pods

kubectl get events -n kube-system

Masuk ke mode terminal container

kubectl exec -it -n kube-system pod/etcd-man -- bash

Install flannel Network Plugin
#

Setelah membuat cluster dengan kubeadm. Selanjutnya Anda dapat men-deploy network pod ke cluster.

Untuk referensi plugin network dan plugin lain dapat Anda cek melalui Addon Kubernetes

Unduh manifest flannel

wget https://github.com/flannel-io/flannel/releases/download/v0.22.0/kube-flannel.yml

Edit network 10.244.0.0/16 menyesuaikan POD_CIDR.

  net-conf.json: |
    {
      "Network": "10.10.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

Deploy flannel network plugin ke cluster

kubectl apply -f kube-flannel.yml

Tunggu beberapa saat lalu cek pods pada namespace kube-system untuk memastikan flannel sudah berhasil di-deploy.

# kubectl get pods -n kube-flannel
NAME                    READY   STATUS    RESTARTS     AGE
kube-flannel-ds-9r9f5   1/1     Running   1 (9h ago)   9h

Join Worker Nodes To Kubernetes Master Node
#

Untuk menambahkan worker ke master node, gunakan perintah join yang Anda dapat setelah membuat cluster dengan kubeadm.

kubeadm join 192.168.100.11:6443 --token owlp40.q6v9qu0yik7zucks \
--discovery-token-ca-cert-hash sha256:59b3839365a47f92c81d038c6c5cede20cb575828819b7a45edd8934c9936cab

Jika Anda kehilangan token atau lupa menyalinnya. Anda dapat membuat token dengan perintah

kubeadm token create --print-join-command

kubeadm join 192.168.100.11:6443 --token ryrezn.kj86cqm9p39wlmb0 \
--discovery-token-ca-cert-hash sha256:1edc1ac23b1cf0ff3b00742de1f7d894f19286a19acf6a1a692a74f057e48732

Cek node pada cluster kubernetes

kubectl get nodes

NAME        STATUS   ROLES           AGE     VERSION
man         Ready    control-plane   173m    v1.27.3
worker1     Ready    <none>          2m23s   v1.27.3

Roles <none> sama dengan role worker. Anda juga dapat menabambahkan label untuk menandai jika node tersebut merupakan worker dengan perintah

kubectl label node worker1 node-role.kubernetes.io/worker=worker

NAME        STATUS   ROLES           AGE     VERSION
man         Ready    control-plane   3h      v1.27.3
worker1     Ready    worker          9m10s   v1.27.3

Setup Kubernetes Metrics Server
#

Kubernetes Metrics Server berfungsi untuk mengetahui pemakaian resource pada setiap nodes dan pods.

Untuk install metric server

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.3/components.yaml

Selanjutnya edit pod metric server dengan menambahkan konfig hostNetwork dan --kubelet-insecure-tls

KUBE_EDITOR="nano" kubectl edit \
-n kube-system \
-f https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.6.3/components.yaml

- apiVersion: apps/v1
  kind: Deployment
  metadata:
...
      spec:
        hostNetwork: true
        containers:
        - args:
          - --cert-dir=/tmp
          - --secure-port=4443
          - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
          - --kubelet-use-node-status-port
          - --metric-resolution=15s
          - --kubelet-insecure-tls=true
...

Edit pod metric apabila Anda mendapatkan error because it doesn’t contain any IP SANs" node="" yang menyebabkan pod tidak ready. {: .prompt-tip }

Tunggu pod metric server ready. Lalu coba test dengan perintah

kubectl top node
kubectl top pods -A

Deploy A Sample Nginx Application
#

Setelah semua komponen untuk membuat klaster kubernetes sudah di-deploy dan berfungsi. Selanjutnya buat sampel aplikasi dengan menggunakan Nginx untuk pengetesan.

Buat file deployment.yaml. Edit seperti berikut

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        - containerPort: 80

Lalu buat file service.yaml dan edit untuk mengekspos Nginx deployment ke external IP.

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  allocateLoadBalancerNodePorts: true
  externalIPs:
  - 172.12.70.129
  externalTrafficPolicy: Cluster
  internalTrafficPolicy: Cluster
  ipFamilies:
  - IPv4
  ipFamilyPolicy: SingleStack
  ports:
  - nodePort: 31460
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  type: LoadBalancer
status:
  loadBalancer: {}

External IP yang akan digunakan harus terpasang pada interface salah satu node didalam cluster {: .prompt-tip }

Deploy ke dalam cluster

kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

Contoh full script dapat Anda temukan pada sample-app.yaml

Setelah pods running di node worker. Test akses nginx melalui http://172.12.70.129

Reset Cluster
#

Untuk reset atau menghapus cluster agar dapat dimulai dari awal (‘kubeadm init’ or ‘kubeadm join’)

kubeadm reset -f

Kubeadm Setup Prerequisites #

Enable iptables Bridged Traffic #

Install Docker Engine Runtime #

Install Kubeadm & Kubelet & Kubectl #

Initialize Kubeadm Master Node #

Install flannel Network Plugin #

Join Worker Nodes To Kubernetes Master Node #

Setup Kubernetes Metrics Server #

Deploy A Sample Nginx Application #

Reset Cluster #

Related