利用容器逃逸实现远程登录k8s集群节点

每个节点都在不同的网络环境下。

他们的共同点都是可以访问内网,

部分是某云学生主机,

部分是跑在家庭网络环境下的虚拟机,

甚至假设中还有一些是树莓派之类的机器。

所以他们另一个共同点是,基本都没有公网IP。

这样一来,我要实现远程登录到某些节点搞事的时候,

只有内网穿透这一条路子了。

使用frp进行内网穿透 - 少数派

sspai.com
图标
https://github.com/fatedier/frp

github.com

内网穿透倒没什么,在公司使用这货长期跑了两年垮大洋穿透也很稳定。

只是...

只是...

只是...

要一台台机器配置一次,要维护一个稳定的公网服务器作为桥接。

就是...麻烦了点。

然后想了下。

当前的kube superedge边缘计算集群本身就实现了4层和7层的内网穿透,

理论上直接使用它的能力也可以做到远程登录的。

于是开始研究了一下怎么实现在只有kubectl环境的机器上,

直接登录k8s容器集群的node节点。

搜了一波之后首先发现的是这个项目。

A kubectl plugin to SSH into Kubernetes nodes using a SSH jump host Pod

github.com
看描述和需求来说,完全符合我的要求。

$ kubectl krew install ssh-jump
照着教程配置好插件,装好环境之后实践了一下。

....

一切都好,就是连不上去。

蛋疼了...

接着又找了一波,发现了一个Redhat老哥的博客。

A consistent, provider-agnostic way to SSH into any Kubernetes node

完美。

我想要的就是这个。

看了下插件代码。luksa/kubectl-plugins看了下插件代码。

https://github.com/luksa/kubectl-plugins/blob/master/kubectl-ssh

github.com

#!/usr/bin/env bash set -e ssh_node() { node=$1 if [ "$node" = "" ]; then node=$(kubectl get node -o name | sed 's/node\///' | tr '\n' ' ') node=${node::-1} if [[ "$node" =~ " " ]]; then echo "Node name must be specified. Choose one of: [$node]" exit 1 else echo "Single-node cluster detected. Defaulting to node $node" fi fi pod=$( kubectl create -o name -f - <<EOF apiVersion: v1 kind: Pod metadata: generateName: ssh-node- labels: plugin: ssh-node spec: nodeName: $node containers: - name: ssh-node image: busybox imagePullPolicy: IfNotPresent command: ["chroot", "/host"] tty: true stdin: true stdinOnce: true securityContext: privileged: true volumeMounts: - name: host mountPath: /host volumes: - name: host hostPath: path: / hostNetwork: true hostIPC: true hostPID: true restartPolicy: Never EOF ) deletePod() { kubectl delete $pod --wait=false } trap deletePod EXIT echo "Created $pod" echo "Waiting for container to start..." kubectl wait --for=condition=Ready $pod >/dev/null kubectl attach -it $pod -c ssh-node } ssh_pod() { # TODO: improve this if [ "$1" == "" ]; then echo "Pod name must be specified." exit 1 fi kubectl exec -it "$@" bash || ( echo "Running bash in pod failed; trying with sh" kubectl exec -it "$@" sh ) } print_usage() { echo "Provider-agnostic way of opening a remote shell to a Kubernetes node." echo echo "Enables you to access a node even when it doesn't run an SSH server or" echo "when you don't have the required credentials. Also, the way you log in" echo "is always the same, regardless of what provides the Kubernetes cluster" echo "(e.g. Minikube, Kind, Docker Desktop, GKE, AKS, EKS, ...)" echo echo "You must have cluster-admin rights to use this plugin." echo echo "The primary focus of this plugin is to provide access to nodes, but it" echo "also provides a quick way of running a shell inside a pod." echo echo "Examples: " echo " # Open a shell to node of a single-node cluster (e.g. Docker Desktop)" echo " kubectl ssh node" echo echo " # Open a shell to node of a multi-node cluster (e.g. GKE)" echo " kubectl ssh node my-worker-node-1" echo echo " # Open a shell to a pod" echo " kubectl ssh pod my-pod" echo echo "Usage:" echo " kubectl ssh node [nodeName]" echo " kubectl ssh pod [podName] [-n namespace] [-c container]" exit 0 } if [ "$1" == "--help" ]; then print_usage fi if [[ "$1" == node/* ]]; then ssh_node ${1:5} elif [ "$1" == "node" ]; then ssh_node $2 elif [[ "$1" == pod/* ]]; then ssh_pod "$@" elif [ "$1" == "pod" ]; then shift ssh_pod "$@" else print_usage fi

认真看了一下这个脚本。

直呼人才啊。

果然是玩Linux的老哥啊。

牛逼啊。

太牛逼了。

太有趣了。

额。

讲人话。

这个脚本使用busybox镜像启动了容器实例,

通过chroot到 /host + 把宿主机所有文件挂在到容器实例的方式,

实现了在容器实例直接对宿主机系统一对一“Copy”(可能表达不太准确),

进而实现直接在这个容器实例中操作宿主机的所有资源。

是的,所有资源。

是的,所有资源。

是的,所有资源。

着这里直接能看到其他程序的进程,

免密码直接操作其他用户的数据。

所谓,

这就是容器逃逸。

然后....

我们的目的确实也达到了。

通过这种方式确实可以直接实现登录任意一台k8s node节点,

再也不需要密码和授权。

总结。

很好玩。

不明镜像确实有风险。

这个世界一直都不太安全。

参考资料:

docker 容器逃逸漏洞(CVE-2020-15257)风险通告

容器逃逸技术概览 - DockOne.io

rambo1412:容器逃逸技术概览

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wssjgp.html