容器中的磁盘文件生命周期比较短暂,在一些比较复杂的容器应用中会产生一些问题。一、容器crash后,kubelet会重启该容器,但这些文件会丢失掉。二、pod中的多个容器经常需要共享文件。因此,Kubernetes的Volume应然而生,用于解决这些问题。
背景 在Docker中,也有volumes这个概念,volume只是磁盘上一个简单的目录,或者其他容器中的volume。生命周期也不受管理,并且直到最近他们都是基于本地后端存储的。Docker现在也提供了volume driver,但是现在来说功能也较弱(比如官网提到的Ceph volume driver,现在已经没有维护了)。
Kubernetes的volume,有着明显的生命周期——和使用它的pod生命周期一致。因此,volume生命周期就比运行在pod中的容器要长久,即使容器重启,volume上的数据依然保存着。当然,pod不再存在时,volume也就消失了。更重要的是,Kubernetes支持多种类型的volume,并且pod可以同时使用多种类型的volume。
内部实现中,volume只是一个目录,目录中可能有一些数据,pod的容器可以访问这些数据。这个目录是如何产生的,它后端基于什么存储介质,其中的数据内容是什么,这些都由使用的特定volume类型来决定。
要使用volume,pod需要指定volume的类型和内容(spec.volumes字段),和映射到容器的位置(spec.containers.volumeMounts字段)。
容器中的进程可以看到Docker image和volumes组成的文件系统。Docker image处于文件系统架构的root,任何volume都映射在镜像的特定路径上。Volume不能映射到其他volume上,或者硬链接到其他volume。容器中的每个容器必须堵路地指定他们要映射的volume。
Kubernetes支持很多种类的volume,包括:emptyDir、hostPath、gcePersistentDisk、awsElasticBlockStore、nfs、iscsi、flocker、glusterfs、rbd、cephfs、gitRepo、secret、persistentVolumeClaim、downwardAPI、azureFileVolume、azuRedisk、vsphereVolume、Quobyte、PortworxVolume、ScaleIO。
emptyDir 当Pod被分配到一个Node上时,emptyDir volume就第一次被创建,只要Pod还运行在该Node上,该volume就一直存在。就像它名字里介绍的一样,它初始化时是空的。pod中的容器都能够完全读写emptyDir volume中相同文件,即使volume可能被映射到每个容器中不同的路径下。任何情况下,一旦pod从该Node上移除了,emptyDir volume中的数据就被永久删除了。注意:容器crash并不会在Node上删除pod,因此emptyDir volume中的数据依然是安全的。
emptyDir volume的使用场景有:
1) 临时空间,如基于磁盘的排序场景等;
2) 从crash中通过checkpointing做长时间的计算恢复;
默认的,emptyDir volume可以存储在任何后端介质之上——普通磁盘、ssd或网络存储,这都取决于你的环境。然而,你也可以设置emptyDir.medium字段为Memory,告诉Kubernetes映射tmpfs(基于RAM的文件系统)。tmpfs速度非常快,但要小心它和磁盘不同,一旦机器重启,tmpfs就会被清空,并且,tmpfs上写文件会受到容器内存的限制。
pod示例:
hostPath volume映射node文件系统中的文件或者目录到pod里。大多数Pod都不需要这个功能,但对于一些特定的场景,该特性还是很有作用的。这些场景包括:
1) 运行的容器需要访问Docker内部结构:使用hostPath映射/var/lib/docker
2) 在容器中运行cAdvisor,使用hostPath映射/dev/cgroups
不过,使用这种volume要小心,因为:
1) 配置相同的pod(如通过podTemplate创建),可能在不同的Node上表现不同,因为不同节点上映射的文件内容不同
2) 当Kubernetes增加了资源敏感的调度程序,hostPath使用的资源不会被计算在内
3) 宿主机下创建的目录只有root有写权限。你需要让你的程序运行在privileged container上,或者修改宿主机上的文件权限。
pod示例: