Docker重学系列之Docker Compose
- Docker Compose
-
- 简介
- 安装与卸载
-
- 1.linux
- 2.macos、window
- 3.bash命令补全
- 4.卸载
- 5.测试安装成功
- docker compose使用
-
- docker compose 使用实例演示
- docker-compose 模板文件
-
- build
- command
- container_name
- depends_on
- env_file
- environment
- expose
- healthcheck
- image
- labels
- networks
- ports
- secrets
- sysctls
- ulimits
- volumes
- restart
- read_only
- working_dir
- 读取变量
- Compose 命令说明
-
- 命令对象与格式
- 命令选项
- 命令使用说明
-
- `up`
- `down`
- `build`
- `exec`
- `images`
- `ps`
- `restart`
- `rm`
- `start`
- `stop`
- `top`
- `unpause`
- `pause`
- `logs`
- 总结
为什么我们需要Docker Compose?
这样挨个启动容器,是不是很烦人,能不能写个脚本,按照依赖顺序依次启动相应容器呢?
---- Docker compose它来了
Docker Compose
简介
Compose
项目是 Docker 官方的开源项目,负责实现对 Docker 容器集群的快速编排。从功能上看,跟 OpenStack
中的 Heat
十分类似。
其代码目前在 https://github.com/docker/compose 上开源。
Compose
定位是 「定义和运行多个 Docker 容器的应用(Defining and running multi-container Docker applications)」,其前身是开源项目 Fig。
通过第一部分中的介绍,我们知道使用一个 Dockerfile
模板文件,可以让用户很方便的定义一个单独的应用容器。然而,在日常工作中,经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目,除了 Web 服务容器本身,往往还需要再加上后端的数据库服务容器,甚至还包括负载均衡容器等。
Compose
恰好满足了这样的需求。它允许用户通过一个单独的 docker-compose.yml
模板文件(YAML 格式)来定义一组相关联的应用容器为一个项目(project)。
Compose
中有两个重要的概念:
- 服务 (
service
):一个应用的容器,实际上可以包括若干运行相同镜像的容器实例。 - 项目 (
project
):由一组关联的应用容器组成的一个完整业务单元,在docker-compose.yml
文件中定义。
Compose
的默认管理对象是项目,通过子命令对项目中的一组容器进行便捷地生命周期管理。
Compose
项目由 Python 编写,实现上调用了 Docker 服务提供的 API 来对容器进行管理。因此,只要所操作的平台支持 Docker API,就可以在其上利用 Compose
来进行编排管理。
安装与卸载
1.linux
- 在 Linux 上的也安装十分简单,从 官方 GitHub Release 处直接下载编译好的二进制文件即可。例如,在 Linux 64 位系统上直接下载对应的二进制包。
$ sudo curl -L https://github.com/docker/compose/releases/download/1.25.5/docker-compose-`uname -s`-`uname -m`
# 这是下载的compose脚本文件存放的位置---之所以默认放置到该目录下,是因为该目录下是配置过环境变量的目录,该脚本可以在任意目录下被执行
> /usr/local/bin/docker-compose
上面github的下载速度会很慢,下面给出国内下载链接:
sudo curl -L https://download.fastgit.org/docker/compose/releases/download/1.27.4/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
# 赋予脚本文件可执行权限
$ sudo chmod +x /usr/local/bin/docker-compose
2.macos、window
- Compose 可以通过 Python 的包管理工具 pip 进行安装,也可以直接下载编译好的二进制文件使用,甚至能够直接在 Docker 容器中运行。
Docker Desktop for Mac/Windows 自带 docker-compose 二进制文件,安装 Docker 之后可以直接使用
。
3.bash命令补全
$ curl -L https://raw.githubusercontent.com/docker/compose/1.25.5/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose
4.卸载
- 如果是二进制包方式安装的,删除二进制文件即可。
$ sudo rm /usr/local/bin/docker-compose
5.测试安装成功
$ docker-compose --version
docker-compose version 1.25.5, build 4667896b
docker compose使用
# 1.相关概念
首先介绍几个术语。
- 服务 (
service
):一个应用容器,实际上可以运行多个相同镜像的实例。 - 项目 (
project
):由一组关联的应用容器组成的一个完整业务单元。∂一个项目可以由多个服务(容器)关联而成,Compose
面向项目进行管理。
# 2.场景
最常见的项目是 web 网站,该项目应该包含 web 应用和缓存。
- springboot应用
- mysql服务
- redis服务
- elasticsearch服务
- …
# 3.docker-compose模板
version: "3.0"
services:
mysqldb:
image: mysql:5.7.19
container_name: mysql
ports:
- "3306:3306"
volumes:
- /root/mysql/conf:/etc/mysql/conf.d
- /root/mysql/logs:/logs
- /root/mysql/data:/var/lib/mysql
environment:
MYSQL_ROOT_PASSWORD: root
networks:
- ems
depends_on:
- redis
redis:
image: redis:4.0.14
container_name: redis
ports:
- "6379:6379"
networks:
- ems
volumes:
- /root/redis/data:/data
command: redis-server
networks:
ems:
# 4.通过docker-compose运行一组容器
[root@centos ~]# docker-compose up //前台启动一组服务
[root@centos ~]# docker-compose up -d //后台启动一组服务
docker compose 使用实例演示
我们下面主要演示一下,启动三个tomcat服务,分别映射8080,8081,8082
#代表使用docker-compose项目的版本号
version: "3.0"
services:
tomcat:
#代表给容器指定一个名称,类似于docker run --name 参数 推荐使用默认名称
# 默认名称前面会加上当前部署项目所在文件名,这样可以区分不同项目下的容器
#container_name: tomcat01
#代表使用哪个容器,类似于docker run指定的镜像名称
image: tomcat:8.0
#代表宿主机和容器中端口映射,类似于docker run -p 参数
ports:
- 8080:8080
tomcat01:
image: tomcat:8.0
ports:
- 8081:8080
tomcat02:
image: tomcat:8.0
ports:
- 8082:8080
redis:
image: redis:5.0.12
ports:
- "8379:8379"
mysql:
image: mysql:5.6
ports:
- "3306:3006"
#代表给当前容器启动指定环境,类似于docker run -e MYSQL_ROOT_PASSWORD=root
environment:
- "MYSQL_ROOT_ENVIRONMENT=root"
# 代表给当前容器和宿主机指定数据卷,类似于docker run -v
#注意: docker-compose使用绝对路径要求必须先创建才能使用
volumes:
#- /root/msyqldatas:/var/lib/mysql
- mysqlData:/var/lib/mysql
volumes:
mysqlData #声明数据卷别名
docker-compose 模板文件
模板文件是使用 Compose
的核心,涉及到的指令关键字也比较多。但大家不用担心,这里面大部分指令跟 docker run
相关参数的含义都是类似的。
默认的模板文件名称为 docker-compose.yml
,格式为 YAML 格式。
version: "3"
services:
webapp:
image: examples/web
ports:
- "80:80"
volumes:
- "/data"
注意每个服务都必须通过 image
指令指定镜像或 build
指令(需要 Dockerfile)等来自动构建生成镜像。
如果使用 build
指令,在 Dockerfile
中设置的选项(例如:CMD
, EXPOSE
, VOLUME
, ENV
等) 将会自动被获取,无需在 docker-compose.yml
中重复设置。
下面分别介绍各个指令的用法。
build
指定 Dockerfile
所在文件夹的路径(可以是绝对路径,或者相对 docker-compose.yml
文件的路径)。 Compose
将会利用它自动构建这个镜像,然后使用这个镜像。
version: '3'
services:
webapp:
build: ./dir
你也可以使用 context
指令指定 Dockerfile
所在文件夹的路径。
使用 dockerfile
指令指定 Dockerfile
文件名。
使用 arg
指令指定构建镜像时的变量。
version: '3'
services:
webapp:
build:
context: ./dir
dockerfile: Dockerfile-alternate
args:
#这里如果Dockerfile中用到了环境变量名为buildno的变量,这里可以传入值
buildno: 1
使用 cache_from
指定构建镜像的缓存
build:
context: .
cache_from:
- alpine:latest
- corp/web_app:3.14
command
覆盖容器启动后+默认执行的命令。
command: echo "hello world"
覆盖的是Dockerfile里面的CMD命令
container_name
指定容器名称。默认将会使用 项目名称_服务名称_序号
这样的格式。
container_name: docker-web-container
注意: 指定容器名称后,该服务将无法进行扩展(scale),因为 Docker 不允许多个容器具有相同的名称。
depends_on
解决容器的依赖、启动先后的问题。以下例子中会先启动 redis
db
再启动 web
version: '3'
services:
web:
build: .
depends_on:
- db
- redis
redis:
image: redis
db:
image: postgres
注意:
web
服务不会等待redis
db
「完全启动」之后才启动。
env_file
从文件中获取环境变量,可以为单独的文件路径或列表。
如果通过 docker-compose -f FILE
方式来指定 Compose 模板文件,则 env_file
中变量的路径会基于模板文件路径。
如果有变量名称与 environment
指令冲突,则按照惯例,以后者为准。
env_file: .env
env_file:
- ./common.env
- ./apps/web.env
- /opt/secrets.env
环境变量文件中每一行必须符合格式,支持 #
开头的注释行。
# common.env: Set development environment
PROG_ENV=development
env_file文件命名,推荐使用.env,因为.开头的文件时隐藏文件
environment
设置环境变量。你可以使用数组或字典两种格式。
只给定名称的变量会自动获取运行 Compose 主机上对应变量的值,可以用来防止泄露不必要的数据。
environment:
RACK_ENV: development
SESSION_SECRET:
environment:
- RACK_ENV=development
- SESSION_SECRET
如果变量名称或者值中用到 true|false,yes|no
等表达 布尔 含义的词汇,最好放到引号里,避免 YAML 自动解析某些内容为对应的布尔语义。这些特定词汇,包括
y|Y|yes|Yes|YES|n|N|no|No|NO|true|True|TRUE|false|False|FALSE|on|On|ON|off|Off|OFF
expose
暴露端口,但不映射到宿主机,只被连接的服务访问。
仅可以指定内部端口为参数
expose:
- "3000"
- "8000"
一般这个会写在Dockerfile中,而不会写在docker-compose中
healthcheck
通过命令检查容器是否健康运行。
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost"]
interval: 1m30s
timeout: 10s
retries: 3
image
指定为镜像名称或镜像 ID。如果镜像在本地不存在,Compose
将会尝试拉取这个镜像。
image: ubuntu
image: orchardup/postgresql
image: a4bc65fd
labels
为容器添加 Docker 元数据(metadata)信息。例如可以为容器添加辅助说明信息。
labels:
com.startupteam.description: "webapp for a startup team"
com.startupteam.department: "devops department"
com.startupteam.release: "rc3 for v1.0"
docker insepct可以查看到
networks
配置容器连接的网络。
version: "3"
services:
some-service:
networks:
- some-network
- other-network
networks:
some-network:
other-network:
声明网桥后,会在docker-compose up指令执行时,先去创建这个网桥,然后将指明在该网桥下的容器,都加入到该网络中来
这种方式创建的网桥,可以使用容器内ip或容器名完成访问
ports
暴露端口信息。
使用宿主端口:容器端口 (HOST:CONTAINER)
格式,或者仅仅指定容器的端口(宿主将会随机选择端口)都可以。
ports:
- "3000"
- "8000:8000"
- "49100:22"
- "127.0.0.1:8001:8001"
注意:当使用 HOST:CONTAINER
格式来映射端口时,如果你使用的容器端口小于 60 并且没放到引号里,可能会得到错误结果,因为 YAML
会自动解析 xx:yy
这种数字格式为 60 进制。为避免出现这种问题,建议数字串都采用引号包括起来的字符串格式。
前面加上ip的话,可以限制哪些ip才可以访问到容器
secrets
存储敏感数据,例如 mysql 服务密码。
version: "3.1"
services:
mysql:
image: mysql
environment:
MYSQL_ROOT_PASSWORD_FILE: /run/secrets/db_root_password
secrets:
- db_root_password
- my_other_secret
secrets:
my_secret:
file: ./my_secret.txt
my_other_secret:
external: true
sysctls
配置容器内核参数。
sysctls:
net.core.somaxconn: 1024
net.ipv4.tcp_syncookies: 0
sysctls:
- net.core.somaxconn=1024
- net.ipv4.tcp_syncookies=0
ulimits
指定容器的 ulimits 限制值。
例如,指定最大进程数为 65535,指定文件句柄数为 20000(软限制,应用可以随时修改,不能超过硬限制) 和 40000(系统硬限制,只能 root 用户提高)。
ulimits:
nproc: 65535
nofile:
soft: 20000
hard: 40000
volumes
数据卷所挂载路径设置。可以设置为宿主机路径(HOST:CONTAINER
)或者数据卷名称(VOLUME:CONTAINER
),并且可以设置访问模式 (HOST:CONTAINER:ro
)。
该指令中路径支持相对路径。
volumes:
- /var/lib/mysql
- cache/:/tmp/cache
- ~/configs:/etc/configs/:ro
如果路径为数据卷名称,必须在文件中配置数据卷。
version: "3"
services:
my_src:
image: mysql:8.0
volumes:
#使用别名的方式,必须要声明
- mysql_data:/var/lib/mysql
#声明别名数据卷
volumes:
mysql_data:
restart
指定容器退出后的重启策略为始终重启。该命令对保持服务始终运行十分有效,在生产环境中推荐配置为 always 或者 unless-stopped。
restart: always
等同于: docker run --restart=always
read_only
以只读模式挂载容器的 root 文件系统,意味着不能对容器内容进行修改。
read_only: true
working_dir
指定容器中工作目录。
working_dir: /code
该命令建议放在Dockerfile中书写,不建议放在docker-compose.yaml文件中书写
读取变量
Compose
模板文件支持动态读取主机的系统环境变量和当前目录下的 .env
文件中的变量。
例如,下面的 Compose
文件将从运行它的环境中读取变量 ${MONGO_VERSION}
的值,并写入执行的指令中。
version: "3"
services:
db:
image: "mongo:${MONGO_VERSION}"
如果执行 MONGO_VERSION=3.2 docker-compose up 则会启动一个 mongo:3.2 镜像的容器;如果执行 MONGO_VERSION=2.8 docker-compose up 则会启动一个 mongo:2.8 镜像的容器。
若当前目录存在 .env 文件,执行 docker-compose 命令时将从该文件中读取变量。
在当前目录新建 .env 文件并写入以下内容。
# 支持 # 号注释
MONGO_VERSION=3.6
像mysql的容器启动的时候需要指定密码的环境变量,此时mysql的容器发现docker-compose.yml中指定了.env文件,便会去里面寻找自己需要的变量值
Compose 命令说明
命令对象与格式
对于 Compose
来说,大部分命令的对象既可以是项目本身,也可以指定为项目中的服务或者容器。如果没有特别的说明,命令对象将是项目,这意味着项目中所有的服务都会受到命令影响。
执行 docker-compose [COMMAND] --help
或者 docker-compose help [COMMAND]
可以查看具体某个命令的使用格式。
docker-compose
命令的基本的使用格式是
docker-compose [-f=<arg>...] [options] [COMMAND] [ARGS...]
命令选项
- -f, --file FILE 指定使用的 Compose 模板文件,默认为 docker-compose.yml,可以多次指定。
- -p, --project-name NAME 指定项目名称,默认将使用所在目录名称作为项目名。
- --verbose 输出更多调试信息。
- -v, --version 打印版本并退出。
命令使用说明
up
格式为 docker-compose up [options] [SERVICE...]
。
-
该命令十分强大,它将尝试自动完成包括构建镜像,(重新)创建服务,启动服务,并关联服务相关容器的一系列操作。
-
链接的服务都将会被自动启动,除非已经处于运行状态。
-
可以说,大部分时候都可以直接通过该命令来启动一个项目。
-
默认情况,
docker-compose up
启动的容器都在前台,控制台将会同时打印所有容器的输出信息,可以很方便进行调试。 -
当通过
Ctrl-C
停止命令时,所有容器将会停止。 -
如果使用
docker-compose up -d
,将会在后台启动并运行所有的容器。一般推荐生产环境下使用该选项。 -
默认情况,如果服务容器已经存在,
docker-compose up
将会尝试停止容器,然后重新创建(保持使用volumes-from
挂载的卷),以保证新启动的服务匹配docker-compose.yml
文件的最新内容
启动整个项目
docker-compose up -d
启动单独一个服务
docker-compose up -d 服务名
down
对整个项目进行关闭
docker-compose down
对项目中某个服务进行关闭
docker-compose down 服务名
- 此命令将会停止
up
命令所启动的容器,并移除网络、
build
格式为 docker-compose build [options] [SERVICE...]。
构建(重新构建)项目中的服务容器。
服务容器一旦构建后,将会带上一个标记名,例如对于 web 项目中的一个 db 容器,可能是 web_db。
可以随时在项目目录下运行 docker-compose build
来重新构建服务。
选项包括:
- --force-rm 删除构建过程中的临时容器。
- --no-cache 构建镜像过程中不使用 cache(这将加长构建过程)。
- --pull 始终尝试通过 pull 来获取更新版本的镜像。
针对整个项目
docker-compose build
针对某个服务
docker-compose build 服务名
exec
- 进入指定的容器。
docker-compose exec 服务名 bash
images
列出 Compose 文件中包含的镜像。
docker-compose images
ps
格式为 docker-compose ps [options] [SERVICE...]
。
列出项目中目前的所有容器。
选项:
-q
只打印容器的 ID 信息。
docker-compose ps [-q] [服务名]
restart
格式为 docker-compose restart [options] [SERVICE...]
。
重启项目中的服务。
选项:
-t, --timeout TIMEOUT
指定重启前停止容器的超时(默认为 10 秒)。
针对项目或者项目中某个服务
docker-compose restart [-t 20s ] [服务名]
rm
格式为 docker-compose rm [options] [SERVICE...]
。
删除所有(停止状态的)服务容器。推荐先执行 docker-compose stop
命令来停止容器。
选项:
-f, --force
强制直接删除,包括非停止状态的容器。一般尽量不要使用该选项。-v
删除容器所挂载的数据卷
docker-compose rm [-f] [-v] [服务名]
start
格式为 docker-compose start [SERVICE...]
。
启动已经存在的服务容器。
docker-compose start [服务名]
stop
格式为 docker-compose stop [options] [SERVICE...]
。
停止已经处于运行状态的容器,但不删除它。通过 docker-compose start
可以再次启动这些容器。
选项:
-t, --timeout TIMEOUT
停止容器时候的超时(默认为 10 秒)。
docker-compose stop [-t 20s] [服务名]
top
查看各个服务容器内运行的进程。
docker-compose top [服务名]
unpause
格式为 docker-compose unpause [SERVICE...]
。
恢复处于暂停状态中的服务。
docker-compose unpause [服务名]
pause
格式为 docker-compose pause [SERVICE...]。
暂停一个服务容器。
docker-compose pause [服务名]
logs
格式为 docker-compose logs [options] [SERVICE...]。
查看服务容器的输出。默认情况下,docker-compose 将对不同的服务输出使用不同的颜色来区分。可以通过 --no-color 来关闭颜色。
该命令在调试问题的时候十分有用。
docker-compose logs [-f] [服务名]
-f:实时显示
总结
docker命令针对的是容器进行操作,因此docker后面跟着的是容器名或者id。
docker-compose命令针对的是项目和项目里面的服务进行操作,因此docker-compose后面如果不加服务名,默认针对整个项目里面的服务(容器)进行操作,如果加上了服务名,则针对具体服务(容器)进行操作。