docker容器应用的开发和运行离不开可靠的镜像管理,虽然docker官方也提供了公共的镜像仓库,但是从安全和效率等方面考虑,部署我们私有环境内的registry也是非常必要的。harbor 是由vmware公司开源的企业级的docker registry管理项目,它包括权限管理(rbac)、ldap、日志审核、管理界面、自我注册、镜像复制和中文支持等功能。
harbor 的所有组件都在 dcoker 中部署,所以 harbor 可使用 docker compose 快速部署。
注: 由于 harbor 是基于 docker registry v2 版本,所以 docker 版本必须 > = 1.10.0 docker-compose >= 1.6.0
harbor的目标是帮助用户迅速搭建一个企业级的docker registry服务。它以docker公司开源的registry为基础,额外提供了如下功能:
- 基于角色的访问控制(role based access control)
- 基于策略的镜像复制(policy based image replication)
- 镜像的漏洞扫描(vulnerability scanning)
- ad/ldap集成(ldap/ad support)
- 镜像的删除和空间清理(image deletion & garbage collection)
- 友好的管理ui(graphical user portal)
- 审计日志(audit logging)
- restful api
- 部署简单(easy deployment)
架构图#
- https://github.com/goharbor/harbor
harbor的每个组件都是以docker容器的形式构建的,可以使用docker compose来进行部署。如果环境中使用了kubernetes,harbor也提供了kubernetes的配置文件。
harbor大概需要以下几个容器组成:ui(harbor的核心服务)、log(运行着rsyslog的容器,进行日志收集)、mysql(由官方mysql镜像构成的数据库容器)、nginx(使用nginx做反向代理)、registry(官方的docker registry)、adminserver(harbor的配置数据管理器)、jobservice(harbor的任务管理服务)、redis(用于存储session)。
harbor是一个用于存储和分发docker镜像的企业级registry服务器,整体架构还是很清晰的。下面借用了网上的架构图:
harbor依赖的外部组件#
- -> nginx(即proxy代理层): nginx前端代理,主要用于分发前端页面ui访问和镜像上传和下载流量; harbor的registry,ui,token等服务,通过一个前置的反向代理统一接收浏览器、docker客户端的请求,并将请求转发给后端不同的服务。
- -> registry v2: 镜像仓库,负责存储镜像文件; docker官方镜像仓库, 负责储存docker镜像,并处理docker push/pull命令。由于我们要对用户进行访问控制,即不同用户对docker image有不同的读写权限,registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, registry会通过公钥对token进行解密验证。
- -> database(mysql或postgresql):为core services提供数据库服务,负责储存用户权限、审计日志、docker image分组信息等数据。
harbor自有组件#
- -> core services(admin server): 这是harbor的核心功能,主要提供以下服务:
- -> ui:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。
- -> webhook:为了及时获取registry 上image状态变化的情况, 在registry上配置webhook,把状态变化传递给ui模块。
- -> auth服务:负责根据用户权限给每个docker push/pull命令签发token. docker 客户端向regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向registry进行请求。
- -> api: 提供harbor restful api
- -> replication job service:提供多个 harbor 实例之间的镜像同步功能。
- -> log collector:为了帮助监控harbor运行,负责收集其他组件的log,供日后进行分析。
核心组件#
- proxy:一个nginx的前端代理,代理harbor的registry,ui, token等服务。-通过深蓝色先标识
- db:负责储存用户权限、审计日志、dockerimage分组信息等数据。
- ui:提供图形化界面,帮助用户管理registry上的镜像, 并对用户进行授权。
- jobsevice:jobsevice是负责镜像复制工作的,他和registry通信,从一个registry pull镜像然后push到另一个registry,并记录job_log。通过紫色线标识
- adminserver:是系统的配置管理中心附带检查存储用量,ui和jobserver启动时候回需要加载adminserver的配置。通过灰色线标识;
- registry:镜像仓库,负责存储镜像文件。当镜像上传完毕后通过hook通知ui创建repository,上图通过红色线标识,当然registry的token认证也是通过ui组件完成。通过红色线标识
- log:为了帮助监控harbor运行,负责收集其他组件的log,供日后进行分析。过docker的log-driver把日志汇总到一起,通过浅蓝色线条标识
安装#
1. 下载离线安装包#
- harbor以容器的形式进行部署, 因此可以被部署到任何支持docker的linux发行版, 要使用harbor,需要安装docker和docker-compose编排工具
- 访问harbor release page,下载harbor软件tgz压缩包
- 或执行如下命令 wget https://storage.googleapis.com/harbor-releases/release-2.0.0/harbor-offline-installer-latest.tgz
- 解压tgz压缩包 tar xvf harbor-offline-installer-<version>.tgz
2. 配置 harbor.cfg (harbor.yml)#
注: 新版本是.yaml文件,之前版本是.conf 或者 .cfg文件
- 解压后文件在当前目录下的harbor/目录下 cd harbor/ vim harbor.cfg harbor_admin_password = harbor12345
3. 启动 harbor#
- 配置完后,执行安装脚本 ./install.sh #会拉取好几个镜像下来,及检查环境 note: docker version: 1.12.5 note: docker-compose version: 1.9.0 [step 0]: checking installation environment … …. [step 1]: loading harbor images … …. [step 2]: preparing environment … …. [step 3]: checking existing instance of harbor … …. [step 4]: starting harbor … —-harbor has been installed and started successfully.—- … for more details, please visit https://github.com/vmware/harbor . 安装完成后,会发现解压目录harbor下面多了一个docker-compose.yml文件,里面包含了harbor依赖的镜像和对应容器创建的信息
- 执行 docker-compose ps (执行docker-compose需在包含docker-compose.yml的目录) , 确保 container 的状态都是up (healthy).
- 如果安装一切顺利,通过之前在harbor.cfg配置的hostname即可以访问到前端了.
安装配置问题#
harbor安装 之后,需要用docker-compose ps 命令去查看状态,保证所有docker 容器都是 healthy, 否则 很可能login harbor 失败
如果那个service 启动不正常,就去查看/var/log/harbor/ 下对应的log
owen@swarm-node-107:/disk/harbor_v2.0.0$ ls /var/log/harbor/ -lht
总用量 22m
-rw-r--r-- 1 10000 10000 3.5m 12月 15 23:03 registryctl.log
-rw-r--r-- 1 10000 10000 5.4m 12月 15 23:02 core.log
-rw-r--r-- 1 10000 10000 4.4m 12月 15 23:02 portal.log
-rw-r--r-- 1 10000 10000 4.9m 12月 15 23:02 registry.log
-rw-r--r-- 1 10000 10000 1.2m 12月 15 23:02 proxy.log
-rw-r--r-- 1 10000 10000 392k 12月 15 23:00 redis.log
-rw-r--r-- 1 10000 10000 1.6m 12月 15 23:00 jobservice.log
-rw-r--r-- 1 10000 10000 53k 12月 14 21:42 postgresql.log
-rw-r--r-- 1 10000 10000 65k 7月 7 23:35 clair.log
-rw-r--r-- 1 10000 10000 1.2k 7月 5 11:43 clair-adapter.log
-rw-r--r-- 1 10000 10000 1.4k 7月 5 11:38 chartmuseum.log
修改harbor的运行配置,需要如下步骤:
# 停止 harbor
docker-compose down -v
# 修改配置
vim harbor.cfg
# 执行./prepare已更新配置到docker-compose.yml文件
./prepare
# 启动 harbor
docker-compose up -d
问题-1 服务启动异常#
ubuntu@172-20-16-51:/opt/harbor$ docker login 192.20.16.51
username: admin
password:
error response from daemon: login attempt to http://192.20.16.51/v2/ failed with status: 502 bad gateway
harbor-db service 不能正常启动,最后查看postgresql.log 发现下面 message.
| initdb: directory "/var/lib/postgresql/data" exists but is not empty
| if you want to create a new database system, either remove or empty
| the directory "/var/lib/postgresql/data" or run initdb
| with an argument other than "/var/lib/postgresql/data".
因为当时/data/datebase 目录下,确实不是empty, 手动改了docker-compose.yml ,然后 docker-compose up -d 重新启动容器,服务正常
postgresql:
image: goharbor/harbor-db:v2.0.0
container_name: harbor-db
restart: always
cap_drop:
- all
cap_add:
- chown
- dac_override
- setgid
- setuid
volumes:
- /data/database:/var/lib/postgresql/data:z
问题-2- dial tcp xxx.xxx.xxx.xxx:443: connect: connection refused#
# docker login 192.20.16.51:80
username: admin
password:
error response from daemon: get https://192.20.16.51:80/v2/: http: server gave http response to https client
或者
error response from daemon: get https://192.168.31.107/v2/: dial tcp 192.168.31.107:443: connect: connection refused
docker1.3.2版本开始默认docker registry使用的是https,·harbor默认安装使用的是http协议·,所以当执行用docker login、pull、push等命令操作非https的docker regsitry的时就会报错。
临时解决办法:需要在每一台harbor客户端机器都要设置”insecure-registries” (彻底解决需要启动harbor https证书)
- 如果系统是macos,则可以点击“preference”里面的“advanced”在“insecure registry”里加上hostname (e.g. docker.bksx.com),重启docker客户端就可以了。
- 如果系统是ubuntu,则修改配置文件/lib/systemd/system/docker.service,修改[service]下execstart参数,增加–insecure-registry hostname (e.g. docker.bksx.com)
- 如果系统是centos,可以修改配置/etc/sysconfig/docker,将options增加 –insecure-registry hostname (e.g. docker.bksx.com)
如果是新版本的docker在/etc/sysconfig/ 没有docker这个配置文件的情况下。
#在daemon.json中添加以下参数
[root@localhost harbor]# cat /etc/docker/daemon.json
{
"insecure-registries": [
"hostname"
]
}
注意:该文件必须符合 json 规范,否则 docker 将不能启动。另外hostname 必须与harbor.cfg 里的hostname 一致。
添加完了后重新启动 docker:systemctl daemon-reload && systemctl enable docker && systemctl restart docker
登录后,账号信息都保存到本机的~/.docker/config.json
owen@swarm-manager-105:~/gitee/vnote_notebooks$ docker login 192.168.31.107
username: admin
password:
warning! your password will be stored unencrypted in /home/owen/.docker/config.json.
configure a credential helper to remove this warning. see
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
login succeeded
owen@swarm-manager-105:~/gitee/vnote_notebooks$ cat ~/.docker/config.json
{
"auths": {
"192.168.31.107": {
"auth": "ywrtaw46sgfyym9ymtizndu="
}
},
"httpheaders": {
"user-agent": "docker-client/19.03.14 (linux)"
}