入门系列之在Ubuntu上安装Drone持续集成环境

发布日期:2019-06-06

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~

本文由小铁匠米兰的v 发表于云+社区专栏

介绍

Drone是一个流行的持续集成和交付平台。它集成了许多流行的版本控制存储库服务,如GitHub,GitLab和Bitbucket,以监视代码更改并在提交时自动构建和测试更改。

在本教程中,我们将演示如何为您的设置完整的Drone持续集成环境。我们将配置受腾讯云SSL保护的Nginx作为Drone的前端。加密对Drone Web界面的请求,并允许CI服务器与源代码服务器安全地集成。

准备

要完成本教程,您需要一台已经设置好可以使用sudo命令的非root账号的CentOS服务器,并且已开启防火墙。没有服务器的同学可以在这里购买,不过我个人更推荐您使用免费的腾讯云开发者实验室进行试验,学会安装后在购买服务器。

为了加密传输的内容,您还需要SSL证书,如何设置此证书**取决于你是否拥有可解析该服务器的域名。

如果你有域名,保护你网站的最简单方法是使用腾讯云SSL证书服务,它提供免费的可信证书。腾讯云SSL证书安装操作指南进行设置。如果你没有域名,建议您先去这里注册一个域名,如果你只是使用此配置进行测试或个人使用,则可以使用自签名证书,不需要购买域名。自签名证书提供了相同类型的加密,但没有域名验证公告。关于自签名证书,你可以参考为Apache创建自签名SSL证书和如何为Nginx创建自签名SSL证书这两篇文章。您需要一个附加到CI服务器的域名才能正确设置它。

同时,您还需要提前安装好Docker、学会使用Docker Compose,并在你的服务器上安装好Nginx,学会配置SSL证书,具体教程如下:

如何在Ubuntu安装Docker如何在Ubuntu安装Docker Compose:按照教程的第二步安装Docker Compose。如何在Ubuntu安装Nginx:在服务器上安装Nginx。如何使用Ubuntu的加密来保护Nginx:使用受信任的腾讯云SSL证书保护Nginx。

完成上述教程后,您的Drone服务器应具有:

sudo为管理任务配置的用户启用了UFW防火墙,阻止除端口2280和443上的SSH,HTTP和HTTPS请求之外的所有连接。已安装Docker和Docker Compose。Nginx服务器配置了由腾讯云提供的SSL证书

接下来我们继续安装教程。

将程序添加到源码存储库

为了监视代码更改以触发构建和测试阶段,Drone将需要访问您的源代码存储库。Drone可以与GitHubGitLabGogsBitbucket CloudBitbucket Server集成。

在本教程中,我们将重点关注与GitHub存储库的集成,其他系统应该与本教程类似。如果您使用的是其他源代码存储库,请按照上面的相应链接了解您需要的软件特定配置。

首先访问您的GitHub帐户。点击右上角的用户图标,然后从下拉菜单中选择设置

接下来,在屏幕左侧的“ 开发人员设置”部分中找到OAuth应用程序项:

在随后的页面上,单击“ 注册新应用程序”

接下来,您将看到OAuth申请注册表:

填写以下字段(这些字段存在于GitHub上。其他存储库提供程序可能有不同的提示):

应用程序名称:您选择用于标识集成的名称。如果您没有特殊需求,“Drone”是一个不错的选择。主页URL:您的Drone服务器的域名。在这里使用https://,因为我们使用的是安全域。应用程序描述:Drone的简单描述及其目的。授权回调URL:这必须是https://,后跟Drone服务器的域名,后跟/authorize。如果我们的域名是example.com,这个文件将是。https://example.com/authorize

准备好后,单击“ 注册应用程序”

在下一页中,您将看到新应用程序的详细信息。我们需要的两个项目是客户端ID客户端密钥

复制这两个值。我们需要这些将Drone连接到我们的GitHub帐户。

拉取Drone Docker镜像并准备配置

可以在服务器上安装和配置Drone。Drone作为Docker容器分发,因此如果我们在Docker Compose文件中使用它,它将自动下载。为了略微加快这个过程,我们可以提前下拉镜像:

docker pull drone/drone:0.7

Drone Docker镜像是一个统一的容器,可以通过几种不同的方式运行。我们将运行一个作为Drone服务器运行的容器,该服务器协调存储库访问,托管Web UI并提供API。使用具有不同设置的相同镜像,我们将另一个容器作为Drone代理运行,该代理负责从配置的存储库构建和测试软件。

我们将使用Docker Compose在Drone主机上运行这两个容器。首先创建一个配置目录来存储我们需要的文件:

sudo mkdir /etc/drone

接下来,我们将在其中创建一些文件来配置我们的服务。

为Drone创建Docker Compose文件

首先,在配置目录中创建一个Docker Compose文件:

sudo nano /etc/drone/docker-compose.yml

我们将Docker Compose文件格式标记为版本“3”。之后,我们将为上述两种服务定义服务。

drone-server服务将启动侦听8000端口的主Drone服务器容器。我们将主机的/var/lib/drone目录安装在容器内,以便Drone可以保留其数据。我们将服务配置其自动重启,并以我们将在/etc/drone/server.env创建的文件中定义的环境变量的形式读取更详细的配置说明。

drone-agent服务使用相同的镜像,从agent命令开始。它接收来自主Drone服务器实例的指令,因此虽然它不需要一般的网络访问,但它确实需要在Drone服务之后启动。它还需要访问Docker的套接字文件来启动容器以运行实际的构建和测试步骤。与drone-server服务一样,此服务也将自动重启并读取/etc/drone/agent.env文件中的环境以进行其他配置。

使用以下Docker Compose文件配置这两个服务。注意文件的YAML格式,因为缩进或格式化中的错误可能导致错误:

version: "3"services: drone-server: image: drone/drone:0.7 ports: - 127.0.0.1:8000:8000 volumes: - /var/lib/drone:/var/lib/drone restart: always env_file: - /etc/drone/server.env drone-agent: image: drone/drone:0.7 command: agent depends_on: - drone-server volumes: - /var/run/docker.sock:/var/run/docker.sock restart: always env_file: - /etc/drone/agent.env

完成后,保存并关闭Docker Compose文件。

配置Drone服务器的环境变量文件

接下来,我们需要为的Docker Compose文件中引用的Drone服务器的环境变量文件。

在打开文件之前,我们应该生成一个强密钥来验证代理和服务器组件。虽然我们的设置将在同一台服务器上同时拥有这两个组件,但随着测试基础架构的扩展,强大的密钥至关重要。在命令行上,输入以下命令生成密钥:

LC_ALL=C </dev/urandom tr -dc A-Za-z0-9 | head -c 65 && echo

此命令临时将shell中的语言设置为有限的字符范围。 然后它从/dev/urandom获取一个随机字节流,并进一步过滤掉任何非字母数字字符。我们将前65个字符作为关键字。

输出看起来与此类似(不要复制下面的值!生成自己的!):

ERmA7xubDvTa8i0wYBlljc9yjT1NJPG7xOlZBwAdMAmBYL4RZE4QngxWcCLowk9KN

复制生成的密钥以在服务器环境文件中使用。创建一个新文件/etc/drone/server.env并在文本编辑器中打开它:

sudo nano /etc/drone/server.env

文件内,我们定义Drone用于连接的环境变量以启动服务,连接到存储库提供程序以及设置帐户授权策略。您需要先从存储库提供程序复制的值才能正确填写值。

首先,设置DRONE_HOSTDRONE_SECRET值。将DRONE_SECRET设置为您在命令行上生成的密钥。DRONE_HOST设置通知Drone其可公开访问的地址。 这应该是您的受腾讯云保护的域名,前面是https://

# Service settingsDRONE_SECRET=secret_generated_on_command_lineDRONE_HOST=https://example.com

接下来,我们将配置与VCS提供程序的集成,在我们的示例中为GitHub。适合您项目的设置可能会有所不同,具体取决于您的需求以及GitHub资产的组织方式。

我们将锁定我们的Drone安装并通过将DRONE_OPEN设置为false来禁用注册。这意味着只有DRONE_ADMIN中指定的GitHub帐户名才能登录。

注意:如果您将协作者作为GitHub组织使用,最好将DRONE_OPEN设置为true并将DRONE_ADMIN替换为DRONE_ORGSDRONE_ORGS设置允许您指定一个或多个允许其成员。Drone将限制注册属于这些组的用户。

确保DRONE_ADMIN包含您的GitHub帐户名称。

然后,通过将DRONE_GITHUB设置为true来激活GitHub集成插件。当我们注册Drone应用程序时,我们将DRONE_GITHUB_CLIENTDRONE_GITHUB_SECRET设置为我们从GitHub OAuth应用程序页面复制的密钥:

# Service settingsDRONE_SECRET=secret_generated_on_command_lineDRONE_HOST=https://example.com# Registration settingsDRONE_OPEN=falseDRONE_ADMIN=sammytheshark# GitHub SettingsDRONE_GITHUB=trueDRONE_GITHUB_CLIENT=Client_ID_from_GitHubDRONE_GITHUB_SECRET=Client_Secret_from_GitHub

我们已完成配置服务器组件。在离开之前,复制DRONE_SECRET文件中的值。配置代理时,我们需要在下一节中设置相同的密钥。完成后保存并关闭文件。

配置Drone Agent的环境变量文件

接下来,我们将为Drone代理组件创建一个环境文件。打开新文件以设置代理环境变量:

sudo nano /etc/drone/agent.env

我们只需要定义两个值。 DRONE_SECRET将匹配sever.env文件中的配置。

DRONE_SERVER设置将配置代理连接到Drone服务器组件的方式。它将以wss://协议前缀开头,表示连接将使用加密的Web套接字,后跟Drone服务器的域名,并在末尾附加/ws/broker

DRONE_SECRET=secret_generated_on_command_lineDRONE_SERVER=wss://example.com/ws/broker

完成后保存并关闭文件。

配置DRONE系统单元文件

现在我们的配置文件就位,我们可以定义一个systemd单元文件来管理Drone服务。

/etc/systemd/system目录中打开一个新的.service文件来配置服务:

sudo nano /etc/systemd/system/drone.service

内部粘贴以下内容:

[Unit]Description=Drone serverAfter=docker.service nginx.service[Service]Restart=alwaysExecStart=/usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml upExecStop=/usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml stop[Install]WantedBy=multi-user.target

第一部分告诉systemd在Docker和Nginx可用后启动此服务。第二部分告诉系统在发生故障时自动重启服务。 然后,它使用Docker Compose和我们之前创建的配置文件定义启动和停止Drone服务的命令。最后,最后一节定义了如何使服务在引导时启动。

完成后保存并关闭文件。

在我们启动Drone服务之前,我们必须配置Nginx。Drone代理需要能够连接到Drone服务器,并且连接依赖于Nginx代理。

配置Nginx到代理请求到Drone

接下来,我们需要修改Nginx的配置以代理对Drone服务器的请求。首先找到处理腾讯云SSL的Nginx配置。通过输入以下内容在所有已启用的服务器块中搜索server_name属性:

grep -R server_name /etc/nginx/sites-enabled

/etc/nginx/sites-enabled/default: server_name example.com/etc/nginx/sites-enabled/default: return 301 https://$server_name$request_uri/etc/nginx/sites-enabled/default: server_name example.com/etc/nginx/sites-enabled/default:# server_name example.com

在上面的输出中,域名(在此实例中为example.com)正在/etc/nginx/sites-enabled/default文件中定义。 您需要编辑与您的域名关联的文件。

您可能也会看到类似这样的内容:

/etc/nginx/sites-enabled/default: server_name _/etc/nginx/sites-enabled/default: return 301 https://$server_name$request_uri/etc/nginx/sites-enabled/default: server_name _/etc/nginx/sites-enabled/default:# server_name example.com

在上面的输出中,server_name _ 表示用作后备机制的服务器块。“_”主机说明符是无效的主机,因此它永远不会匹配。

在配置中,这些配置与listen指令配对,后者设置default_server选项,以便当请求的主机与其他的服务器块不匹配时,将充当默认值。如果找不到与您的域名匹配的server_name定义,则应使用定义这些回退块的文件。

在文本编辑器中打开与您的域最相关的文件:

sudo nano /etc/nginx/sites-enabled/default

在内部,我们将首先在现有server块之外添加两个部分:

upstream drone { server 127.0.0.1:8000}map $http_upgrade $connection_upgrade { default upgrade "" close}server { . . .

第一个块配置一个名为drone的上游请求,我们可以在其中代理请求。server指令定义了如何连接到我们的Drone服务,该服务将在端口8000上运行。

第二个块根据$connection_upgrade变量的值设置一个名为$http_upgrade的用户定义变量,Nginx在收到“Upgrade”HTTP标头时设置该变量。如果收到Upgrade头,Nginx将设置$connection_upgrade变量进行升级。如果没有,它将设置为关闭。 这些变量允许我们在代理WebSocket请求时设置正确的标头。

接下来,找到包含listen 443指令的服务器块。 使用以下指令替换内容。确保注释掉或删除该块中的任何现有配置以避免冲突:

. . .server { listen 443 ssl . . . location / { # try_files $uri $uri/ =404 proxy_pass http://drone include proxy_params proxy_set_header Upgrade $http_upgrade proxy_set_header Connection $connection_upgrade proxy_redirect off proxy_http_version 1.1 proxy_buffering off chunked_transfer_encoding off proxy_read_timeout 86400 } . . .}

proxy_pass行告诉Nginx将此块之外的所有流量传递给我们之前定义的上游。接下来,我们在proxy_params文件中包含一些代理头定义,并根据之前的地图设置添加其他头。然后,我们调整一些其他特定于代理的设置,以确保WebSocket代理正常工作,并确保我们的组件可以有效地进行通信。

完成保存并关闭文件后。

测试并重新启动Nginx和Drone

我们的配置现已完成。我们只需启动或重启我们的服务即可实现配置。

首先,检查Nginx配置是否存在语法错误:

sudo nginx -t

nginx: the configuration file /etc/nginx/nginx.conf syntax is oknginx: configuration file /etc/nginx/nginx.conf test is successful

如果输出指示存在配置问题,请返回并再次检查Nginx配置。重新启动Nginx:

sudo systemctl restart nginx

现在Nginx可用于代理和服务器之间的代理请求,我们可以启动Drone:

sudo systemctl start drone

检查以确保服务能够成功启动:

sudo systemctl status drone

● drone.service - Drone server Loaded: loaded (/etc/systemd/system/drone.service disabled vendor preset: enabled) Active: active (running) since Fri 2017-06-09 21:56:33 UTC 2min 58s ago Main PID: 15225 (docker-compose) Tasks: 5 Memory: 37.7M CPU: 1.544s CGroup: /system.slice/drone.service ├─15225 /usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml up └─15228 /usr/local/bin/docker-compose -f /etc/drone/docker-compose.yml up. . .Jun 09 21:56:35 drone docker-compose[15225]: drone-agent_1 | pipeline: request next execution

如果服务被标记为active (running)并且日志中没有错误,则Drone已启动并正在运行。

如果遇到问题,可以输入以下命令检查Nginx日志:

sudo less /var/log/nginx/error.log

您可以通过输入以下内容来检查Drone日志:

sudo journalctl -u drone

如果一切正常运行,请通过输入以下内容启用Drone:

sudo systemctl enable drone

在Docker和Nginx服务可用后,Drone服务将启动。

登录Drone以授权访问您的存储库

现在Drone已启动并运行,我们可以登录Web界面并授权应用程序使用我们的GitHub帐户。

在Web浏览器中访问服务器的域名以查看Drone Web界面:

https://example.com

在您第一次访问时,系统将提示您登录:

单击登录使用您的GitHub帐户向Drone进行身份验证。如果您当前未登录GitHub,将首先指示您登录GitHub。

之后,系统将提示您允许Drone访问您的GitHub帐户:

查看请求的权限并进行任何调整后,单击授权用户名按钮以授权Drone。

您将被重定向回您的Drone服务器:

现在,您可以激活和配置存储库以自动测试代码。

结论

在本教程中,我们将Drone设置为GitHub项目的持续集成和交付服务器。我们将Drone设为处理身份验证并侦听来自我们的存储库的更改。我们还配置了一个可以运行测试和管理容器的Drone代理。我们还将Nginx配置为安全的反向代理。如果觉得自建太麻烦,不要着急,腾讯云CCI持续集成服务即将开放,云持续集成(Cloud Continuous Integration,CCI)为开发者提供支持多语言,多终端的持续集成服务,包含定时/手动启动构建、查看构建结果及日志、支持快速分发交付、可扩展的自动化测试等功能,为项目的持续集成体系提供上游基础服务,提升项目研发效率。 更多Linux教程请前往腾讯云+社区学习更多知识。


参考文献:《How To Install and Configure Drone on Ubuntu 16.04》

问答

Angular2如何处理http响应?

相关阅读

HTTP/2之服务器推送(Server Push)最佳实践

如何备份你的MySQL数据库

MySQL 8.0 版本功能变更介绍

云学院 · 课程推荐 | 腾讯高级工程师,带你快速入门机器学习

此文已由作者授权腾讯云+社区发布,原文链接:https://cloud.tencent.com/developer/article/1180481?fromSource=waitui

搜索关注公众号「云加社区」,第一时间获取技术干货,关注后回复1024 送你一份技术课程大礼包!

海量技术实践经验,尽在云加社区!