#goagent

GoAgent 在启动时会尝试自动往系统的可信根证书中导入一个名为 “GoAgent CA” 的证书。由于这个证书的私钥是公开的，导致任何人都可以利用这个私钥来伪造任意网站的证书进行 HTTPS 中间人攻击。即使在不开启 GoAgent 时，这种攻击的风险仍然存在。换而言之，一旦这个证书被导入，攻击者可以用此绕过几乎所有网站的 HTTPS 保护。

GoAgent 本身对 TLS 证书的认证存在问题，而且默认时不对证书进行检查，这导致在使用 GoAgent 时存在 HTTPS 中间人攻击的风险。

　　事实上曾经有用户在 GoAgent 主页上的问题跟踪列表中指出了这两个安全问题（见以下链接），但既没有修复也没有广泛公开，多数用户，尤其是非中文用户可能并不知情。下面是这两个问题的详细解释。

https://code.google.com/p/goagent/issues/detail?id=11091 https://code.google.com/p/goagent/issues/detail?id=8031

　　GoAgent 导入公开私钥根证书的问题

　　GoAgent 在启动时会尝试在系统中导入一个根证书来避免访问 HTTPS 网站时的证书报警，但在默认情况下所导入证书的私钥是公开的。因为私钥公开，任何人可以作为 “GoAgent CA” 来签发任何网站的证书。即使在 GoAgent 没有启动甚至卸载的情况下，这个公钥仍会遗留在系统中。在有些系统中，GoAgent 所导入的根证书不仅被 GoAgent 默认使用的浏览器信任，其他的浏览器也可能会信任这一根证书，从而受到这一问题的影响。

　　GoAgent 所导入的这一公开私钥根证书的指纹是：

SHA1 Fingerprint=AB:70:2C:DF:18:EB:E8:B4:38:C5:28:69:CD:4A:5D:EF:48:B4:0E:33MD5 Fingerprint=56:B1:20:86:1B:0A:B0:61:38:00:1B:C3:67:CF:0C:CC

　　包含这一 “GoAgent CA” 证书以其私钥（文件中 -----BEGIN RSA PRIVATE KEY----- 位置）的文件 URL 为：

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/local/CA.crt

　　根据版本信息，这一证书和私钥从 2011 年 6 月甚至更早的时间以来一直保持不变。

https://github.com/goagent/goagent/blob/fa9959e577395e48a477fd5495afbc2363a51baa/local/CA.key

　　GoAgent 主要包含两个部分：一个在用户计算机上运行的本地代理程序 proxy.py，以及一个在 GAE 上运行的远程代理程序 gae.py。

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/local/proxy.py https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/server/gae/gae.py

　　安装时，用户需要上传 gae.py 到 GAE。用户浏览器通过设置一个本地代理将 HTTP/HTTPS 请求转发到 proxy.py，再由 proxy.py 和 gae.py 进行通信。

　　默认情况下，GoAgent 在启动时试图导入上述 GoAgent CA 证书。具体的代码为 proxy.py 中的 CertUtil.import_ca：

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/local/proxy.py#L337

　　这个函数会根据用户操作系统通过不同的方式尝试导入证书，在某些情况下会需要管理员（root/administrator）权限。在 Windows 下，这个函数会调用 CertAddEncodedCertificateToStore 这一 API。在 OS X 下，会尝试执行系统命令

security find-certificate -a -c "GoAgent" | grep "GoAgent" >/dev/null || security add-trusted-cert -d -r trustRoot -k "/Library/Keychains/System.keychain" "pwd/CA.crt"

　　在 Ubuntu 下，会拷贝证书文件到 /usr/local/share/ca-certificates 然后执行 update-ca-certificates。在其他 GNU/Linux 发行版中，会尝试执行以下命令更改 NSS 数据库：

certutil -L -d sql:$HOME/.pki/nssdb | grep "GoAgent" || certutil -d sql:$HOME/.pki/nssdb -A -t "C,," -n "GoAgent" -i "pwd/CA.crt"

　　由于 Firefox 采用了不同的方式存储证书，这一自动安装过程不会导入 GoAgent CA 证书到 Firefox 中。但是 GoAgent 的安装指南和 FAQ 中说明了如何手动导入这一证书：

https://code.google.com/p/goagent/wiki/InstallGuide https://code.google.com/p/goagent/wiki/FAQ

　　这一证书随后被 proxy.py 用来作为 HTTPS 中间人来避免浏览器在访问 HTTPS 网站时出现报警。GoAgent 的工作原理如下：首先 proxy.py 将浏览器的 HTTP 请求进行编码并转发给 gae.py，gae.py 完成收到的请求然后将结果进行编码后返回给 proxy.py，最后 proxy.py 将结果转发给浏览器来完成 “翻墙” 过程。由于 GAE 的限制 （免费 app 无法使用 socket 接口），对于 HTTPS 请求，proxy.py 无法进行透明转发，只能作为中间人先和浏览器完成连接，然后获得其中的明文请求以后在转发给 gae.py。当收到 CONNECT 请求（这意味着浏览器正在浏览一个 HTTPS 网站）， proxy.py 首先利用 GoAgent CA 签发一个假的证书来和浏览器完成握手，从用户的角度，所有的 HTTPS 网站的证书都是由事先导入的 “GoAgent CA” 认证的，所以不会报警。有些浏览器会对少数网站的证书进行特别的检查（Certificate Pinning），这种情况下 "GoAgent CA” 所签发的证书可能会触发证书不安全的报警。GoAgent 的这种工作方式导致 HTTPS 不再是浏览器到网站的端到端安全通信，而变成了 proxy.py 到 GAE，以及 GAE 到网站两段独立的 HTTPS 连接，GAE 能够看到请求和应答的明文。

　　测试页面

　　请访问

https://goagent-cert-test.bamsoftware.com/

　　来进行测试。这个页面使用了一个由 GoAgent CA 签发的证书。如果你的浏览器没有受到影响，会显示报警信息；如果没有看到报警，则表明你的浏览器导入了公开的 GoAgent CA 证书，存在严重安全风险。

　　如何防止风险

　　GoAgent 本身带有生成证书文件 CA.crt 的功能。只需要删除 local/CA.crt 文件就能保证 GoAgent 所导入的证书是唯一的，不会被网络上的攻击者利用来进行攻击。

　　下面的 “补丁（patch）” 文件会帮助你从 GoAgent 的 git 仓库中删除 CA.crt 文件，请下载补丁文件并执行以下命令： git am 0001-Remove-static-CA.crt.patch. 如果你不是通过 git 获得 GoAgent（例如直接从 http://code.google.com/p/goagent/ 上的链接下载得到），请手动删除 local/CA.crt 文件。

0001-Remove-static-CA.crt.patch

　　如果你以前曾经使用过 GoAgent，务必要检查系统中任何可能的地方，删除 SHA-1 指纹为 AB:70:2C:DF:18:EB:E8:B4:38:C5:28:69:CD:4A:5D:EF:48:B4:0E:33 的 “GoAgent CA” 证书（建议使用浏览器访问上面的测试页面进行检查）。下面说明在常见系统中检查和删除 GoAgent CA 证书的方法。

　　如何删除 GoAgent CA 证书

　　Firefox 中，打开 “preferences”，”Advanced”, “Certificates”, “View Certificates”, “Authorities”，然后在证书列表中找到 “GoAgent CA”，选中并点击 “Delete or Distrust...” 按钮，然后确认。

　　Ubuntu 下，删除 /usr/local/share/ca-certificates/GoAgent.crt 然后执行

update-ca-certificates --fresh

　　Windows 下，请参考以下链接：

http://technet.microsoft.com/en-us/library/cc754841.aspx#BKMK_addlocal

　　中 "Adding certificates to the Trusted Root Certification Authorities store for a local computer" 的步骤，但是在 step 8 时右键选中 "GoAgent CA" 然后选择 "Delete"。

　　在 Mac OS X下，打开 “Keychain Access” 应用，点击锁图标并输入密码解锁。在边上的控制面板中，选择 "System" 以及 "Certificates"，选中 "GoAgent CA" 然后按 “Delete” 键，点击 "Delete" 按钮并输入你的密码确认。

　　GoAgent 没有进行正确的 TLS 验证，存在中间人攻击的风险

　　默认情况下，GoAgent 会通过 HTTPS 来保护本地 proxy.py 和 GAE 服务器上的 gae.py 之间的通信 （在配置文件 proxy.ini 中相关的设置默认为 gae.mode=https）。但是同样在默认情况下，GoAgent 不会要求对 GAE 服务器的证书进行验证（gae.validate=0），这导致本地 proxy.py 和 App Engine 服务器之间的通信存在 HTTPS 中间人攻击的风险。此外， gae.validate 配置项同样控制 App Engine 上的 gae.py 是否对网站服务器的证书进行验证，默认配置下这一配置为 0 导致 gae.py 也不会对网站证书进行验证，使得 gae.py 和网站之间的通信同样存在 HTTPS 中间人攻击的风险

　　即使修改配置启用证书验证（gae.validate=1），GoAgent 对 App Engine 服务器证书的验证也并不严格：在 proxy.py 中只是对证书的 organizationName 进行了粗略的检查（是否为 “Google ” 开头），而没有对主机名（hostname）进行匹配。

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/local/proxy.py#L1623

　　将配置改为 gae.validate=1 同时会启用 gae.py 段对网站服务器证书的验证，这部分的事先没有明显的问题。

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/server/gae/gae.py#L184

　　GoAgent 还提供了一个可选功能，通过 RC4 和一个共享密钥来对 proxy.py 和 gae.py 之间的数据进行进一步的混淆。启用这一功能需要在 proxy.ini 中设置 gae.password，以及 gae.options=rc4，并在 gae.py 中设置 __password__ 变量。

https://github.com/goagent/goagent/blob/c4386808ea943e2ebed25f1e5264943354e3f9cb/server/gae/gae.py#L5

　　但是，这里的 RC4 加密只能起到一个简单的混淆作用，无法在不启用 HTTPS 的情况下利用这一功能来防止中间人攻击。GoAgent 中的 RC4 无法实现数据的机密性，因为密码本身会通过一个 G-password 头在 proxy.py和 gae.py 中传送，而且在两段通信中会使用同样的密码流（keystream），导致攻击者很容易通过密文的 XOR 操作来获得 XOR 过的明文（见流密码的重用问题，Stream Cipher Key Reuse），进而得到明文。在这里 RC4 只能起到防止其他 GoAgent 用户共享服务端流量的目的，无法提供更多的保护来防止网络攻击。

　　如何防止风险

　　确认在 proxy.ini 中设置了 gae.mode=https （默认），并且启用了证书验证 gae.validate=1（非默认）。这样的设定基本上能够防止 proxy.py 和 GAE 服务器，以及 GAE 服务器和网站服务器之间的 HTTPS 中间人攻击。由于 proxy.py 中没有对证书的主机名进行严格匹配，proxy.py 和 GAE 服务器的通信仍存在（相对较小的）风险，如果有人能够申请到 organizationName 字段以 “Google ” 开头的证书，仍然能够成功进行HTTPS 中间人攻击。

　　来源：bamsoftware，原文链接。

准备工作

一台装有的Mac OS X的电脑（64位处理器），并升级到比较新的版本（10.7以上）；

把这台电脑连接到Internet；

拥有该电脑的管理员权限。

详细步骤

第一步：部署GoAgent GAE平台

申请注册Google App Engine账号：https://appengine.google.com 这里需要用Google账户登录，如果没有，就先申请一个。

登录之后，自动转向Application注册页面。如下图：

点击“Create Application”，接下来输入手机号来获取验证短信，注意国家和地区不要选错。如下图：

输入验证码，完成激活。如下图：

激活GAE账号后，点击“Create Application”来创建新应用。如下图：

一个Google账户最多可以创建十个GAE应用，每个应用每天有1G免费流量。（这里我们只创建一个应用就可以了。）进入下一步，填写新应用的必要信息，如下图：（在图中第一处添加一个应用名称，如：abc123，验证一下是否可用，如果显示“Yes”那么abc123就是你的Appid，请记住这个id，而abc123.appspot.com就是你的应用服务器地址了；第二个空可随便填；高亮部分的选项如果看不懂请忽略，保留默认设置就好；点击Create Application按钮提交。）

提交之后，会有“Application Registered Successfully”的提示。如果想创建多个Application，从“步骤5”开始重复就好。

第二步：安装和配置GoAgentX

下载并安装最新版本的GoAgentX：http://goagentx.com （过程中可能会牵扯到权限问题，具体方法：系统偏好设置→安全性与隐私→通用→允许从以下位置下载的应用程序→选择“任何来源”）

GoAgentX代理设置。如下图：（修改之后，记得点击“重启PAC服务”）

创建GoAgent服务配置。如下图：

设置GoAgent服务。如下图：（若使用多个服务器App ID，请用“|”隔开。）

进入右下角的“高级设置”，选择“部署服务端”，填写相关内容之后，然后点击“开始部署”。如下图：（用户名：就是你的Google账户；密码：就是Google账户的密码，如果开启了二次验证，使用二次验证的密码。）

服务端部署完成后，就可以回到主界面，启动已配置的服务。如下图：

如果想每次开机的时候，GoAgentX可以自动运行，需要在“其他设置”里面勾上自动启动的选项；并在“用户与群组与偏好设置”中，勾上“登录项”中的GoAgentX。如下图：

--

附：浏览器配置（Google Chrome配合Proxy SwitchySharp）

下载安装Proxy SwitchySharp插件：传送门

配置Proxy SwitchySharp，如下图：（注意：“自动配置的URL”是从“GoAgentX代理设置”中复制过来的）

--

References:

https://code.google.com/p/goagent/

https://code.google.com/p/goagent/wiki/InstallGuide

http://goagentx.com/