pyspider 架构，大概的流程如下图所示：
这样一来分布式 pyspider 的瓶颈就在单点的 「scheduler」 节点的消费能力了，实际跑起来观察后发现确实「processor」到「scheduler」发送任务的队列经常消费不过来。
搭建这个 Blog 用到的技术其实都很大众且成熟的，基本都是可以直接拿来用的。
博客框架我用的是 Hexo， 模版用的是 Apollo， 运营商选择了 Google Cloud，反向代理还是 Nginx，实现了基于 Python Flask 的 API RESTFul 的自动更新，最后用 Docker 封装了上面这些服务，为的是以后迁移服务器时可以更加快捷和方便。
2018-08-13 更新：运营商换回了 Aliyun HK，Google Cloud 在国内用起来还是不方便，而且整体收费比阿里云要贵一丢丢
评论系统用的 Disqus，之后还会找一个 pv 统计插件。
pv,uv 统计，感谢 busuanzi。
文章主要介绍两部分，第一部分关于 pyenv 安装与常用命令，第二部分 pyenv-virtualenv 常用命令，最终实现的效果是使用 pyenv activate [python version] 可以自由切换 Python 版本且不对现有运行环境产生影响。
以下均由 Homebrew 安装
1 | # 安装 zlib |