可以尝试下 grafana ，配置好后直接读取时序化的数据。

数据信息——《精通正则表达式（第三版）》+ 我也来盖一层， 今天过节，我是懂二级制的那一类。

业务决定技术深度，以业务为重。况且开发中重要的是架构。

好饭不怕晚

老东家的产品，官网： https://www.camscanner.com/

有可能你的 gunicorn 连接数满了，而且有耗时的页面一直占用着连接。可以尝试把连接数调大一些（-w 参数）试试

1. 拆库拆表，多进程（按库）备份。 500G 的数据，普通磁盘几个小时就备份完了。 2. 磁盘上 SSD 会更快，备份完也可以快速跟主库同步。更何况备份是在备机上的， io 高一些影响也不大。

一直用 autossh 做反代，才发现这个玩意。

年轻人多就讲妹子， 中年人居多就讲工具， 老年人居多就讲安全。

@9hills 好的， 我这就去瞅瞅。多谢。

@HypoChen 看了下 tyk ， 功能很强大，可以直接导入 swagger 文档。 容我膜拜一会。

监控第三点（接口健康度监控），在 github 上有个叫 statusok[https://github.com/sanathp/statusok] 的工具看起来不错，今天会结合起来试一试。

@terrydb5 恩，速度不错。当时我的场景是做 s3 的文件系统备份用， ping 值在 100 以下。最近情况不太清楚，去年 QCON 上和 AWS 技术聊，他们应该很重视国内市场，如果你们国外也用 AWS 服务，可以试一试。

两年前用过一段时间（ ecs 和 s3 ），速度还是很不错的，也没出现过长时间 down 机的情况。

@laoyur 多谢，确实应该是回调 parse 方法。但是现在遇到另外一个问题：在回调重新登陆的 parse 方法如何更改 request 的 url 。现在代码结构为：

# 重新触发登陆
def re_login(self, reponse):
response = response.request.replace(url=login_page)
return [FormRequest.from_response(response,url="xxxx", formdata={xxx})] # 标记 1

# 分析页面元素并保存，如果页面上登陆标识不存在，报异常并触发 re_login
def parse_item(self, response):
try:
# download and parse page, when logout , check function raise IndexError exception
except IndexError:
self.log("------ start to login again ------")
self.post_login(response)

按照这种方法，可以正常执行到标记 1 处，在标记 1 处 request.url 是请求 item 的 url ， 不是 login 页面的 url ，于是会报 from 找不到的错误。 通过 response.replace 方法更改 url 和 body 的值后请求未能成功。怀疑是 replace 那个方法用的有问题，暂时还没找到解决办法。有没有前辈遇到过相似问题？谢谢。

@Yc1992 一段时间后 session 确实是过期的，这时按理应该重新出发登陆机制。但是不知道 scrapy 中在 parse 函数中如何重新调用 start_requests 进行初始化登陆操作。

crontab +1

不喜勿喷， 我也就不喷了。