V2EX › lgpqdwjh 的所有回复 › 第 47 页 / 共 50 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 39 40 41 42 43 44 45 46 47 48 ... 50

❮

❯

2017-01-18 18:24:07 +08:00

回复了 alwayshere 创建的主题 › 程序员 › 到目前为止，到底有没有一种防爬虫但是不会误伤谷歌爬虫的完美方法？

我们是实现一个漏桶来处理这样的事情的，针对流量分析一下 ip 均匀请求量自动调整漏桶大小，如果爬的比较猛就直接 ban 掉 ip ，值得一提的是这样的方法防不住有心的爬虫，总的来讲我们是想挡住恶意的高频请求用户

至于完全的防爬，我觉得是不可能懂，人家真想要你的数据，办法多的是。。

2017-01-11 12:00:59 +08:00

回复了 suyuanhxx 创建的主题 › 分享发现 › 在接口代码中加入调用追踪 Id 和接口返回时间

首先，如果是只想要接口时间， nginx 的 log 是可以获取到的，如果你需要接口线程 id 方法名等，这里需要业务监控等能力支持，当然，你仍然可以做简单点，写个通用方法纪录即可。

至于 dao 也是一个道理，要么看数据库 log （不建议），要么程序上能支持

最后你提到可能一个请求打了好几次，目测应该是请求重试导致的，值得一提的是同一个 upstream 下有多个实例，当请求失败了，会尝试请求下一个，这也是 ngx 的特性，尽可能的保证 upstream 下有实例可用.

想减少对主体代码的侵入性？你可以打出来 log ，让运维流 log ，然后分析出有用的结果

2017-01-10 16:24:36 +08:00

回复了 hokerlinux 创建的主题 › 程序员 › 求助各路大神，想开发一个 nginx 模块动态从 zookeeper 获取配置参数，应该采用什么模块

nginx 自己更新自己，这个恐怕有点艰难，可行性我还没有尝试过。

我这边是外建一个 register 负责处理注册请求，有点像 confd ，但有损耗，需要 kill -HUB,

不过我负责注册的请求时分布式的，不影响业务，目前也在想办法解决这样的问题。关注。

2017-01-10 16:16:57 +08:00

回复了 jimwoo 创建的主题 › 问与答 › 2016 互联网技术人薪资报告出来了，你在平均线下吗？

倍感丢人！！！

2016-12-28 15:08:57 +08:00

回复了 bonfy 创建的主题 › Python › Python，我用这些库就够了！！！

@bonfy 好的, 谢谢

2016-12-28 12:00:51 +08:00

回复了 bonfy 创建的主题 › Python › Python，我用这些库就够了！！！

@bonfy 想学习下你怎么组织代码骨架的, 在使用 peewee 的时候, 不知道方不方便导出一个 demo 放 github 上 , 学习学习