botsonar's recent timeline updates botsonar's recent timeline updates |
botsonarV2EX member #409685, joined on 2019-05-07 11:36:52 +08:00 |
| 在线检测爬虫更新
1 Python • botsonar • Jul 11, 2019 • Lastly replied by myquestions
|
1 |
| 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 程序员 • botsonar • Jun 21, 2019 • Lastly replied by botsonar | 30 |
botsonar's recent replies
Jun 21, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
这边大家有空多关注下 github 部分新功能和改动会在 github 进行跟踪，如果有特别的需求或者规划，也可以在 issue 中提出来，因为有很多用户接入了，这个版本会持续开发
Jun 20, 2019 Replied to a topic by xzYao › 程序员 › 请教一个后端获取用户真实 IP 的问题 |
@AndroidEngineer 没办法追查源 IP 有 tor 的情况基本上都没有办法，只能监测出来有没有用 tor
Jun 20, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@opengps 关于 UA 中的 IMEI 写的很好，另外一篇知乎的写的也不错，然后我发现很多 UA parser 没法解析像 appname 和 organization 这些信息
Jun 20, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 如果 IP 误封率比较高，也可以使用 webrtc 内外网结合的方式实现 IP 策略
Jun 20, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 试一试另一个策略，看看同一个用户在不通 IP 和 UA 下的频率，如果没有登录，你可以通过服务端下发 cookie 的形式标记用户，由于 pupeteer 这种工具其模拟效果是很好，但是效率比较低下，那些大规模占用带宽的可能是那些脚本爬虫；即使是 pupeteer 也是使用 chrome 的 cdp 协议，可以通过协议检测识别这种工具
Jun 20, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@opengps 好的
Jun 19, 2019 Replied to a topic by xzYao › 程序员 › 请教一个后端获取用户真实 IP 的问题 |
@hasoidhaio 嗯 这是一个好办法
Jun 19, 2019 Replied to a topic by botsonar › 程序员 › 看看你的网站有哪些爬虫？有什么人访问你了？被哪些搜索引擎索引 |
@uqf0663 看起来你遇到了一些问题，如果可以的话，可以私下交流，我给你提供一点思路
Select Language