yumenoks's recent timeline updates yumenoks's recent timeline updates |
yumenoksV2EX member #310203, joined on 2018-04-20 14:38:10 +08:00 |
| 如何限制 Linux 本机只能访问国内的 IP? Linux • yumenoks • Jul 15, 2019 • Lastly replied by yumenoks | 21 |
yumenoks's recent replies
@ClericPy IP 倒不是瓶颈,不是针对单站爬行的,每个站只会访问 1-2 次而已
Jul 16, 2019 Replied to a topic by haiyan › 程序员 › PHP 网站内存占用很高，一做活动就挂了，大佬们帮忙看看 |
上服务器吧,一个月 300 左右的,
然后把数据库分离出来,丢到阿里云啥的,
服务器可以弄 2 台,或者 1 台多 IP,然后开 1 台 linux 跑 web,一台 window 跑关关采集.
看你自己的预算了.
然后把数据库分离出来,丢到阿里云啥的,
服务器可以弄 2 台,或者 1 台多 IP,然后开 1 台 linux 跑 web,一台 window 跑关关采集.
看你自己的预算了.
@alanv2 开始是直接获取整个页面的链接,然后进行过滤,对 URL 的长度,后缀进行了过滤,
如果设置成 域名带有 WWW 的才保存的话,数量就很少.如果不这样设置的话就会跑到蜘蛛池里面去.所以有点尴尬.
如果设置成 域名带有 WWW 的才保存的话,数量就很少.如果不这样设置的话就会跑到蜘蛛池里面去.所以有点尴尬.
@cwjokaka 只爬去一个 url 的主页的链接,
Jul 16, 2019 Replied to a topic by keepeye › 程序员 › 一冲动购买了百度网盘 svip，结果没一点提速效果 |
baiduwp.com 了解下?
Jul 15, 2019 Replied to a topic by yumenoks › Linux › 如何限制 Linux 本机只能访问国内的 IP? |
@greenskinmonster ipset 也可以用这个命令么?
iptables -A OUTPUT -m geoip ! --destination-country CN -j DROP
iptables -A OUTPUT -m geoip ! --destination-country CN -j DROP
Jul 13, 2019 Replied to a topic by Dragonish3600 › Python › Python 中 if..else 的优化。。。 |
if 'keyword' in list_a[0]:
if list_a[1] == A:
=============
这里可不可以这个 if 'keyword' in list_a[0] and list_a[1] == A:
if list_a[1] == A:
=============
这里可不可以这个 if 'keyword' in list_a[0] and list_a[1] == A:
Jul 13, 2019 Replied to a topic by yumenoks › Linux › 如何限制 Linux 本机只能访问国内的 IP? |
@AlynxZhou 不太成,防火墙规则没那么广泛哈哈,还是自己定义的好
Jul 12, 2019 Replied to a topic by z1421012325 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗? |
只有我是用 aiohttp 撸简易的分布式爬虫吗?..
Select Language