V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jiandan123  ›  全部回复第 3 页 / 共 3 页
回复总数  50
1  2  3  
@xzc0001 两个人两周大概多少钱呢?
没有深圳的吗?
@vtwoextb 几十个视频,它爬完了对我也没什么帮助。白白浪费很多流量。
@realpg 你的意思是视频文件要选择按带宽付费?
可是我们网站经常搞社群推广,带宽偶尔也会爆发。
@eason1874 谢谢
@eason1874 非常感谢。
在视频那个对象存储里上传了一个 robots.txt 文件:
User-agent: *
Disallow: /
- - - - - -
我还有一个疑问:
视频虽然存储在子域名的对象存储中,但是在主站中调用了。
如果搜索引擎访问主站,那视频是不是还会播放?那是否还会消耗我大量流量呢?
我的视频文件是放在另外一个对象存储空间中的,绑定了一个子域名。
如果我想禁止爬虫访问我的视频文件,我是应该在主域名的服务器里调整 robots.txt 还是在子域名的对象存储空间里调整 robots.txt 呢?
疯了。
排名第一那个 IP 5.45.207.47 是俄罗斯搜索引擎 yandex 的爬虫。
我每个月的流量是不是都被搜索引擎的爬虫消耗了?
我是否应该禁止爬虫访问我的视频呢?
@Kirscheis 有几十个 mp4 视频文件。如果是谷歌的爬虫,怎样避免它反复观看视频呢?
如果是一个普通用户,会出现在一个 IP 区间中频繁更换 IP 吗?
像这样同时出现一个 IP 区间的几十个 IP,有哪些可能呢?
1  2  3  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2742 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 14:56 · PVG 22:56 · LAX 06:56 · JFK 09:56
Developed with CodeLauncher
♥ Do have faith in what you're doing.