Is linode true unbeatable?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Linode 各机房速度测试

这是一个创建于 4265 天前的主题，其中的信息可能已经有所发展或是发生改变。

我开始测试一个数据抓取的东西，不是什么不合法或者不合理的，只是不想数据源知道我的源IP，然后看到linode 2T的带宽，用它建了个gate

本质上是个代理，进出流量是对等的

每分钟大约抓取150个页面，每个页面大约50K，由于不想改原先的东西，所有抓取都没有使用gzip

现在放上去一半了进入带宽平均800K/s 最大3.6M

不知道会不会封我呀

抓取

Linode

带宽

11 条回复 • 1970-01-01 08:00:00 +08:00

webflier

2013-03-10 20:38:10 +08:00 via Android

从你的需求来看，digitalocean更适合你，比linode便宜，老用户流量不限，新用户每月1t

Tianpu

2013-03-10 22:12:27 +08:00

@webflier 不用啊本来我是想买几个$5的VPS跑的 LINODE很快啊

这会平均带宽有2M了今天用3G流量了

过几天我继续反馈

webflier

2013-03-10 22:29:14 +08:00

@Tianpu digitalocean 估计没有linode大气,流量突然变大有可能会限你速.但是DO是真心便宜,才5刀,linode最便宜得20刀呢

Tianpu

2013-03-12 00:26:25 +08:00

@webflier 到现在用了30多G流量了还没全跑在观察参数

流量肯定顶不住我估计需要6T左右

待会得加上gzip了

Livid

MOD

2013-03-12 00:28:06 +08:00

iWeekly 的后台服务器最初跑在 Linode 上的时候，差不多 30M/s，那个时候几乎每个月都会超流量。在没有攻击的情况下，Linode 是可以用的。

siw

2013-03-12 00:33:57 +08:00

@Tianpu
请问，对方不知道你的IP 但知道Linode IP
而Linode知道你的
这~ 分散风险吗?

Tianpu

2013-03-12 04:39:30 +08:00

@webflier @siw 搜索蜘蛛抓页面无所谓啦我user-agent都用bing的抓取器终于支持gzip了只考虑了chunked gzip 还有什么都没有的情况暂时都能正常出人类可见文本

<code>
<?php
function dechunked($str){
$r = $t = '';
$t = $str;
while(trim($t)){
if(!preg_match('/^([\da-fA-F]+)[^\r\n]*\r\n/sm',$t,$m)) die('seem to be a chunked message');
$l = hexdec(trim($m[1]));
$c = strlen($m[0]);
$r.= substr($t,$c,$l);
$t = substr($t,$c+$l+2);
}
return $r;
}
function open($url){
$body = $head = $resp = '';
$temp = $temq = array();
$temp = parse_url($url);
$host = $temp['host'];
$file = $temp['path'];
if($temp['query']!='') $file = $file.'?'.$temp['query'];
$fp = fsockopen($host, 80, $errno, $errstr, 15);
if(!$fp) die('{gate_closed}');
else{
$head.= "GET $file HTTP/1.1\r\n";
$head.= "Host: $host\r\n";
$head.= "User-Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)\r\n";
$head.= "Referer: $url\r\n";
$head.= "Accept-Encoding: gzip,deflate\r\n";
$head.= "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n";
$head.= "Connection: Close\r\n\r\n";
fwrite($fp, $head);
while(!feof($fp)){
$resp.= fgets($fp,4096);
}
fclose($fp);
}
if(empty($resp)) die('{gate_closed}');
$temq = explode("\r\n\r\n",$resp,2);
print_r($head);
print_r($temq[0]);
if(stristr($temq[0],'Transfer-Encoding: chunked')) $temq[1] = dechunked($temq[1]);
if(stristr($temq[0],'Content-Encoding: gzip')){
$body = gzinflate(substr($temq[1],10));
}
else $body = $temq[1];
return $body;
}
if(!empty($_GET['url'])) echo open($_GET['url']);
?>
</code>

Tianpu

2013-03-12 04:40:42 +08:00

@Livid 嗯我的稳定跑到了10M 看流量是不够用所以造了上面一楼的全部压缩传输吧

Livid

MOD

2013-03-12 04:45:22 +08:00

@Tianpu 如果你是抓别人的数据，那么理论上来说，主要是流入数据吧？

流入数据在 Linode 是免费的。

Tianpu

2013-03-12 05:34:06 +08:00

@Livid 我把它当中转的代理使了流入流出是对等的

webflier

2013-03-12 09:45:36 +08:00

@Tianpu 大家都喜欢把useragent设成bing哈,我的wordpress站老被试图暴库,useragent就是bing,哈哈