百度Spider已经在抓取ajax内容了？

This topic created in 5098 days ago, the information mentioned may be changed or developed.

今天看日志
222.73.181.15 - - [31/May/2012:10:00:04 +0800] GET /api/related_articles.php?contentid=2550559 HTTP/1.1 "200" 5 "http://www.xxx.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.73, 118.180.6.72, 222.73.181.15"

/api/related_articles.php?contentid=2550559

这个请求是放在js文件内 ajax的～

有朋友对这个有关注么？

PHP

contentid

9 replies • 1970-01-01 08:00:00 +08:00

skywinger

May 31, 2012

百度的spider亮了。

alexkh

May 31, 2012

是会抓取的，他会把JS中的路径抽取出来，用以发现新页面，百度站长俱乐部中lee之前也说过这个。不过暂时观察是用于找到新页面，尚未发现用于传递权重。

richiefans

May 31, 2012

@alexkh 原来如此不过js解析能力还行啊参数都拼上了
在js内的代码是
$.ajax({
type: "GET",
url: "http://www.xxx.com/api/related_articles.php",
data: "contentid="+$("#data_contentid").val(),

success: function(data){
$("#related_articles").html(data);
}
});

lyxint

May 31, 2012

referer怎么是xxx，有点和谐啊

alexkh

May 31, 2012

@richiefans 那是，百度也做浏览器的。搜索引擎还会解析CSS，用于判断页面元素的重要程度。

seerhut

May 31, 2012

baidu的spider会用gecko渲染页面，也会模拟点击，ajax什么的无压力。

samuel

May 31, 2012

@seerhut sunhao是不是，哈哈

seerhut

May 31, 2012

@samuel duanmiao么。。。。

samuel

May 31, 2012

@seerhut 没错儿，世界真是小啊哈哈