百度抓取中文 URL 有问题？求大神专家指导！！

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4106 天前的主题，其中的信息可能已经有所发展或是发生改变。

原来地址：/search?q= + urlencode(中文)

百度给抓取成：/search + urlencode(?q=urlencode(中文))

导致很多抓取错误出现404页

请问如何解决？

抓取

urlencode

23 条回复 • 2014-10-24 22:24:20 +08:00

weboshr

2014 年 10 月 21 日

robots.txt 添加一项

Disallow: /*?*

alex321

2014 年 10 月 21 日

百度自己的测试工具检查轻应用的授权 js 是否成功添加的测试工具都有问题，解析 utf-8 和 gb2312 时，php 出错。。
百度知道、轻应用与合作方做数据测试时，往正式库里面插入了大量(注意，是大量)垃圾数据。。
……
这种事情我能告诉你们咩。。

qiayue

PRO

2014 年 10 月 21 日

code4app.com 有中文 url ，百度抓取没有问题
楼主发出你的网站看看吧

millken

2014 年 10 月 21 日

我只能告诉这个是你程序问题

fising

2014 年 10 月 21 日

@millken 为啥谷歌没问题呢

fising

2014 年 10 月 21 日

@weboshr 这句是啥意思啊，可否解释一下

jasontse

2014 年 10 月 21 日 via iPad

@fising
禁止抓取带问号的 URL

binux

2014 年 10 月 21 日

贴一个出错url（短一点的）我给你看看

fising

2014 年 10 月 21 日

@jasontse 那可不行，我全站基本都带?

@binux http://www.886404.com/search%3Fq%3Dx220%25E6%258D%25A2ssd

fising

2014 年 10 月 21 日

@binux 贴到这里URL被V2EX转换了。你直接复制。不要点击这里的链接。

binux

2014 年 10 月 21 日

@fising 你确定百度最近爬了你这个url？

binux

2014 年 10 月 21 日

@fising 没事，我自己另找了一个。
这链接是从站长平台灌的，你看下你提交的sitemap是不是有问题。

fising

2014 年 10 月 21 日

@binux 百度站长系统，出错列表里有这个记录

fising

2014 年 10 月 21 日

@binux http://www.886404.com/sitemap.xml

binux

2014 年 10 月 21 日

这站没什么价值就不管了

fising

2014 年 10 月 21 日

@binux 别这么说呀呀呀呀。这是讨论技术。

Showfom

PRO

2014 年 10 月 21 日

@fising 你的这个站开源不= =

caomu

2014 年 10 月 21 日

我只是来围观看楼上的大大们卖萌的 =。=

blijf

2014 年 10 月 21 日

我已经不在乎它收不收了，已经全换SSL

fising

2014 年 10 月 22 日

@Showfom 已经开源了

Showfom

PRO

2014 年 10 月 22 日

@fising 在哪里下载？

weboshr

2014 年 10 月 24 日

@fising 带有"?"的链接禁止抓取

fising

2014 年 10 月 24 日

@weboshr 禁止的话，就没几个页面能抓了。