我现在有一个用 AngularJS 做的站点,为了适应搜索引擎的抓取,我先提交了 sitemap (针对 Baidu 和 Google 分别做了
http://xxx.com/sitemap/baidu
http://xxx.com/sitemap/go
sitemap 里面首页以及我每个上架商品的的地址,为了能让他抓取,其中的 url 对应的页面并不是 AngularJs 页面地址,而是我单独生成的页面,比如
我的想法是,当搜索引擎抓取到这个页面 (通过 UA 区分),我显示的是服务器单独渲染的一个 html, 里面就是正常的 html5 页面,包括, head,article, 这些标签,有商品的名称,内容,和一张图片。 而浏览器到这个页面时,我再跳转到 AngularJS 的页面上去。
我没有使用现成的 AngularJS 优化产品,比如 Prerender ,而是这么做的原因仅仅是因为我觉得这样做比较简单,而且我们提供给搜索邀请抓取的页面也不是很多。
问题是,我已经提交了 sitemap 两天了,我在日志里面也能看到搜索来抓取 sitemap, 但是却很少看到来抓取其中的链接, Baiduspider 根本没有任何访问的记录, Googlebot 也只看到几个日志,而且搜索的时候也无法搜到任何内容。我在百度的站长管理工具里面测试了抓取其中的链接是正确的,日志里也能看到,但是却看不到他们主动过来抓取的记录。
我想问的是,我这样的搜索优化方案是不是有什么不对,还是我 Baidu/Google 站长管理工具里面设置的不对?