爬虫： get 请求一个 url 不返回主体 html，状态码 200，这是加权限了吗？

This topic created in 2320 days ago, the information mentioned may be changed or developed.

使用 Guzzlehttp 请求时时，返回内容如下：

<!DOCTYPE html>
<html>
  <head>
    <script>一些 js 代码</script>
  </head>
  <body>
    <script>一些 js 代码</script>
  </body>
</html>

在浏览器中响应内容是全部的 html 内容。
初步怀疑这是有什么权限之类的原因？对爬虫不是很了解，路过的帮忙看看。

Supplement 1 · Jan 7, 2020

经网友提醒并测试，原因是 cookie 引起的。该页面在请求时附带了一个 i10c.bdddb 的 cookie，且响应中也有唯一的 i10c.bdddb cookie。

目前不是很清楚这个原理，有清楚的同学吗》？

7 replies • 2020-01-07 19:32:01 +08:00

noreplay

Jan 7, 2020

没玩过爬虫，感觉是一个 js 执行的问题，可以试一下无头浏览器之类的进行爬

rateltalk

Jan 7, 2020

使用 curl 返回的内容如下图

crella

Jan 7, 2020 via Android

爬 www.newsmth.net 一样。每次访问页面都被 js 处理并解析，所以要有类似浏览器 js 环境的 js 解析器

rateltalk

Jan 7, 2020

@crella php 可以实现吗？

crella

Jan 7, 2020 via Android

@s609926202 selenium，安装 firefox 或 chrome 驱动并安装对应浏览器。

我都是道听途说，没亲身试过。听说 selenium 有内存泄漏问题

fbcskpebfr

Jan 7, 2020 via Android

@crella 不用这么麻烦…newsmth 的 js 文件也是有规律对应的。F12 一下找到 js 文件地址，直接爬 js 就行…………

qoo2019

Jan 7, 2020 via iPhone

根据 ua，直接返回 200 就行了