爬虫相关问题请教

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 324 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://neris.csrc.gov.cn/falvfagui/

需求：全量下载这里的法律法规

问题： 1.爬这个应该不会进牢子吧 O.o?

2.下载正文时需输入验证码（打码平台？）

3.下载链接 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/rdqsHeader/downloadType?secFutrsLawId=4f4da16da393400cb7a2c9c5498423a0 该链接单次有效如果要爬是不是需要搞清楚 secFutrsLawId 的生成方式？

提前感谢各位 dalao

下载

牢子

dalao

链接

14 条回复 • 2024-01-02 20:51:19 +08:00

ospider

324 天前

一共才 3000 多条，让实习生手工点不得了

fish267

324 天前

挑个简单的回答：
1. 公开数据，是可以获取的，但是要注意并发，爬挂了，就是你的锅了

yumusb

324 天前

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/lawload

不都在这里嘛

yumusb

324 天前

又看了一下 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={title}.(pdf|docx)

SmartTom

324 天前

闲着没事写了个获取 downurl 的伪代码
```python
import requests
import json
data = {'pageNo':1,'lawType':1}
rep = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data)
json_data = rep.json()
total_num = json_data['pageUtil']['rowCount']
data1 = {'pageNo':1,'lawType':1,'pageSize':total_num}
rep1 = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data1)
json_data1 = rep1.json()
json_list = json_data1['pageUtil']['pageList']
down_urls = []
for i in json_list:
down_url = f'''https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={i['secFutrsLawName']}.pdf'''
down_urls.append(down_url)
down_urls
```

hackerfans

324 天前

没必要下载，本来就可以显示全文，直接爬取全文文本，生成 PDF 或 WORD

crazychang

324 天前

@yumusb 666 老哥

crazychang

324 天前

@SmartTom 666 老哥请教一下这个接口地址和 lawType 这个参数是在哪里看到的呀

crazychang

324 天前

@ospider 我是说有没有可能我就是那个实习生

PonysDad

324 天前

年轻人，大胆一点。就这点胆识，何时才能吃上公粮？

SmartTom

324 天前

@crazychang #8 这个应该是业务层面定义的枚举吧 1 代表着“最新法规” 2 代表着"行政执法文书"，对应的就是上面 tab 切换的两个菜单内容。(个人猜测)

SmartTom

324 天前

@crazychang #8 接口地址 F12 就能看到

crazychang

324 天前

@SmartTom 我大概也能猜到但是想知道您是怎么知道这个参数和这个接口地址存在呢

lzy250

324 天前 via iPhone

@crazychang 抓包。