爬虫相关问题请教

This topic created in 870 days ago, the information mentioned may be changed or developed.

https://neris.csrc.gov.cn/falvfagui/

需求：全量下载这里的法律法规

问题： 1.爬这个应该不会进牢子吧 O.o?

2.下载正文时需输入验证码（打码平台？）

3.下载链接 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/rdqsHeader/downloadType?secFutrsLawId=4f4da16da393400cb7a2c9c5498423a0 该链接单次有效如果要爬是不是需要搞清楚 secFutrsLawId 的生成方式？

提前感谢各位 dalao

下载

牢子

dalao

链接

14 replies • 2024-01-02 20:51:19 +08:00

4BVL25L90W260T9U

Jan 2, 2024

一共才 3000 多条，让实习生手工点不得了

fish267

Jan 2, 2024

挑个简单的回答：
1. 公开数据，是可以获取的，但是要注意并发，爬挂了，就是你的锅了

yumusb

Jan 2, 2024

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController

https://neris.csrc.gov.cn/falvfagui/rdqsHeader/lawload

不都在这里嘛

yumusb

Jan 2, 2024

又看了一下 https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={title}.(pdf|docx)

SmartTom

Jan 2, 2024

闲着没事写了个获取 downurl 的伪代码
```python
import requests
import json
data = {'pageNo':1,'lawType':1}
rep = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data)
json_data = rep.json()
total_num = json_data['pageUtil']['rowCount']
data1 = {'pageNo':1,'lawType':1,'pageSize':total_num}
rep1 = requests.post('https://neris.csrc.gov.cn/falvfagui/rdqsHeader/informationController' , data = data1)
json_data1 = rep1.json()
json_list = json_data1['pageUtil']['pageList']
down_urls = []
for i in json_list:
down_url = f'''https://neris.csrc.gov.cn/falvfagui/rdqsHeader/download?secFutrsLawName={i['secFutrsLawName']}.pdf'''
down_urls.append(down_url)
down_urls
```

hackerfans

Jan 2, 2024

没必要下载，本来就可以显示全文，直接爬取全文文本，生成 PDF 或 WORD

Dav1s

Jan 2, 2024

@yumusb 666 老哥

Dav1s

Jan 2, 2024

@SmartTom 666 老哥请教一下这个接口地址和 lawType 这个参数是在哪里看到的呀

Dav1s

Jan 2, 2024

@ospider 我是说有没有可能我就是那个实习生

PonysDad

Jan 2, 2024

年轻人，大胆一点。就这点胆识，何时才能吃上公粮？

SmartTom

Jan 2, 2024

@crazychang #8 这个应该是业务层面定义的枚举吧 1 代表着“最新法规” 2 代表着"行政执法文书"，对应的就是上面 tab 切换的两个菜单内容。(个人猜测)

SmartTom

Jan 2, 2024

@crazychang #8 接口地址 F12 就能看到

Dav1s

Jan 2, 2024

@SmartTom 我大概也能猜到但是想知道您是怎么知道这个参数和这个接口地址存在呢

lzy250

Jan 2, 2024 via iPhone

@crazychang 抓包。