爬虫的极限是什么？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 1518 days ago, the information mentioned may be changed or developed.

单从技术层面讨论：

超顶尖的爬虫技术能否取得 APP （网页）没有公开的数据？例如访客的联系电话

爬虫

访客

App

极限

27 replies • 2022-03-23 18:21:25 +08:00

luckyrayyy

Mar 15, 2022 via iPhone

极限不就是 Google 么

Cielsky

Mar 15, 2022 via Android

你说这个叫爬虫吗

ch2

Mar 15, 2022

那是黑客，不叫爬虫，爬虫跟人肉抄网页的最终结果一样

ciqulover

Mar 15, 2022

如果连访客联系电话都能爬到，那大概站长的数据的还没你多

pengtdyd

Mar 15, 2022

爬虫的极限是哲学！！！《论爬虫如何最大化爬取数据而不被反爬》

sleeepyy

Mar 15, 2022

极限就是最大程度地模拟一个正常用户的操作，所有人可以看到的内容都可以爬到

abc0123xyz

Mar 15, 2022

单从现实层面讨论：
包吃包住🤣

huobi98988

Mar 15, 2022

@abc0123xyz 什么意思？

nxforce

Mar 15, 2022

@huobi98988 意思就是进牢子，睡铁床，吃皇家饭

fml87

Mar 15, 2022

最多就是扫一遍端口，再用常用字典扫一遍网站目录，更进一步的就不是爬虫了

abc0123xyz

Mar 15, 2022

@huobi98988 附赠银手镯一对，再也不会熬夜了，天天早睡早起😁
还能学点新技术，比如

lithiumii

Mar 15, 2022 via Android

分情况讨论。有些网页没公开的数据实际上已经发给前端了，这时候爬虫显然可以。但电话等敏感数据，正常点的开发团队不至于犯这种错误

Dart

Mar 15, 2022

爬虫的天花板是天眼查

IvanLi127

Mar 15, 2022 via Android

能啊，这有啥不能的。。。爬虫又不是不能用账号密码用白名单 ip 爬后台页面，是吧。。。

kingfalse

Mar 16, 2022 via Android

你这个不是爬虫，前几年根据用户手机壳的颜色改变 app 主题色的需求就是你提出来的吧？

kingfalse

Mar 16, 2022 via Android

要联系方式的话去抓天眼查，企查查，分分钟搞几个亿出来

musi

Mar 16, 2022

极限应该能把牢底坐穿？

guaguaguaxia1

Mar 16, 2022

你这问题提得就跟没学过爬虫一样

advancejar

Mar 16, 2022

昨天 315 新闻刚出

ebushicao

Mar 16, 2022

你能问出这个问题，说明你连爬虫是啥都不太明白...

sariya

Mar 16, 2022

极限是被 ban

Danswerme

Mar 16, 2022

你这让我想起来我以前上班的一家公司，老板让我把另一家电商公司的用户订单数据爬出来，我说这个爬不到，他说我在我手机上都能看到订单，你爬不到？我很无语，过了几天我就拜拜了。

yedanten

Mar 16, 2022 via Android

获得网页上未公开的数据已经脱离爬虫领域了，那是信安的领域，渗透测试干的活

flewsea

Mar 16, 2022

极限就是可以进包间，学缝纫机技术

bulay

Mar 16, 2022

不遵从 robots 协议的都不要爬才是最好的选择,既安全又简单

huobi98988

Mar 23, 2022

@advancejar 315 曝光的里面没有看到爬虫技术的使用

huobi98988

Mar 23, 2022

@advancejar 哪个案例是使用爬虫的？