V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2293 days ago, the information mentioned may be changed or developed.
主要目标是想学会爬 amazon，fb，淘宝，微博等大站，我觉得这几个站能搞定基本覆盖爬虫大部分知识了。
有大神或者培训机构推荐吗。多谢 qq 805709000
有大神或者培训机构推荐吗。多谢 qq 805709000
 |
1
1992w Jan 16, 2020
直接爬，遇到问题就解决问题。
|
 |
2
huadaonan OP 直接卡到 用 selenium + 代理模式也爬几条就封掉了 就没什么好办法了
|
 |
3
linbingqinag Jan 16, 2020 via Android
GitHub 上可以看看，有很多实现
|
 |
4
murmur Jan 16, 2020
爬虫都是小事，反扒那是个人吃饭的东西别人怎么会给你，一个淘宝就是顶级难度了还加了个等。。
|
|
5
huadaonan OP 嗯 加一条 可以付费的
|
 |
6
ccoming Jan 16, 2020
我觉得爬完淘宝，其他都不是事儿。
虽然我是瞎说的，哈哈哈。 |
 |
7
jdgui Jan 16, 2020
爬虫高手你估计得在监狱里面找
|
 |
8
matepi Jan 16, 2020 via iPhone
有好的成套解决方案的，早就按服务 /次数 /条数收费了
拿可收费的吃饭工具出来卖的，说明问题还不少，要么就是直接吃饭风险太大，只卖个工具风险分散点 |
 |
9
mmqc Jan 16, 2020
爬虫写得好，牢饭吃到老
|
 |
10
shimengren Jan 16, 2020
借楼，有没有 python 学习群呀，想加入学习下哈哈
|
 |
11
ClericPy Jan 16, 2020
0. 想学爬虫, 爬淘宝吧
1. 反爬太猛了, 好像 App 能爬 2. 呀, 不是明文 HTTP 的 3. 反编译看看 Java 源码 4. 威武威武威武威武..... |
 |
12
sprit Jan 16, 2020
坐牢的那种
|
 |
13
linglongll Jan 16, 2020
最近在拿 puppeteer 爬一点 ins 的图 发现这种模拟浏览器的模式很棒 不知道 tb 对这个反爬做了什么拦截么 没动过 也不敢动。。。
|
 |
14
Tn5ohB1Yecdk3qCK Jan 16, 2020
高手在牢里呢
|
 |
15
zdnyp Jan 16, 2020
爬虫要学的太多了，培训班教的都是基础，找本书入门都比培训班强...
|
 |
16
fancy111 Jan 16, 2020
淘宝做得不错，主要是价格难爬。
目前只找到两种方法。 |
 |
17
kevinmissu Jan 16, 2020
建议你先开始爬淘宝 然后你会发现 我特么是脑袋抽风要来学爬虫？劝退利器
|
 |
18
tomczhen Jan 16, 2020 via Android
正常用户浏览淘宝速度快点都能触发反爬，说简单的自己有没有实践过爬多点商品的？
|
 |
19
ShundL Jan 16, 2020
牢里 爬虫、外挂，攻击都就学会了
|
 |
20
liuxu Jan 16, 2020
淘宝正常浏览宝贝都能触发验证码，还是无限那种
|
 |
21
scyangjian Jan 16, 2020
17L+1
淘宝太凶残了 |
 |
22
yumenlong Jan 16, 2020
我在爬淘宝，来吧，只有 app 一条路。
|
 |
23
ShroudNix Jan 16, 2020
面向监狱编程🐴
|
 |
24
Vhc001 Jan 16, 2020
1、从未爬过淘宝。
2、正常淘宝购物都被识别为爬虫的我迫不得已只能注册了京东账号。 3、京东电脑网页版登陆，验证码滑块划了十分钟几百次还是验证不通过，被迫下载京东 app 扫码才能登陆。 我太难了 |
 |
25
XavierXJ Jan 16, 2020 via iPhone
这样一种思路：让软件模拟鼠标点击，截图桌面分析文字和图片，想要多线程的话，浏览器多开，开虚拟机
|
 |
27
Eugene1024 Jan 16, 2020
随便学下法律
|
 |
28
explorerEX Jan 16, 2020
@fancy111 哪两种方法 能提示下吗
|
 |
29
wersonliu9527 Jan 17, 2020
如果数据量不是太多，几个月前用过一种方法爬淘宝． 命令行开启一个 谷歌浏览器指定端口，再登录个小号，然后 selenium 去对接这个端口可以爬几十页．不知道现在还行不行０．０
|
 |
30
Mavious Jan 17, 2020
咸鱼（搭配手机浏览器）和淘宝 PC 端，人肉浏览都经常蹦滑动验证码，用鼠标去滑老是失败（我明明滑到底了）。
你看正常用户都经常失败，那爬虫的难度真是不可想象…… |
 |
31
RSDTE Jan 17, 2020
爬了淘宝, 能下单的那种.. .
|
 |
32
Iamnotfish Jan 18, 2020  1
降低点难度，先从微博开始爬。现成可用的代码也很多，推荐一个项目 weibospider
|
 |
33
FaceBug Jan 18, 2020
哈哈哈，你来我这干活啊，靠抓 amz、fb、aliexpress、ebay……吃饭的公司
|
|
35
huadaonan OP 多谢大家踊跃出谋划策，我会阶段性汇报学爬虫的进展。我觉得可能还是做专项分析靠谱，针对问题找大家咨询。群策群力还是好
|
Select Language