sohoer

爬虫在 Raspberry Pi 上跑得挺欢的 。

  •  
  •   sohoer · Mar 15, 2013 · 6019 views
    This topic created in 4988 days ago, the information mentioned may be changed or developed.
    之前用GAE 的本地环境访问Raspberry Pi 很慢很慢,以为是Raspberry Pi 的性能问题,后来发现不是。
    原来可以跑得这么欢,当然我要求不高。
    不久后我会提供外网访问的DEMO。

    WEB版的通用型采集工具 NewCrawler.COM

    上两张图,

    14 replies  •  1970-01-01 08:00:00 +08:00
    workaholic
    workaholic
    Mar 30, 2013
    1
    用java写的? 基于什么库?
    ipoh
    ipoh
    Mar 30, 2013
    2
    楼主怎么买的 我也想买一个
    sohoer
    sohoer
    OP
    Mar 31, 2013
    3
    @workaholic 用的HttpURLConnection+正则,没有用其它第三方库,xpath,javascript支持倒是用了,不过现在把他当成插件了。



    @ipoh 淘宝买的,如果需要你留个邮箱我把交易记录发给你,我现在每天晚上都是开着的,在爬煎蛋妹子图,稳定性挺好的。
    workaholic
    workaholic
    Mar 31, 2013
    4
    我最近也在爬图片,请教个问题:图片上水印你怎么处理的?肯定不希望自己的图片上带上别的网站的水印吧?
    chemhack
    chemhack
    Mar 31, 2013 via iPad❤️3
    5
    @workaholic 自己的图片。。。。。 我真是吐槽无力了
    workaholic
    workaholic
    Mar 31, 2013
    6
    @chemhack 神经病
    cooiky
    cooiky
    Mar 31, 2013
    7
    @sohoer 求个淘宝地址 3q
    34D
    34D
    Mar 31, 2013 via Android
    8
    自己的图片吐槽无力+1。
    workaholic
    workaholic
    Mar 31, 2013
    9
    @34D QNMLGB
    G0dBlessMe
    G0dBlessMe
    Mar 31, 2013
    10
    自己的图片吐槽无力+1
    ywencn
    ywencn
    Mar 31, 2013
    11
    没懂你们在说什么自己的图片?
    chemhack
    chemhack
    Mar 31, 2013
    12
    @ywencn 爬别人的图片,还说“不希望自己的图片上带上别的网站的水印”
    jason52
    jason52
    May 19, 2013
    13
    -----------------

    from pyquery import PyQuery as pq
    import time


    fp=open("meizhitu.txt",'w')
    for i in range(800,813):
    url = 'http://jandan.net/ooxx/page-' + str(i)


    d1 = pq(url)

    posts = []

    for anchor in d1('#comments p>img'):
    anchor = d1(anchor)
    ans = anchor.attr('src')
    posts.append(ans)
    print >>fp,ans
    print ans
    fp.close

    ----------------------
    用pyquery写了一个简单的爬妹子图的脚本
    jason52
    jason52
    May 19, 2013
    14
    哎呀,v2ex发代码都乱掉了。。python缩进都没了。。看来以后不能直接放代码了。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2884 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 05:24 · PVG 13:24 · LAX 21:24 · JFK 00:24
    ♥ Do have faith in what you're doing.