V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
linfox
V2EX  ›  Python

电商公司有一个爬虫小项目需要外包

  •  
  •   linfox · Aug 23, 2017 · 10875 views
    This topic created in 3170 days ago, the information mentioned may be changed or developed.
    1- 指定网店店铺(比如 20 家)有发布新产品,可以抓取图片标题链接等信息,并集中到一个页面下显示出来。
    2- 后期我方可以自己添加或者删除店铺。
    3- 编程语言最好是 python

    希望能找一位程序员可以长期合作的。类似小项目长期有。

    有意者请联系 企鹅号 264 九九 21953
    39 replies    2017-08-24 09:42:04 +08:00
    graetdk
        1
    graetdk  
       Aug 23, 2017
    这个需求其实并不小了
    CosimoZi
        2
    CosimoZi  
       Aug 23, 2017
    如果是淘宝,甚至可以说很难
    SourceMan
        3
    SourceMan  
       Aug 23, 2017   ❤️ 9
    小项目的意思是预算可能不是很多
    需求列的少的意思是可以酌情展开一些子需求
    ChristopherWu
        4
    ChristopherWu  
       Aug 23, 2017
    @graetdk 看起来很小啊,自定义一下就好了
    linfox
        5
    linfox  
    OP
       Aug 23, 2017
    V 友们是不是平常被坑多了,所以第一反应总是恶意的揣度对方。

    下面我做一下补充说明:

    0- 爬取对象是 亚马逊 amazon.com
    1- 抓取到的信息,只需要集中显示,方便浏览查看,不需要发布到某个平台。
    2- 不需要做客户端,后期的增减店铺,你可以告诉我方在哪个文件的哪个位置进行删减。
    3- 预算方面,我会根据大家的报价,定一个合适的。毕竟我需要的是一个 生产工具,能帮我赚钱提高生产力的,我都舍得投入。
    4- 各位 V 友要是怕我后期不断提需求,那么我们可以在交易前把相关需求全部列出来。文档以外的需求,你可以拒绝,或者我们再谈一个额外的价格。但是文档以内的,你必须做完,哪些需求做不了,请你事前说明。哪些功能会因为亚马逊平台官方的调整出现风险或者问题的,也请事先提醒。
    5- 之所以说是一个小项目。是因为我司还有其他需求需要外包,还有一个独立站需要优化推广。希望合作从这个小项目开始。
    wangxn
        6
    wangxn  
       Aug 23, 2017 via Android   ❤️ 2
    凡是小需求都不小。
    Yourdaye
        8
    Yourdaye  
       Aug 23, 2017
    @linfox V 友们怕的是:这么个小项目,给 200 够了吧
    agoodob
        9
    agoodob  
       Aug 23, 2017
    我猜这个需求就是关注竞争对手的动态吧?不知道能不能做成 SaaS
    linfox
        10
    linfox  
    OP
       Aug 23, 2017
    @agoodob 对的。 就是关注同行们最近上了什么新产品。
    CosimoZi
        11
    CosimoZi  
       Aug 23, 2017
    @linfox 竞品动态我记得 v 站有个独立开发者就是做这方面内容的,你可以翻翻以前的帖子找找
    cyang
        12
    cyang  
    PRO
       Aug 23, 2017
    给多少钱?可以明盘么?
    aksoft
        13
    aksoft  
       Aug 23, 2017
    你第一个和第二个冲突。。
    NullMan
        14
    NullMan  
       Aug 23, 2017
    按题主的描述,确实是个小项目,小到用 Scrapy 的话,最多 500 行代码搞定。
    Ehco1996
        15
    Ehco1996  
       Aug 23, 2017 via iPhone
    我可以试试,时间期限是怎么样的?
    linfox
        16
    linfox  
    OP
       Aug 23, 2017
    关于需求,我罗列的清楚些,报价就请按需求的报,如果我加需求,你可以要求加钱。

    1- 爬取字段四个: 标题 图片 链接 价格
    2- 平台仅仅针对亚马逊。 频率大概每天爬取一次。比如我关注了这 100 个亚马逊店铺,8.1 我爬取了一次,那么 8.3 日就是爬取这两天他们新上的产品。老产品不用爬,新产品全部要爬下来。
    3- 服务器。这个我不是很懂,公司的电脑不能用吗? 不能用的话买一个阿里云或者 DO 都没问题。
    4- 爬下来的结果通常是放到 excel 或者数据库是吧? 可以的。
    5- 源代码需要给到我。 一是方便我后期增减店铺数,二是如果后期的合作谈不拢,这个小项目我可以交给其他人去扩展。
    rocksolid
        17
    rocksolid  
       Aug 23, 2017
    的确不大,看需求服务器都不需要
    linfox
        18
    linfox  
    OP
       Aug 23, 2017
    坐标深圳: 如果有本地的 V 友当然最好方便面谈什么的。
    付款方式: 不知道这种项目一般怎么操作。 做完后给钱你怕我跑路,做之前给钱我怕你跑路,哈哈。
    robinlovemaggie
        19
    robinlovemaggie  
       Aug 23, 2017
    @linfox 项目托管给第三方平台,走双方约束
    linfox
        20
    linfox  
    OP
       Aug 23, 2017
    @robinlovemaggie 谢谢

    什么样的第三方? 类似 github ?
    rocksolid
        21
    rocksolid  
       Aug 23, 2017
    @linfox 淘宝不就是,还有 https://mart.coding.net/
    vincenth520
        22
    vincenth520  
       Aug 23, 2017
    @linfox 深圳哪里
    holajamc
        23
    holajamc  
       Aug 23, 2017
    如果你能提供数据库或者 excel 的字段,可以约一发
    Immortal
        24
    Immortal  
       Aug 23, 2017
    楼主表达能力不错 挺清晰的
    linfox
        25
    linfox  
    OP
       Aug 23, 2017
    @vincenth520 龙华
    robinshi2010
        26
    robinshi2010  
       Aug 23, 2017
    还好吧。需求不离谱。可以说说预算。如果大家感兴趣肯定会加你啦。

    不是故意往坏的地方想,我们程序员思维就这样的,第一时间考虑的都是边界值。
    tscat
        27
    tscat  
       Aug 23, 2017
    为什么没人接。。看起来挺简单的
    prasanta
        28
    prasanta  
       Aug 23, 2017
    爬虫简单,反反爬虫难
    robinlovemaggie
        29
    robinlovemaggie  
       Aug 23, 2017
    @linfox 很多平台啦,关键是能建立相互的信任
    mark06
        30
    mark06  
       Aug 23, 2017
    一个爬虫+一个后台管理页?
    Moker
        31
    Moker  
       Aug 23, 2017
    PHP 可否?
    jianleer
        32
    jianleer  
       Aug 23, 2017
    eminemcola
        33
    eminemcola  
       Aug 23, 2017 via Android
    帮朋友的项目打个广告:zaoshu.io ,似乎可以满足楼主的需求
    herozzm
        34
    herozzm  
       Aug 23, 2017 via Android
    我用 go 写过类似这种需求的,再加 100 以内代码可以实现 lz 需求,但是我已经不做外包了,来回沟通麻烦耗神,不想赚这钱
    chengxiao
        35
    chengxiao  
       Aug 23, 2017
    最近写爬虫写的自己想吐了
    单写 20 家店铺不难 但是要带管理的话 写起来会麻烦很多
    qgb
        36
    qgb  
       Aug 23, 2017
    @linfox 只能是纯 python 吗,可不可以搭配其他形式?比如做成浏览器扩展。。。。
    dowson521
        37
    dowson521  
       Aug 24, 2017
    需求清晰,不撕逼。活儿也不难。看上去还靠谱。其实楼主也不是非要服务器,你自己电脑网速稍微快些搞个虚拟机也可以。实在不行再用服务器塞。python 爬爬可以,数据字段定好,每天导出一个 excel。
    wolffn
        38
    wolffn  
       Aug 24, 2017
    Amazon 啊,好说啊,这个我熟
    omg21
        39
    omg21  
       Aug 24, 2017
    后期维护呢?对方平台不可能没有变化,爬虫的生命周期不可控制,有可能交货第二天就挂了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   980 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 96ms · UTC 20:48 · PVG 04:48 · LAX 13:48 · JFK 16:48
    ♥ Do have faith in what you're doing.