V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
linfox
V2EX  ›  Python

电商公司有一个爬虫小项目需要外包

  •  
  •   linfox · 2017-08-23 15:40:58 +08:00 · 10057 次点击
    这是一个创建于 2651 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1- 指定网店店铺(比如 20 家)有发布新产品,可以抓取图片标题链接等信息,并集中到一个页面下显示出来。
    2- 后期我方可以自己添加或者删除店铺。
    3- 编程语言最好是 python

    希望能找一位程序员可以长期合作的。类似小项目长期有。

    有意者请联系 企鹅号 264 九九 21953
    39 条回复    2017-08-24 09:42:04 +08:00
    graetdk
        1
    graetdk  
       2017-08-23 15:41:51 +08:00
    这个需求其实并不小了
    CosimoZi
        2
    CosimoZi  
       2017-08-23 15:45:41 +08:00
    如果是淘宝,甚至可以说很难
    SourceMan
        3
    SourceMan  
       2017-08-23 15:50:03 +08:00   ❤️ 9
    小项目的意思是预算可能不是很多
    需求列的少的意思是可以酌情展开一些子需求
    ChristopherWu
        4
    ChristopherWu  
       2017-08-23 15:55:44 +08:00
    @graetdk 看起来很小啊,自定义一下就好了
    linfox
        5
    linfox  
    OP
       2017-08-23 16:06:47 +08:00
    V 友们是不是平常被坑多了,所以第一反应总是恶意的揣度对方。

    下面我做一下补充说明:

    0- 爬取对象是 亚马逊 amazon.com
    1- 抓取到的信息,只需要集中显示,方便浏览查看,不需要发布到某个平台。
    2- 不需要做客户端,后期的增减店铺,你可以告诉我方在哪个文件的哪个位置进行删减。
    3- 预算方面,我会根据大家的报价,定一个合适的。毕竟我需要的是一个 生产工具,能帮我赚钱提高生产力的,我都舍得投入。
    4- 各位 V 友要是怕我后期不断提需求,那么我们可以在交易前把相关需求全部列出来。文档以外的需求,你可以拒绝,或者我们再谈一个额外的价格。但是文档以内的,你必须做完,哪些需求做不了,请你事前说明。哪些功能会因为亚马逊平台官方的调整出现风险或者问题的,也请事先提醒。
    5- 之所以说是一个小项目。是因为我司还有其他需求需要外包,还有一个独立站需要优化推广。希望合作从这个小项目开始。
    wangxn
        6
    wangxn  
       2017-08-23 16:10:12 +08:00 via Android   ❤️ 2
    凡是小需求都不小。
    Yourdaye
        8
    Yourdaye  
       2017-08-23 16:11:06 +08:00
    @linfox V 友们怕的是:这么个小项目,给 200 够了吧
    agoodob
        9
    agoodob  
       2017-08-23 16:19:31 +08:00
    我猜这个需求就是关注竞争对手的动态吧?不知道能不能做成 SaaS
    linfox
        10
    linfox  
    OP
       2017-08-23 16:26:12 +08:00
    @agoodob 对的。 就是关注同行们最近上了什么新产品。
    CosimoZi
        11
    CosimoZi  
       2017-08-23 16:29:41 +08:00
    @linfox 竞品动态我记得 v 站有个独立开发者就是做这方面内容的,你可以翻翻以前的帖子找找
    cyang
        12
    cyang  
       2017-08-23 16:35:52 +08:00
    给多少钱?可以明盘么?
    aksoft
        13
    aksoft  
       2017-08-23 16:37:24 +08:00
    你第一个和第二个冲突。。
    NullMan
        14
    NullMan  
       2017-08-23 16:38:01 +08:00
    按题主的描述,确实是个小项目,小到用 Scrapy 的话,最多 500 行代码搞定。
    Ehco1996
        15
    Ehco1996  
       2017-08-23 16:43:15 +08:00 via iPhone
    我可以试试,时间期限是怎么样的?
    linfox
        16
    linfox  
    OP
       2017-08-23 16:45:38 +08:00
    关于需求,我罗列的清楚些,报价就请按需求的报,如果我加需求,你可以要求加钱。

    1- 爬取字段四个: 标题 图片 链接 价格
    2- 平台仅仅针对亚马逊。 频率大概每天爬取一次。比如我关注了这 100 个亚马逊店铺,8.1 我爬取了一次,那么 8.3 日就是爬取这两天他们新上的产品。老产品不用爬,新产品全部要爬下来。
    3- 服务器。这个我不是很懂,公司的电脑不能用吗? 不能用的话买一个阿里云或者 DO 都没问题。
    4- 爬下来的结果通常是放到 excel 或者数据库是吧? 可以的。
    5- 源代码需要给到我。 一是方便我后期增减店铺数,二是如果后期的合作谈不拢,这个小项目我可以交给其他人去扩展。
    rocksolid
        17
    rocksolid  
       2017-08-23 16:52:00 +08:00
    的确不大,看需求服务器都不需要
    linfox
        18
    linfox  
    OP
       2017-08-23 16:59:19 +08:00
    坐标深圳: 如果有本地的 V 友当然最好方便面谈什么的。
    付款方式: 不知道这种项目一般怎么操作。 做完后给钱你怕我跑路,做之前给钱我怕你跑路,哈哈。
    robinlovemaggie
        19
    robinlovemaggie  
       2017-08-23 17:06:36 +08:00
    @linfox 项目托管给第三方平台,走双方约束
    linfox
        20
    linfox  
    OP
       2017-08-23 17:14:22 +08:00
    @robinlovemaggie 谢谢

    什么样的第三方? 类似 github ?
    rocksolid
        21
    rocksolid  
       2017-08-23 17:16:57 +08:00
    @linfox 淘宝不就是,还有 https://mart.coding.net/
    vincenth520
        22
    vincenth520  
       2017-08-23 17:17:20 +08:00
    @linfox 深圳哪里
    holajamc
        23
    holajamc  
       2017-08-23 17:18:04 +08:00
    如果你能提供数据库或者 excel 的字段,可以约一发
    Immortal
        24
    Immortal  
       2017-08-23 17:18:15 +08:00
    楼主表达能力不错 挺清晰的
    linfox
        25
    linfox  
    OP
       2017-08-23 17:20:19 +08:00
    @vincenth520 龙华
    robinshi2010
        26
    robinshi2010  
       2017-08-23 17:34:34 +08:00
    还好吧。需求不离谱。可以说说预算。如果大家感兴趣肯定会加你啦。

    不是故意往坏的地方想,我们程序员思维就这样的,第一时间考虑的都是边界值。
    tscat
        27
    tscat  
       2017-08-23 17:37:18 +08:00
    为什么没人接。。看起来挺简单的
    prasanta
        28
    prasanta  
       2017-08-23 17:40:26 +08:00
    爬虫简单,反反爬虫难
    robinlovemaggie
        29
    robinlovemaggie  
       2017-08-23 18:16:38 +08:00
    @linfox 很多平台啦,关键是能建立相互的信任
    mark06
        30
    mark06  
       2017-08-23 18:23:24 +08:00
    一个爬虫+一个后台管理页?
    Moker
        31
    Moker  
       2017-08-23 18:25:26 +08:00
    PHP 可否?
    jianleer
        32
    jianleer  
       2017-08-23 18:36:42 +08:00
    eminemcola
        33
    eminemcola  
       2017-08-23 20:34:59 +08:00 via Android
    帮朋友的项目打个广告:zaoshu.io ,似乎可以满足楼主的需求
    herozzm
        34
    herozzm  
       2017-08-23 21:20:43 +08:00 via Android
    我用 go 写过类似这种需求的,再加 100 以内代码可以实现 lz 需求,但是我已经不做外包了,来回沟通麻烦耗神,不想赚这钱
    chengxiao
        35
    chengxiao  
       2017-08-23 23:15:22 +08:00
    最近写爬虫写的自己想吐了
    单写 20 家店铺不难 但是要带管理的话 写起来会麻烦很多
    qgb
        36
    qgb  
       2017-08-23 23:36:36 +08:00
    @linfox 只能是纯 python 吗,可不可以搭配其他形式?比如做成浏览器扩展。。。。
    dowson521
        37
    dowson521  
       2017-08-24 00:41:07 +08:00
    需求清晰,不撕逼。活儿也不难。看上去还靠谱。其实楼主也不是非要服务器,你自己电脑网速稍微快些搞个虚拟机也可以。实在不行再用服务器塞。python 爬爬可以,数据字段定好,每天导出一个 excel。
    wolffn
        38
    wolffn  
       2017-08-24 01:04:57 +08:00
    Amazon 啊,好说啊,这个我熟
    omg21
        39
    omg21  
       2017-08-24 09:42:04 +08:00
    后期维护呢?对方平台不可能没有变化,爬虫的生命周期不可控制,有可能交货第二天就挂了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1260 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 18:11 · PVG 02:11 · LAX 10:11 · JFK 13:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.