• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zippera
V2EX  ›  程序员

有没有可能自动抓取网上文章并自动在自己的网站发布?

  •  
  •   zippera ·
    zippera · Jun 23, 2013 · 13044 views
    This topic created in 4880 days ago, the information mentioned may be changed or developed.
    比如网站做好并设置好之后,每天自动到九点、startupnews类似的网站上抓取十篇文章附带评论,然后自动发布到自己的网站,全程无人监守。

    能否实现?有没有已经实现的?
    freed
    freed
    Jun 23, 2013
    1
    XX小偷? 这类小偷程序应该可以吧..
    shiweifu
    shiweifu
    Jun 23, 2013
    2
    写个爬虫不就行了
    twamix
    twamix
    Jun 23, 2013
    3
    火车头 AND ET2
    jjplay
    jjplay
    Jun 23, 2013
    4
    http://www.demo2.org/ 高端反向代理采集
    zippera
    zippera
    OP
    Jun 23, 2013
    5
    @freed Could you name one please ?
    zippera
    zippera
    OP
    Jun 23, 2013
    6
    @jjplay 感谢,能否撰文介绍一下相关知识或原理,或者推荐几篇相关文章?
    zippera
    zippera
    OP
    Jun 23, 2013
    7
    @twamix 多谢,我了解下
    xieren58
    xieren58
    Jun 23, 2013
    8
    http://www.17qingsong.com/ 全自动,无人值守
    zippera
    zippera
    OP
    Jun 23, 2013
    9
    @xieren58 感谢,能否撰文介绍一下相关知识或原理,或者推荐几篇相关文章?
    yaotian
    yaotian
    Jun 23, 2013
    10
    刚搞得,连域名都没有。 10秒抓一次。
    http://zhengyaotian.com:9999
    huip
    huip
    Jun 23, 2013
    11
    这个应该很容易实现吧,把抓取的数据存储到数据库,然后在写一个中间件就可以了。
    zippera
    zippera
    OP
    Jun 23, 2013
    12
    @yaotian
    @huip 有没有更详细的介绍?我也想做
    lyklykkkkkkk
    lyklykkkkkkk
    Jun 23, 2013
    13
    许多据说『月入几万』的垃圾站就是这么干的,收集文章+挂广告
    xieren58
    xieren58
    Jun 23, 2013
    14
    @lyklykkkkkkk 对呀,我的那小站,每个月也能赚点~学那么多,不能变现,那也是白学~谁让生在天朝呢。一套房子压死很多程序猿了~
    yaotian
    yaotian
    Jun 23, 2013
    15
    @xieren58 你那站靠广告?收入每月多少?
    xieren58
    xieren58
    Jun 23, 2013
    16
    @yaotian 没多少,ip平时一般有3k,百度有10几块一天,加上有淘宝,亚马逊,一号店那些,一个月至少几百,上千,没啥问题~
    akira
    akira
    Jun 23, 2013
    17
    肯定可以啊。。。不然你以为各种垃圾站怎么来的,还有各种采集软件,都是谁买的
    yaotian
    yaotian
    Jun 23, 2013
    18
    @xieren58 不错呀。 网站复制50个,那么收入可以不用上班了
    yaotian
    yaotian
    Jun 23, 2013
    19
    上面介绍的那个临时的站大家就别访问了, 和域名连上了 http://sche.mobi/
    xieren58
    xieren58
    Jun 23, 2013
    20
    @yaotian 我也想~
    yaotian
    yaotian
    Jun 23, 2013
    21
    @xieren58 你那站3k ip, 应该不会占太多资源,一个linode可以复制好几个呢,加油
    xieren58
    xieren58
    Jun 23, 2013
    22
    @yaotian 买不起vps,放在免费的heroku呢,大家都没想到吧~我就投入一个域名钱而已~
    huazhouji
    huazhouji
    Jun 23, 2013 via iPhone
    23
    垃圾站不是很容易被搜索引擎降权之类的吗?需要采集后做什么处理吗?还是采集的渠道有讲究?望赐教〜〜
    efi
    efi
    Jun 23, 2013
    24
    有没有可能自动抓取网上邮箱并自动向邮箱发送广告?
    lovejoy
    lovejoy
    Jun 23, 2013
    25
    最讨厌这种网站,尤其是有些完全是关键字没有内容的网站
    zippera
    zippera
    OP
    Jun 23, 2013
    26
    @efi 这个有,所以很多人把邮箱做成图片。
    yaotian
    yaotian
    Jun 23, 2013
    27
    @xieren58 真没看出来,不错。 我们建友情链接吧? 目前 http://sche.mobi 已经搞得相对满意了。
    timothyye
    timothyye
    Jun 23, 2013
    28
    这类的程序很多的
    quake0day
    quake0day
    Jun 24, 2013
    29
    这个自己写都不难,Python基础的urllib,urllib2库就能搞定。至于定时,用Crontab控制就行了。
    zlwens
    zlwens
    Jun 24, 2013
    30
    原来拉圾站是这么有搞头啊
    PrideChung
    PrideChung
    Jun 24, 2013
    31
    建议你不要做这种无耻的行为。
    xieren58
    xieren58
    Jun 24, 2013
    32
    @yaotian 友情链接已经搞好,我的网站叫17轻松,你改改名字~
    tarsier
    tarsier
    Jun 24, 2013 via Android
    33
    不是我自视清高,我觉得在这里讨论垃圾站采集站复制别人内容来赚钱的行为不好。
    xiiing
    xiiing
    Jun 24, 2013
    34
    网上原创文章并不多,很多门户网站也是转来转去的。转的时候加上来源是不是好一些?
    zippera
    zippera
    OP
    Jun 24, 2013 via Android
    35
    @PrideChung 想到这个问题时纯粹是从技术角度出发的,也想练练手。看到大家讨论才意识到有些垃圾站是这么来的。但是,美味阅读这样的网站不也是采集来的吗?
    zippera
    zippera
    OP
    Jun 24, 2013 via Android
    36
    @xiiing 从道德法律角度都是必要的
    zippera
    zippera
    OP
    Jun 24, 2013 via Android
    37
    @timothyye 能否举例几个?
    zippera
    zippera
    OP
    Jun 24, 2013 via Android
    38
    @quake0day 好,我了解下,谢谢
    timothyye
    timothyye
    Jun 24, 2013
    39
    @zippera google关键词 “自动 采集 程序”
    yaotian
    yaotian
    Jun 24, 2013
    40
    @xieren58 已改。

    我仔细的看了你的站,有些细节做的很不错,能运行在免费主机上,相当了不起。

    鼓励你给大家开一帖,讨论站长运营。比如如何让你不降级,让搜索引擎更多收录,等等
    xieren58
    xieren58
    Jun 24, 2013
    41
    @yaotian 我也是菜鸟,以前只是写代码,刚开始做站长不久,没啥经验呢~
    PrideChung
    PrideChung
    Jun 24, 2013 via iPhone
    42
    @zippera 美味爱读的网摘是ugc,并非自动采集。不过我觉得这样还是有问题,因为无论网站还是用户都没有得到原文作者的授权。
    按照著作权法,全文转载是需要经过作者首肯的,即使保留了署名也需要作者同意。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5558 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 77ms · UTC 02:04 · PVG 10:04 · LAX 18:04 · JFK 21:04
    ♥ Do have faith in what you're doing.