V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
malusama
1.43D

话说我想弄一个识别动漫人物的工具

  •  
  •   malusama · Sep 19, 2018 · 9246 views
    This topic created in 2777 days ago, the information mentioned may be changed or developed.

    目前的想法是根据图片识别动漫人物..因为在 twitter 上经常会分享一些画师的图... 但是自己一段时间没追番会不认得是哪个人物...而且感觉自己经常有需求,就试试能不能实现了

    目前想法是根据深度学习(虽然我不会,但是看起来就这个能够实现的样子)来分类图片 目前用百度的 esaydl 实现了一个 demo

    https://abyss.malu.moe

    目前用到的数据都是自己去 pixiv 根据关键词爬取的..现在大概有 20 多个分类..都是自己喜欢的角色..

    实际上感觉根据图片画风识别画师更实在些...自己训练人物都是认识的识别啥啊..

    41 replies    2019-06-06 10:55:15 +08:00
    Kagari
        1
    Kagari  
       Sep 19, 2018
    ta 不认识你的头像诶
    malusama
        2
    malusama  
    OP
       Sep 19, 2018
    Kagari
        3
    Kagari  
       Sep 19, 2018
    @malusama #2 抱歉,有延时。score:1.00
    malusama
        4
    malusama  
    OP
       Sep 19, 2018
    对了 现在又一个问题就是没办法弄到足够的图片来作为数据...
    目前个人的是去 pixiv 收藏一个人物的图片然后用爬虫下载自己的收藏列表..
    如果愿意提供数据非常欢迎,
    XiaorAx
        5
    XiaorAx  
       Sep 20, 2018
    扎心了。。把路飞识别成了 Reg
    msg7086
        6
    msg7086  
       Sep 20, 2018   ❤️ 2
    遇上芳文社著名女演员会怎么样?
    ArchiTech
        7
    ArchiTech  
       Sep 20, 2018
    我超喜欢你这个想法!完成度也还可以,加油!!!!!
    jswh
        8
    jswh  
       Sep 20, 2018
    做识别小姐姐的工具?
    malusama
        9
    malusama  
    OP
       Sep 20, 2018
    @XiaorAx #5 现在还没有路飞的数据,如果加上了效果应该会好一点
    malusama
        10
    malusama  
    OP
       Sep 20, 2018
    @jswh #8 识别小姐姐的三次元的已经有了...现在在做二次元
    hu5ky
        11
    hu5ky  
       Sep 20, 2018
    那你意思是类似人脸识别那样?
    maemolee
        12
    maemolee  
       Sep 20, 2018
    我甚至觉得只需要筛选发色、瞳色就能得到近似结果了😂
    malusama
        13
    malusama  
    OP
       Sep 20, 2018
    @maemolee #12 这些确实可以作为参数输入,但是识别发色 和瞳色也需要一个神经网络吧
    lht260
        14
    lht260  
       Sep 21, 2018
    这个可以,我经常看到些动漫图片,但是不知道是出自哪里,想找到
    hwcj123
        15
    hwcj123  
       Sep 21, 2018
    @msg7086 你吼呀
    llrg222
        16
    llrg222  
       Sep 21, 2018
    百度识图
    iyangyuan
        17
    iyangyuan  
       Sep 21, 2018 via iPhone
    垂直领域的百度识图?
    malusama
        18
    malusama  
    OP
       Sep 21, 2018
    @msg7086 #6 已经加入芳文社著名演员的识别了...可以试一下 233
    malusama
        19
    malusama  
    OP
       Sep 21, 2018
    @iyangyuan #17 差不多 这个更小众一点
    malusama
        20
    malusama  
    OP
       Sep 21, 2018
    因为一些错误,导致不能服务几个小时...
    现在已经可以用了
    kingcc
        21
    kingcc  
       Sep 22, 2018
    居然能识别我的智乃酱( ╯▽╰),赞一个…
    Rocinante
        22
    Rocinante  
       Sep 22, 2018 via Android
    三笠都没有认出来啊。。
    malusama
        23
    malusama  
    OP
       Sep 22, 2018
    @Rocinante #22 还没有加入三笠的数据....如果有数据了应该可以的
    malusama
        24
    malusama  
    OP
       Sep 23, 2018
    添加了三笠的数据...不过还没有上线.
    还得等百度的审核...
    malusama
        25
    malusama  
    OP
       Sep 23, 2018
    ....又崩了...
    icylogic
        26
    icylogic  
       Sep 24, 2018
    有点意思……可以讨论一下

    easydl 这种肯定泛化性会很好,但针对单一类型未必有很好的效果,你用这个做到最后也许不一定能比 Google Image Search 和 iqdb, SauceNAO 效果好。反正你爬的也是 p 站,SauceNAO 和 iqdb 我估计整个 p 站和其他画师网站基本全爬了,你传一张 p 站有的图它经常直接能把 pixiv id 给你……

    做特定业务最好针对场景的特征去寻找合适的网络结构,才有希望比这种一般性的网络效果更好一点。动漫的人物是有一些一般图片没有的特征的(比如锐利的边缘,比如眼睛一般比较大,画面一般主体比较突出),这方面我觉得可以看看 waifu2x,waifu2x 似乎用了一个带反卷积层的 vgg 7 层网络,作者考虑到速度,没有用一些新的 inception、resnet 之类的结构,可以试试这些网络效果会不会好一点。

    不过不知道你爬了多少人,这种如果你根本就没去爬那个角色,怎么样都没法识别出来人名对不对……
    但你可以去想别的方向,比如特征不止人物名字,还有画师啊、番剧啊、萌属性(去爬萌娘百科呗)啊都可以做识别,然后你甚至可以基于这些特征去做推荐算法,比如你贴个英莉莉,然后自动识别出来个“败犬”,然后联想到 015 什么的……
    icylogic
        27
    icylogic  
       Sep 24, 2018
    或者用番剧 /漫画做训练,然后识别同人图……

    或者反过来做复杂场景下的检测

    malusama
        28
    malusama  
    OP
       Sep 24, 2018
    @icylogic #27 这种范围识别做不到...至少我一个人标注数据太累了...
    malusama
        29
    malusama  
    OP
       Sep 24, 2018
    @icylogic #26 其实如果有足够的数据(比如把 p 站全爬了)那么传统的计算机视觉之类的方法就可以了.
    甚至 类似 https://whatanime.ga/ 这种工具实现得也很好...

    网络模型现在我还没具体做...
    malusama
        30
    malusama  
    OP
       Sep 24, 2018
    现在 chrome 的插件也实现了下..
    在图片上有右键有选项可以方便的跳转到网站进行识图...刷 twitter 方便很多
    malusama
        32
    malusama  
    OP
       Sep 24, 2018
    @icylogic #26 对了..其实下一步就是根据画风识别哪个画师..感觉这个是可以比较方便获取标注数据的..
    有兴趣吗?
    malusama
        33
    malusama  
    OP
       Sep 25, 2018
    V15 上线..增加了一个人物的识别..目前有 40 多个人物
    heasy
        34
    heasy  
       Sep 25, 2018
    可以
    malusama
        35
    malusama  
    OP
       Sep 27, 2018
    要不要增加库巴公主...
    malusama
        36
    malusama  
    OP
       Sep 28, 2018
    有没有人愿意一起来标注数据
    malusama
        37
    malusama  
    OP
       Sep 29, 2018
    其实后面我是想分享这部分数据集的...有没有人愿意玩玩?
    malusama
        38
    malusama  
    OP
       Sep 30, 2018
    发现上排行榜的画师都不是很高产...所以画师识别暂时搁置
    quwabcxyz
        39
    quwabcxyz  
       Jan 15, 2019 via Android
    大工程,有几个思路可以同步进行,一,人工标记,最优状态下,七十亿人口每人花一分钟标记一张图片。但这状态哪怕做到后期也实际利用率也很难达到百分之十。但这个可以形成庞大的必要原始参考数据。二,将图片上的基础元素提取出来,可能有几百亿个元素样板,建立元素数据库。三,识别模板,简化识别成本 ,用不同层级的模板套用要求不同的对象,一方面可以对匹配率达到量化控制。
    深度学习感觉不是个好出路,库和算法都坑爹,需要结合图片来源,没有就捉瞎。
    其实就是机器视觉的内容
    malusama
        40
    malusama  
    OP
       Jan 16, 2019
    @quwabcxyz #39 兄弟。。你说到最后不也是识别各种元素么。。最后还是深度学习好用
    fyzhu
        41
    fyzhu  
       Jun 6, 2019
    加我 QQ 啊,我感兴趣,740183998
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5063 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 67ms · UTC 05:38 · PVG 13:38 · LAX 22:38 · JFK 01:38
    ♥ Do have faith in what you're doing.