文学起点网
当前位置: 首页 文学百科

最新的抠图卡点(秒实现自动抠图)

时间:2023-05-21 作者: 小编 阅读量: 3 栏目名: 文学百科

令人惊喜的是,右边人物的抠图效果不俗,虽然部分背景被视作人体的一部分。4)渣像素图像的识别效果选用照片像素为105x186,「与人体相连面积较大的物体视作人体一部分」定律再次被验证,此外,「人体与人体之间的缝隙被视作人体一部分」问题再次出现。对此,AI科技评论在使用remove.bg的过程中未发现类似情况。小结目前看来,remove.bg需要加强优化的是人体与人体之间缝隙容易被视作前景图的问题。

雷锋网 AI 科技评论按:是否为了简单的抠图功能,还在苦苦修炼 Photoshop 大法?即使修炼成功了,是否觉得在抠图这件事情上花费的时间依然太多?如今一个名叫 remove.bg 的工具可以免除你的这种烦恼,只要上传照片后点击确认,5 秒钟后即可获得一张透明无背景的主体照,而且在使用上完全免费。

由 byteq 开发人员 Benjamin Groessing 所开发的 remove.bg是一款基于 Python、Ruby 和深度学习的抠图工具,它通过 AI 技术自动识别前景层,然后将之与背景层分离开来。为了改善分离的细节效果和防止「串色」,团队还专门增加了相关算法。

不过 Benjamin Groessing 也在个人推特上强调了,remove.bg 目前只能针对含有人像的照片,其他更复杂的主体识别功能,未来将根据用户的反馈持续完善。

网站目前免费开放,无论你是专业设计师还是刚入行的运营小白,都可以上传照片实现自动抠图,免去选择、标记等一系列繁琐的常规操作。不过雷锋网 AI 科技评论在此提醒各位,该网站对于上传照片的大小以及输出照片的像素是有限制的,其中上传的照片大小不能超过 8 M,输出的照片像素也只有 500px。如果对最后的成图质量有较高要求,建议各位还是选择使用 Photoshop。

在展示网站的试用效果以前,雷锋网 AI 科技评论先简单介绍本次的考核标准:

  1. 如何处置人物手中持有的物体

  2. 会否把过暗/过亮的衣服当成背景

  3. 光照不足下的识别效果

  4. 渣像素图像的识别效果

  5. 会否出现无解的「破洞」

这些考核标准主要参考了 AI 科技评论去年介绍过的一项由 Gidi Sheperber 在 greenScreen.AI 所做的一项同性质工作,我们想知道,这一年来我们的技术在面对同样的问题时是否已经有了进步:

1)如何处置人物手持的物体

我们可以看出,系统在面对大面积与人体相连的物体时,会将物体视作人体的一部分,当成前景图处理;

而面对与人手相连程度较低的物体时,则会当做背景图剔除掉。

2)会否把过暗/过亮的衣服当成背景

由于背景颜色与人物衣服颜色较相近,导致系统将其视作人体的一部分,如右边小哥的背包;另外还有部分人物的衣物被视作背景的一部分,如右边小哥的帽子。

由于背景颜色与人物穿着颜色有所区隔,所以最终出来的识别结果较出色,然而依然出现小范围背景与人体粘连一块的现象,主要集中在人体与人体之间的缝隙间。

3)光照不足下的识别效果

最终识别效果不俗,不过又一次出现大面积与人体相连物体被视作前景图的情况(枕头),看来与团队背后的算法设置有一定关系;

由于左边光线不足导致人物被视作背景图。令人惊喜的是,右边人物的抠图效果不俗,虽然部分背景被视作人体的一部分。

4)渣像素图像的识别效果

选用照片像素为 105 x 186,「与人体相连面积较大的物体视作人体一部分」定律再次被验证,此外,「人体与人体之间的缝隙被视作人体一部分」问题再次出现。

选用的照片像素为 185 x 185,暂时没有可以挑剔的。

5)会否出现无解的「破洞」

在去年 Gidi Sheperber 的同性质工作中,她发现有些本应该不错的抠图结果,最终却出现类似于被挖了一个洞的情况。对此,AI 科技评论在使用 remove.bg 的过程中未发现类似情况。

小结

目前看来,remove.bg 需要加强优化的是人体与人体之间缝隙容易被视作前景图的问题。另外 remove.bg 默认图中的物品只要与人体的相连面积较大,一律视作前景图处理,这点在未来可以考虑开放选择项,让用户自行选择,毕竟有些时候就只是纯粹要抠的人物。

优点方面,图像的背景颜色只要不与人体颜色过分相近,remove.bg 在光线不足与低像素的抠图表现还是让人比较满意的。重点称赞 remove.bg 的响应速度,每一张照片从上传到生成最终结果,AI 科技评论的体验是每张基本都不会超过 5 秒。最终出来的描边效果虽然不算十分优秀,但对一般用户的使用而言完全绰绰有余。

Gidi Sheperber 的相关工作

Gidi Sheperber 的工作与 remove.bg 相比只能说是朋友之间的趣味实验,她和朋友 Alon Burg 花了几个月时间,基于 COCO 数据集采用语义分割技术和 Tiramisu 模型试图打造一个抠图模型。最后他们基于这项工作总结了许多关于数据选择和模型训练上的问题,并提出相应的改进方式,对我们来说有一定的启发作用。

比如在模型的训练上,她们将范围锁定在肖像与自拍图像,是因为肖像与自拍图像有较突出和集中的前景,并且能保持相对稳定的角度,这将有利于最终的图像切割效果。因此不难理解为何 remove.bg 目前只能提供人像抠图服务。

在模型的选择上,她们采用了拥有极深编码-解码架构 Tiramisu,这是因为该模型紧凑且计算快速,同时兼备 Unet 在实现方面的强项,最终的结果也没让她们失望,尤其是在图像尖锐边缘的捕获上让人非常惊艳。

Tiramisu 的通用架构

数据集的选择上也是经过一番抉择,他们最终才敲定包含最多「人」这一类别图像的 COCO 数据集。基于时间和模型集中程度的考量,她们决定选择与任务最相关的那一部分数据集,而舍弃了更一般性的数据集。这么做的好处是最终训练的模型会非常集中,然而面对更多场景和更具挑战性的图像时模型的表现可能会受影响。

以下为 Gidi Sheperber 和朋友的部分工作成果。

最终切割结果。从左到右分别是:图像,真实数据,输出结果(来自测试集)

他们在过程中发现,除了可能的代码错误的正常调试之外,模型的错误是「可预测的」。如「切割」身体部分超出了正常的躯干范围,没必要的躯干延伸,光照不足,照片质量低和照片中细节过多等。其中一些在添加不同数据集中特定图像时被处理掉了,但是其它的一些则依然是一项还有待处理的挑战。这些都被雷锋网AI 科技评论总结成了上文中用于测试 remove.bg 抠图效果的 5 条标准。

最后,Gidi Sheperber 也针对自身的工作提供了改进建议,比如在训练数据上采用更大分辨率的图像、利用 CRF 改进图像边缘噪点问题、持续关注抠图(Matting)技术的最新进展等。

最后强调一点,由于不同的实验之间涉及的技术、模型、数据类型、数据数量和训练方式都不尽相同,本篇文章借用 Gidi Sheperber 的工作成果作为 remove.bg 的考核标准,肯定有失之偏颇的地方,毕竟 remove.bg 尚未对外公开背后的算法逻辑。无论如何,我们相信同性质的工作互相都有可以借鉴的地方,感兴趣的同学可以自行点击《自拍抠图抠到手软?详解如何用深度学习消除背景》查看 Gidi Sheperber 去年所做的这项工作的更多细节。

,
    推荐阅读
  • 青蛙的特征有哪些(青蛙的相关知识)

    青蛙前脚上有四个趾,后脚上有五个趾,还有蹼。青蛙头上的两侧有两个略微鼓着的小包包。可以使它隐藏在草丛中,捉害虫就容易些,也可以保护自己。它的气囊只有雄蛙有。青蛙用舌头捕食,舌头上有黏液。上颌有齿,一般有犁骨齿。肩带固胸型,椎体参差型,荐椎横突柱状;指趾末端二骨节间没有间介软骨。鼓膜明显隐于皮下,皮肤光滑或有疣粒。舌一般长椭圆形,后端大多具缺刻。

  • 源码授权证书(代码签名证书基本介绍)

    什么是代码签名证书代码签名证书为软件开发商提供了一个理想的解决方案,使得软件开发商能对其软件代码进行数字签名。通过对代码的数字签名来标识软件来源以及软件开发者的真实身份,保证代码在签名之后不被恶意篡改。使用户在下载已经签名的代码时,能够有效地验证该代码的可信度。同时,代码签名证书可以保证文件的完整性,从而防止被恶意篡改。

  • 木工钻孔怎么操作(木工钻孔常用方法及其钻头的使用)

    精确的钻孔技术是木工技术中第一位要学习的。手电钻也可以很容易的安装在钻架上以提供精确的定位和垂直度。电动手枪钻使用的越来越普遍了,虽然他们比起普通电钻明显动力不足。他们的优点是携带和使用方便,电压在3.6至24V之间而且他们是低危险性的电动工具。本站专注木工刀锯行业各种相关资讯和技术问题讨论,免费发布给关注本平台的粉丝阅读,每日更新图文内容;提供木工刀具业内人员交流讨论的和谐平台,满足访问者行业需求。

  • 初二学生考前励志方案(攻坚克难一个月)

    为梦而行,攻坚克难一个月——南漳县九集中学适应性考试分析会特约记者马朝琴为了全面提高学校的管理水平和教育教学质量,总结教学工作得失,备战中考,5月20日上午,九集中学举行了南漳县适应性考试分析会,校长李承捍以及九年级全体教师参加了此次会议。最后,校长李承捍做了重要讲话。通过这次质量分析,老师们更加明确了方向,坚定了信心。相信在学校的高度重视和全体教师的共同努力下,九集中学必将书写中考新篇章!

  • 丰田普拉多国六什么时候上市(丰田普拉多国六什么时候上市价格)

    丰田普拉多故障灯标志图解丰田普拉多故障灯插图完整手册基本指标分为四类:红色指示灯表示警告。这时,继续行驶可能会有危险。③蓝色指示灯提醒车主,看相应功能是否引起其他车辆。紧急情况下踩刹车踏板,会造成甩尾、侧滑等危险失控现象。ESP主要是防止侧滑、甩尾等危险。

  • 近期爆火的20万级大众suv实力如何(纯进口大众SUV让利10.1万)

    纯进口大众SUV让利10.1万大众旗下车型都呈现出一种低调务实的感觉,正是因为这种设计风格才让德系车显得格外有亲和力大众旗下的朗逸、迈腾等车型都给消费者留下深刻印象,销量也不错在大众家族也有一款走豪华路线的进口SUV--途锐202。

  • 汽车空调刚开有异味过一会儿就没有了

    到达目的地前提前关闭交流灯,这样冷却工作就会关闭,蒸发箱会转到常温,表面不会结露。关闭发动机前,请提前关闭空。还需要注意的是,汽车排放的废气中有一氧化碳和二氧化碳。如果在空调车停留时间过长,会对车主造成伤害。建议车主在封闭的车辆环境中不要超过半小时。

  • 关于中秋节的内容(八月十五团圆节介绍)

    关于中秋节的内容每年农历八月十五日,是传统的中秋佳节。这时是一年秋季的中期,所以被称为中秋。在中国的农历里,一年分为四季,每季又分为孟、仲、季三个部分,因而中秋也称仲秋。八月十五的月亮比其他几个月的满月更圆,更明亮,所以又叫做“月夕”,“八月节”。此夜,人们仰望天空如玉如盘的朗朗明月,自然会期盼家人团聚。远在他乡的游子,也借此寄托自己对故乡和亲人的思念之情。所以,中秋又称“团圆节”。

  • 喝果蔬汁的好处(喝果蔬汁的好处有哪些)

    提供能量新鲜的水果蔬菜虽然在榨汁的过程中损失了部分维生素C以及抗氧化物质,但果蔬汁中仍含有对人体有益的维生素、纤维素和矿物质,可以满足人体的营养需求,为人体提供能量。用新鲜的蔬菜和水果代替果蔬汁,能获得更全面的营养素,满足身体的营养需求。果蔬汁喝多少好根据膳食指南推荐,人每天应摄入300-500克蔬菜,200-400克水果较好。

  • 梦幻西游钓鱼大赛积分怎么获得 梦幻西游钓鱼大赛积分怎么获得的

    只有在钓鱼活动期间,使用“精致鱼竿”钓鱼,才会获得积分。使用鱼竿后,只要有效时间未结束,鱼竿就不会消失,玩家可以在钓鱼中途随时离开当前渔场,更换新的钓鱼地点,再次使用鱼竿进行钓鱼。