ArtEmis:视觉艺术的情感语言
KAUST计算机科学助理教授Mohamed Elhoseiny与加利福尼亚州斯坦福大学和法国ÉcolePolytechnique(LIX)合作开发了一个大规模数据集,用于训练AI在与艺术品一起呈现时重现人类情感。
最终论文“ ArtEmis:视觉艺术的情感语言”将在2021年6月19日至25日举行的计算机视觉和模式识别会议(CVPR)上发表,这是最重要的年度计算机科学会议。
被描述为“视觉艺术的情感语言”,ArtEmis的用户界面平均每幅图像有七个情感描述,使人类对WikiArt的81K件艺术品的情感解释归因总数超过了439K。
“在该项目之前,大多数机器学习模型都是基于事实描述数据集的,” Elhoseiny解释说。他补充说:“例如,以'一只鸟栖息在椅子上',阿耳emi弥斯扩展了图像描述,要求人们在观察艺术品时也要增加他们感受到的情感,其中包含了复杂的隐喻语言和抽象思想。”
最初的设计灵感来自东北大学心理学教授丽莎·费尔德曼·巴雷特(Lisa Feldman Barrett),并在她的《如何产生情感:大脑的秘密生活》一书中进行了解释。在她的书中,巴雷特(Barrett)展示了刻板印象的面孔如何帮助人们更好地识别所构造的情绪。“我们特意在界面中使用了表情符号,因为巴雷特的实验证明,即使对于人类来说,识别情感也是一个具有挑战性的问题。” ArtEmis生成的数据使AI系统的构建超越了基于面部表情识别的情感AI工业产品中当前采用的经典的传统情感观。基于类似ArtEmis的数据的情感图像描述模型可以通过更好地与艺术品联系并欣赏艺术品来帮助人们获得更积极的体验。与Barret的观点一致,这也可能为使用情感AI缓解心理健康问题打开了大门。
然后,研究人员进行了人体研究,以显示ArtEmis数据集的独特功能。例如,与完善的视觉和语言数据集相比,ArtEmis需要更多的情感和认知成熟度。这项研究还通过一项用户研究得到了验证,在该研究中,参与者被问及描述是否与相关的艺术品有关。
“但是,我们并没有止步于此。为了展示情感神经说话者的潜力,我们还在ArtEmis数据集上训练了地面版本和非地面版本的图像字幕模型。图灵测试表明生成的描述与人类的描述非常相似,” Elhoseiny说。
ArtEmis始于Elhoseiny博士与Guibas教授一起担任斯坦福大学的客座教授。作为与斯坦福大学博士Panos Achlioptas的合作项目,Elhoseiny与斯坦福大学的计算机科学教授,计算机视觉和图形学的领先权威之一的保罗·皮格特(Paul Pigott)合作,共同构建了一个大规模的艺术和语言数据集。Guibas教授的学生,他采纳了该建议,并为使该项目成为现实而做出了巨大的努力。MS / Ph。Kilich Hydarov也支持该项目的实施。KAUST Vision-CAIR组的候选人。这项合作还得益于LIX Ecole Polytechnique的计算机科学教授,领先的图形和视觉研究人员之一的Maks Ovsjanikov的专业知识。
“我们的数据集是新颖的,因为它涉及计算机视觉中尚未充分探索的问题:基于视觉的情感语言解释的形成。具体来说,ArtEmis揭示了情绪,感觉,个人态度和抽象概念,例如自由或爱情,是由各种各样的人引起的。范围的复杂视觉刺激。” Elhoseiny总结道。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
试驾奔驰A级,一键启动,开启豪华驾驶之旅。外观时尚动感,内饰精致豪华,科技配置丰富,带来非凡体验。动力充...浏览全文>>
-
试驾零跑C01,感受豪华与性能的完美融合。车身线条流畅,内饰精致,科技感十足,座椅舒适,带来极佳的乘坐体验...浏览全文>>
-
试驾哈弗H6操作指南:1 预约试驾:通过官网或4S店预约试驾时间,提前了解车型配置。2 签到登记:到达后...浏览全文>>
-
预约试驾吉利熊猫,可通过以下步骤进行:1 访问官网或APP:进入吉利汽车官网或“吉利汽车”官方APP,找到“...浏览全文>>
-
试驾比亚迪唐新能源,新手必看的详细流程如下:1 预约试驾:通过官网或4S店预约,选择合适时间与地点。2 ...浏览全文>>
-
试驾雷克萨斯LX,感受豪华与科技的完美融合。进入车内,真皮座椅带来极致舒适体验,全景天窗让空间更显开阔。...浏览全文>>
-
预约试驾问界M9前,新手需注意以下事项:首先,提前了解车辆基本功能,如智能驾驶辅助、语音控制等,有助于快...浏览全文>>
-
预约试驾吉利银河E5的流程如下:首先,访问吉利汽车官网或“吉利银河”官方App,进入“试驾预约”页面。填写个...浏览全文>>
-
万象汽车试驾,轻松开启试驾之旅。本次试驾体验,不仅展现了车辆的卓越性能,更让人感受到品牌对驾驶乐趣的深...浏览全文>>
-
试驾极狐阿尔法S,从咨询到体验全过程令人印象深刻。前期通过线上平台了解车型信息后,客服响应迅速,详细解答...浏览全文>>
- 试驾雷克萨斯LX,感受豪华与科技的完美融合
- 宝马X1试驾,快速操作,轻松体验驾驶乐趣
- 昌河北斗星X5试驾,简单几步,开启完美试驾之旅
- 北汽制造勇士试驾预约,4S店的贴心服务与流程
- 试驾海豚,轻松几步,畅享豪华驾乘
- 试驾奔驰V级,新手必知的详细步骤
- 比亚迪海豹05DM-i试驾预约流程
- 奇骏试驾需要注意什么
- 极氪7X试驾,如何在4S店快速预约?
- 保时捷Cayenne预约试驾需要注意什么
- 试驾沃尔沃XC60,从预约到试驾的完美旅程
- 比亚迪海豹06GT试驾,如何享受4S店的专业服务?
- 明锐试驾,4S店体验全攻略
- 理想汽车理想L8预约试驾怎么预约
- 试驾海豚,轻松几步,畅享豪华驾乘
- 理想汽车预约试驾,如何在4S店快速预约?
- 魏牌预约试驾全攻略
- 保时捷Cayenne预约试驾需要注意什么
- 试驾海豚预约流程
- 哈弗预约试驾,开启完美驾驭之旅