业内专业AI公司发布全新的重庆3D动画制作技术
人工智能平台公司云从科技近日发布了其在3D人体重建技术上取得的重大突破。3月19日,作为“国内CV(计算机视觉)四小龙”之一的云从科技(以下简称云从)宣布,重庆影视公司其基于单帧图像的3D人体重建技术刷新了三项世界纪录,这也是继去年云从在3D人脸数据集上大幅刷新纪录后,再次在此类3D重建技术上取得重要成果。
所谓的三项世界纪录,指的是Human3.6M、Surreal和UP-3D三个数据集,是全球关于3D人体重建技术的权威数据集。榜单中的竞争对手包括加州大学伯克利分校、宾夕法尼亚大学、Amazon和Adobe Research等知名企业、研究所与高校。
那么,这项“牛逼”的AI技术到底有哪些应用呢?对于大众而言,3D人体重建技术带来的是全新体验:
这意味着,只用美颜APP就可以完成高精度的全身“瘦身”;你站在镜子前,商场的试衣镜便可实现一秒换装;如果放在电影工业的范畴来看,全新的3D人体重建技术,甚至将超越今年热映好莱坞科幻大片《阿丽塔》中所使用的视觉特效水平(钛媒体曾对该片的特效技术有详细介绍)。
在3D重建领域,重庆影视制作在的差通常被作为算法能力的主要衡量指标,它指的是生成模型与实际图像的差别。一般来说误差越低,精度越高,技术的性能越好。
云从对钛媒体透露,此次技术突破,“将原有最低误差记录大幅降低30%,使3D人体建模的结果更优秀,更接近人体的实际情况”。以下为云从提供的最低误差记录的信息:
全身精度误差在Surreal上从75.4毫米降低到52.7毫米;关节精度误差从55.8毫米降低到40.1毫米;Human3.6M上的关节精度误差从59.9毫米降低到46.7毫米;
除了误差指标,流畅度也是评价技术效果的关键指标。据云从透露,当前人体模型的帧率已经达到了200帧/每秒,相较之下,电影的帧率通常只有24帧/秒,即使对流畅度要求很高的电子游戏,达到60帧/秒就已经非常流畅。在运算速度上,人体建模的耗时也从上百毫秒降低到5毫秒,建模效率更高。
关键指标取得重大突破,加速了3D人体重建的落地进程,但这一概念在大众眼中实属陌生。重庆3D动画公司他们所提出的单帧3D人体重建到底是什么?其革命性到底体现在哪里?
2D向3D飞跃:更精细的人体重建
因为人体有丰富的姿态和穿着,云从提出了一套全新的基于人体3D纵深预测的3D信息表征方式。该重庆3D动画制作技术通过对三原色图像(RGB,不含深度信息)进行分析,预测人体的3D形态和姿势。
这是3D人体重建从2D时代向3D时代的飞跃。
传统的人体关键点检测技术往往监测的是2D的人体骨骼关节点,即通过技术预测RGB图像中人体的十几个关节点的坐标。这种方式存在着不足,其一这样捕捉的节点非常稀疏;其二,这样捕捉的结果一般只包含2D平面的坐标预测,不能还原3D的深度信息,无法体现纵深感。
而基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能同时预测大量人体表面的关键点信息,使预测结果更丰富。而且每个点的坐标都是3D呈现,能够体现不同躯干的纵深信息。