经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 移动开发 » Android » 查看文章
使用普通摄像头,轻松实现精准动作捕捉能力
来源:cnblogs  作者:HMSCore技术团队  时间:2021/12/17 11:26:34  对本文有异议

近几年,关于动作捕捉能力的实际应用场景越来越多,比如科幻电影里特效制作,虚拟游戏人物的制作等,这些大多采用了传统的动作捕捉方案。

传统的动作捕捉通常有两种解决方法:光学捕捉和惯性捕捉

光学动作捕捉需要在人体的关键点部位粘贴反射标志,通过多个红外摄像头从不同角度追踪人体身上的光标位置,具有精度高、时延低的优势,缺点是对场地有严格要求,设备穿戴繁琐,价格也十分昂贵。惯性动捕系统是通过陀螺仪、加速度计等惯性传感器来捕获人体关键骨骼的旋转信息,相比光学式动捕穿戴方便,但精度较低,易受地磁干扰。

无论是光学式还是惯性式动捕系统,都需要穿戴专业的动捕设备,同时成本很高。而华为3D建模服务(3D Modeling Kit)最新推出的动作捕捉能力,仅需要RGB摄像头就可以捕获人体关键点的旋转信息,让每个人都可以通过手机来实现动作捕捉。

技术支持

那么,脱离了辅助设备,华为是采用了哪些技术来实现低门槛高精准的动作捕捉能力的呢?

人体检测技术

进行动作捕捉前需要从图像中定位出人体的位置。人体检测技术可以回归出包含人体的边界框,根据边界框切割出对应的区域可以去除冗余的背景,方便后续的姿态估计。

3D人体姿态估计技术

动作捕捉能力最关键的一环,是基于深度学习的单目姿态估计算法可以从RGB图像中估计出人体关键点的3D位置和骨骼的旋转信息,从而可以应用到广泛的实际场景中。

模型加速与压缩技术

动捕算法最终要部署在端侧,由于存储空间和功耗的限制,对于模型的时延和大小要求都非常严格。一方面,需要针对移动设备的CPU设计合适的轻量化网络结构。另一方面对于训练好的float32模型进行参数量化,转化为int8模型,并针对部分算子进行优化,压缩模型大小的同时显著提高推理速度。

应用场景

动作捕捉能力最广泛也最直接的应用是用来驱动虚拟形象,在虚拟直播、游戏和电影制作等场景都有着不少需求。例如在游戏中,利用动作捕捉能力,用户上传一段视频即可捕捉其中的人物动作,产生对应的数据来驱动游戏中的人物。

另外在短视频领域,动作捕捉能力也大有可为。基于模型的动捕算法可以输出人体网格,在此基础上可以添加各种特效。

除此之外,动作捕捉能力还有更多待开发的应用场景和无限的使用价值,华为动作捕捉能力极大降低了各行业的开发使用门槛。

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

原文链接:http://www.cnblogs.com/hmscore/p/15701012.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号