接纳「MyTwins.ai」数字分身，「开学季 Ai 第一课」为直播行业带来了新场景

巫溪小哥

9月1日，「阿里云-云工开物」约请了4位院士/传授，用“自己的数字分身”给各人教学AI相干的知识。此次「开学季 Ai 第一课」接纳的技能，是由36氪此前曾报道的「数字生命技能范畴创新企业「MyTwins.ai」提供的。

张亚勤院士的数字人（接纳MyTwins.ai数字分身技能天生） 图片泉源：MyTwins.ai
本次公开课导师包罗图灵奖得主John E. Hopcroft，中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤，浙江大学人工智能研究所所长吴飞，复旦大学盘算机学院传授黄萱菁，阿里云高校相助部负责人李贝，向观众展示了教诲范畴可以用老师的数字分身来给门生讲课。
作为数字分身直播产物的提供方，MyTwins.ai在年初与淘宝着名头部主播陈洁Kiki相助后，一连举行了一系列技能迭代，现阶段已经可以或许让数字分身以差异的体态、心情、拍摄角度“出镜”，顺应更多视频及直播环境。
数字人直播带货的概念在比年来徐徐火爆，成为电商竞争新赛道的同时，也掀起了数字人技能新一轮的发展海潮。而在AI技能的支持下，数字人主播以其低资本的上风，吸引了大量的关注。

图片泉源：MyTwins.ai
早期很多数字人产物，只能让数字人保持单一体态，根据口播内容做一些简朴的口型厘革和上肢动作。MyTwins.ai相干负责人告诉36氪，早期数字人受限技能而无法做到声音与口型同步，比如发“阿”的声音，嘴巴应该是张大的，数字人的嘴巴却是闭着的。
“厥后我们接纳3D Flame技能对人脸建模，通过声音驱动3D多少表征形变，再使用3D Gaussian举行渲染。在口型、心情、姿态的精准度上，远远高于传统的纯2D技能蹊径所显现的效果。”
别的，为了让用户快速拿到天生好的数字分身，低落产物的使用门槛，MyTwins.ai研发了一套通用模子。
该通用模子由两个模块构成：基于VAE的Audio2Motion（声音到3D多少驱动）算法，在3D多少空间上实现对口型、心情的驱动；3D->2D的人脸天生算法，渲染出高清楚度、口型贴合的数字人。
从前必要2-3分钟的视频素材，耗费数小时的时间训练数字人；在技能组合迭代后，MyTwins.ai已实现用30秒的视频素材举行小样本微调，训练时间紧缩到5分钟，有效提拔了服从。
举例而言，在此次的「AI第一课」中，John E. Hopcroft数字分身建模的原视频便只有30秒，且在原视频清楚度较低的环境下，数字人精准还原了“心情、口型”等面部微厘革。
固然，数字分身若想顺应更多场景，另有很长的路要走。对于MyTwins.ai而言，现阶段直播带货依然是团队主攻的研发方向之一。
为了可以或许帮商家直播卖货做成交，MyTwins.ai自研了一整套直播行业AI办理方案，特别是针对直播行业的主播大语言模子。
对于很多商家——尤其是没做过直播电商的商家来说，从零搭建直播团队的资本和风险都不小。如果初期效果差，职员工资便是一笔不小的固定付出；效果好了，如果主播团队选择跳槽，那商家便又要重新开始。
MyTwins.ai基于多年在直播范畴的数据积累，研发了直播行业主播大语言模子。商家只要输入“商品名称、卖点”即可用头部主播的讲品方法论，由AI主动撰写头部主播风格的商品卖货讲稿，还能在直播间及时复兴用户的标题，促进成交转化。
“从海量的直播数据中，我们构建了优质的直播行业数据集，微调开源LLM，并从讲品风格、场景营造、深挖卖点、诱导斲丧等维度，让模子学习到头部主播带货的讲品精华。”MyTwins.ai相干负责人体现。
艾媒咨询数据体现，2023年中国数字人动员的产业市场规模和焦点市场规模分别为3334.7亿元和205.2亿元，预计2025年将分别到达6402.7亿元和480.6亿元。随着数字人产业的不停成熟，对于商家来说，数字人直播将有时机成为卖货的焦点渠道。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

kexsj

很好学习了