这一刻，“无声”胜有声——华为首个AI手语直播诞生记

淘宝代运营

在2021年10月22日华为开发者大会的直播中，有一位红衣女孩不停在直播屏幕左下角，谨小慎微地为整场大会做及时手语翻译。这位红衣女孩是HMS Core团队的手语数字人，她基于团队最新研发的手语服务，可以完成及时手语翻译，天生包罗身材姿态、手部动作以及面部心情的手语。有了她，听障手语利用者也可以“听”懂HDC大会，获取到更多感爱好的资讯。这是华为初次接纳AI全程手语直播，引发了线上线下观众和媒体的关注。

一个优美的愿望

手语项目劈头于一款在2018年推出的应用StorySign，这是一个将西欧盛行儿童册本转化成手语动画，资助有听力停滞的儿童学习阅读的App。StorySign的推出为浩繁听障儿童打开了毗连天下的一扇窗，也给他们的家庭带去了温暖。发布一段时间后，StorySign渐渐上架了71本儿童读物，支持了英、法、德等15种语言的手语，但同时项目也遇到瓶颈：想要遍及手语，让更多的人学习更丰富的手语，就要有富足的手语动画作为手语学习的资源。但怎样更快速地天生丰富的手语动画呢？
StorySign集成了HMS Core的OCR（Optical Character Recognition， 光学字符辨认）技能，这是一种基于深度学习，将图片上的笔墨智能辨认成文本的AI技能。那么，既然AI可以智能辨认图片上的笔墨， AI能不能做手语翻译呢？给AI一段话，它假如可以主动翻译成手语动画，各人就可以跟着AI学习手语了，乃至AI也能成为聋人与健听人之间的及时翻译官，如许AI造福的不但仅是儿童的阅读场景，更是更广泛的听障群体！
为了让AI手语翻译通过HMS Core本领开放出去，让开发者去集成，进而服务到环球4.6亿的听障人群。起主要面对的困难便是 - AI能不能做手语翻译，从笔墨智能天生手语动画？HMS Core组建了覆盖AI手语翻译所必要的3D数字人建模、自然语言明白、盘算机视觉、3D动画、图形渲染、移动端Android开发、云侧服务化等浩繁关键技能专家团队，并约请到国内权势巨子手语语言学专业教授作为项目顾问，携手共同攻关智能及时手语翻译项目。
算法和数据的双重寻衅

手语翻译项目启动后，团队通过查阅大量文献和专利，快速对行业内相干技能举行了调研，一起梳理出了几大困难。起首，要思量得手语动尴尬刁难于精度的高要求，1厘米指尖位置的毛病就大概体现完全差异的意思。其次，中文和手语成对的大规模高质量手语语料极难获取，无法在短时间内找到这么多专业的手语老师来提供语料。第三，手语作为独立的语言，有其自身的语法及语序，中文与手语的语法及语序存在差异。比方中文“我没有带身份证”，对应的手语语序为“身份证/我/带/没有”。末了，手语不但包罗手部动作，还包罗身材姿态及面部心情和口动，多模态数据的协同天生很告急。
通过对这些困难的逐一分析与办理方案的讨论，手语团队输出了一种基于文本的多模态数字人动作和心情天生方案。这个方案由手语转写模块和手语动作心情天生模块构成，融合了手语语言学范畴知识，而且可以大概有效办理高质量动捕数据较少的标题。
算法方案确定后，手语团队迎来了更大的寻衅——数据。在人工智能范畴，有句话是“戎马未动，粮草先行”，对手语翻译项目来说，“粮草”就是手语数据获取标题，包罗手语转写数据和3D动作数据。怎样订定公道的转写方案？什么样的动作捕获装备收罗的数据可以满足手语项目标商用要求？
转写是一件必要细密团结语言学和盘算机学的工作。为此，技能专家们与手语顾问细密共同，投入得手语语言学知识学习中，颠末了大量的讨论，订定适当项目标手语转写尺度。语言本是一件语感驱动的事，而盘算机则是考究规则的。为了将手语语言学的知识总结成盘算性能表达出的规则，团队里的人工智能专家们和手语顾问对转写规则举行了多次讨论，反复修改优化了20多个版本，终极完成了适当项目要求的定制化转写方案。
在动作捕获数据方面，通过多方调研以及对动捕装备现场观察过数十种之后，手语团队发现动捕数据收罗情况远比想象的复杂得多。在动捕收罗的过程中，大概引入毛病的缘故起因有许多，比方动捕服不敷贴身、动捕职员身型比例与手语数字人比例不同等等，导致动捕的原始数据无法直接利用。因此，手语团队立刻组建动作修复小组，加速动捕数据的收罗进度，使项目得以稳步推进。
手语数字人和开发者大会的故事

随着数据收罗进度的推进和AI算法模子的迭代优化，手语服务的工程化也同步盼望顺遂。手语翻译团队在短短一周的时间内就写完了移动端SDK开发代码，而且顺遂地完成了端云联调。同时，在实验了多种差异的办理方案后，手语翻译团队通过旋转角直接驱动骨骼的方式，克制在驱动后数字人动作的微小差异导致手语意思相差甚远，让手语数字人可以大概精确地完成手语动作。
统统停当，手语服务预备开放首版本，在HDC交出一份满足的答卷。手语团队决定让手语数字人全程支持开发者大会直播演讲。这个寻衅可想而知，华为开发者大会上直播观看的人数非常巨大。假如手语数字人可以登上这个舞台，在直播时为听障朋侪们提供手语翻译，全部观看直播的人都会注意到这个会打手语的红衣女孩。这无疑可以吸引更多人来关注听障人士，也就可以吸引到更多开发者借助手语服务来为听障手语利用者提供服务。
手语服务是从文本天生手语，直播时算法的输出严峻依赖于语音辨认的效果，语音辨认的精确性怎样保障？HDC大会演讲中包罗大量中英文混淆的技能名词，怎么让手语数字人打出这些词？把整套驱动和渲染方案搬到自研引擎上可否兼容？面对这些棘手的标题，手语团队组建了HDC大会直播攻关小组，一部门成员攻关算法，在优化手语天生算法模子以覆盖HDC大会大概会出现的科技语料；另一部门成员攻关直播时云上语音辨认、笔墨转手语算法摆设以及3D模子驱动标题，以包管直播时手语数字人能顺遂辨认到发话器中的声音并打手语。在不到一个月的时间里做足了富足的预备。
在HDC2021如约举行的当天。手语团队的搭档们在配景告急地守着直播画面，他们牢牢盯着直播屏幕左下角的红衣女孩，担心手语数字人出现任何以障。所幸在整场直播中，她体现得游刃有余，非常惊艳！这一刻，团队全部人的心情都是一样的：不懈的积极没有白费，手语数字人终于在HDC这个大舞台上被各人望见了！
这是国内初次由数字假造人物举行的及时大会直播手语翻译，这统统都得益于华为自研的AI算法以及渲染技能，让大会直播及时手语翻译在完全无需真人的情况下得以实现。这套基于云技能的语音辨认、手语天生、驱动渲染的手语翻译方案颠末HDC2021得到了验证，它不但精确出现了手语动作，也办理了手语翻译现在广泛的一个技能难点——心情体系。心情的出现让手语数字人可以大概更加完备精确地表达手语寄义，现在手语服务已支持输出10种差异的心情范例。信任在不久的未来，这套方案可以被搬上媒体内容制作中，听障朋侪们也可以获取更多的社会资讯。
技能转达温度

环球有4.6亿听障人群，当前的中文手语天生远远不敷以覆盖这些人群。未来，HMS Core手语团队将连续优化手语翻译效果和手语数字人渲染效果，同时也将构建英文手语天生本领，将手语服务环球化，以服务更多的听障人群。
信任在不久的未来，手语数字人可以在更多的场所和各人晤面：她可以出现在电视消息节目标手语翻译小窗口中，为各人翻译消息；也可以在各人乘坐地铁、飞机的时间，用手语为听障朋侪们播报安全须知；乃至在一些特殊教导学校里，她可以做一位手语老师，教听力停滞的同砚们学习手语……怀揣着这个优美的愿望， HMS Core团队基于手语服务本领正在打造StorySign2.0 App，盼望能带给听障人士更多的温度。
正如HDC大会上的一句话：没有人可以大概熄灭满天星光，每一位开发者，都是华为要汇聚的星星之火。现在，手语数字人已经通过HMS Core手语服务向开发者全面开放，让更多的应用开发者可以通过调用我们的手语服务SDK，快速实现手语及时翻译，打造各类手语App，为听障人士提供更加多样化的服务。手语服务团队盼望和开发者一起，共筑华为移动服务的满天星光，打造一个沟通无停滞的天下。
文章转自《华为人》

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

ka→☆楓★

6666 不错好文章

63078

支持楼主  来学习一下

4471956

楼主很优秀啊

小飛俠.

来论坛来学习淘宝知识的

cvqkjtu

写的不错 谢谢分享