淘宝卖家开店运营论坛_淘宝卖家经验交流学习社区

标题: B 站人气 Top2 AI 主播“羊驼-阿花”何以拥有“高智商、高情商”？ [打印本页]

作者: 运营笑笑 时间: 昨天 15:51
标题: B 站人气 Top2 AI 主播“羊驼-阿花”何以拥有“高智商、高情商”？
作者 | 鲁冬雪
假如你是 B 站用户，那你肯定知道“羊驼 - 阿花”这个人气主播，它是一款由“捏造偶像女团 A-SOUL”背后的捏造娱乐公司“枝江娱乐”打造的一款 AI 主播产物，其动物的形状 + 萝莉声线，一经推出便灵敏走红网络，乃至一跃成为 B 站人气 Top2 的流量 AI 明星。
在直播间，“羊驼 - 阿花”可以或许可以或许自然流畅的与粉丝互动，风趣的答复粉丝的标题，这种互动体验乃至比与真实的人物还要出色。更令人惊叹的是 A-SOUL 技能团队为阿花设定了完备的形象发展曲线，颠末连续的 NLP 训练后，阿花渐渐可以或许根据观众的反馈提供希奇和爆点的内容输出，可以说是妥妥的“养成系主播”。

比年来，捏造 AI 直播的发展灵敏，已经从初期的概念验证阶段，渐渐发展成为一种主流的直播情势。现在，捏造 AI 直播技能已经可以或许实现高度传神的捏造主播形象，通过自然语言处置惩罚、语音合成等技能，只必要较低的制作本钱就可以在短时间内实现与观众的及时互动。
随着人工智能语音合成技能的进步和天生式对抗网络 GANs 的崛起，捏造 AI 形象层出不穷，然而，“羊驼 - 阿花”的出现却仍然让人面前一亮。在浩繁捏造 AI 形象中脱颖而出，要说没有强盛的技能支持无异于痴人说梦。
那“羊驼 - 阿花”究竟有哪些过人之处？有哪些技能支持？面临常见的捏造 AI 形象技能困难，“羊驼 - 阿花”制作团队是怎样办理的？
1.优化互动体验：AI 羊驼交互式工作流程剖析
在捏造偶像财产中，技能是构造竞争过程中取胜的关键。“羊驼 - 阿花”作为一款捏造 AI 形象，可以或许在浩繁捏造形象中脱颖而出，最重要的技能上风在于其基于 NLP 技能的交互式体系。这一体系使得“羊驼 - 阿花”可以或许明白并回应观众的互动留言，提供风趣的语言和动作表达，从而与观众创建更加自然和真实的交互体验。
为了让 “羊驼 - 阿花”具备良好的语言和举动发展曲线，A-SOUL 技能团队在配景交互式体系中，参加基于 LLM (Large Language Model，大语言模子) 构建的 ChatAI 对话天生模子来为阿花提供 NLP 本领。
“羊驼 - 阿花”交互式的工作流程包罗多个模块，每个模块都颠末了 A-SOUL 技能团队的深度优化。导播端获取观众的互动留言，经筛选后输入到 Prompt 预处置惩罚模块，这一模块负责对提示语举行加工，同时过滤掉有害词语。预处置惩罚过的、具有布局化格式的输入数据会进一步发送到多个 ChatAI 对话天生模子中。这些模子是已颠末微调的，可以或许根据输入数据举行模子推理——根据差异风格的语料，从中进一步学习特定使命的知识，比方对话使命中的上下文明白和复兴天生等。
紧接着，体系会对所天生的复兴举行后处置惩罚，提取语义感情并作为标签同步到用于音频合成的 TTS（Text to Speech，文本转语音）、用于文本动画天生的 TTA（Text to Animation，文本转动画）等模块。值得一提的是，TTA 模块在联合了最新 motion diffusion 技能之后，能让 “羊驼 - 阿花”实现更多更风趣的语言和动作表达。同时，体系的内容安全与合规对齐模块也会对内容举行敏感关键词、私见内容的校准，制止复兴存在不公平性或藐视性。

基于现在对中文有着良好支持的 LLM，A-SOUL 技能团队在 NLP 工作流程中接纳了已在大量开源中文语料上举行了预训练的中文模子作为体系的基座模子，并在流程中予以微调。此中，预训练过程是接纳自监督学习（self-supervised learning）方法在大规模无标签文本数据集上举行，在这一过程中，“羊驼 - 阿花”对话天生模子学习到了大量的语言知识，如语法规则、语义信息等。微调则是在有标签的对话数据集上举行，“羊驼 - 阿花”对话天生模子能根据差异风格的语料，从中进一步学习特定使命的知识，如对话使命中的上下文明白和复兴天生等。
2.优化性能方案：怎样冲破算力、本钱、速率的不大概三角
技能优化是包管体系高效运行的告急条件，然而在 “羊驼 - 阿花”的性能体现上，A-SOUL 技能团队却始终面临巨大的挑衅，重要涉及三个方面：

微调过程中大概出现过拟合征象，模子未完全明白输入语境，或大概对输入数据中的私见举行过拟合等标题；
海量算力需求以及由此产生的盘算本钱巨大，特别是在体系的预训练阶段，数以亿计的参数和数据集处置惩罚必要根本承载平台具备强盛的算力支持和突出的内存性能；
直播场景对于及时性的要求越来越严苛，这意味着必要体系可以或许快速天生内容，这对推理性能提出了巨大的挑衅。拥有巨大参数目的 LLM 大模子必要大量的盘算资源来开展推理，而在盘算资源有限的环境下产生的过长推理时延，会使对话失去及时性效果。

要知道，PyTorch 是主流 AI 框架之一，对于 AI 羊驼 - 阿花方案的摆设和运行至关告急。然而，PyTorch 在 CPU 平台上无法完全开释已有处置惩罚器的全部潜能，固然 PyTorch 2.0 提供了 CPU 平台上的模子推理优化本领，但仅实用于静态且精度为 FP32 的模子。别的由于 LLM 推理使命中的 MHA 盘算依赖于随天生词元自增长的缓存矩阵，导致 torch.compile 模块必要天生巨大的实验代码且优化模子所需时间长，因此 PyTorch 框架无法有用支持基于 CPU 平台的 LLM 推理优化。
为了办理算力、本钱、速率之间的均衡标题，A-SOUL 技能团队操持引入了更经济的 CPU 推理平台以及更有针对性的优化方案，并开展多方位的模子优化及硬件加速——与英特尔互助推出了 Super-fused LLM FP16/AMX BF16 推理加速方案，针对用于 LLM 推理的 PyTorch 框架举行了优化。
英特尔第四代至强处置惩罚器提供的 AVX-512_FP16 和 AMX BF16 加速指令可以美满支持并加速 LLM 推理，该推理加速方案增补了 PyTorch 在第四代至强处置惩罚器上举行 LLM 推理使命时的性能不敷。同时，英特尔 oneMKL (Intel oneAPI Math Kernel Library，英特尔 oneAPI 数学内核库) 加速推理盘算，可以或许在镌汰权值存储空间的同时低落内存带宽压力，在保持精度的条件下明显提拔推理性能；FP16 Flash Attention 算法通过算子融合及镌汰内存利用来低落模子中的 MHA 盘算占比以提拔推理性能。
别的值得一提的是，在传统的 PyTorch 推理过程中，大量的盘算缓存被用于存储模子算子产生的中心效果。然而，有了 Super-fused LLM FP16/AMX BF16 推理优化方案后，这一环境可以得到明显的改善。可以说，基于新方案，“羊驼 - 阿花”模子乐成地融合了 PyTorch Transformer 算子，而且可以或许根据模子推理运行时的具体输入，更准确地推测所需的缓存空间。这不但实现了融合算子间的缓存复用，另有用地提拔了推理性能。
应用优化方案后的 A-SOUL 技能团队在 “羊驼 - 阿花”的性能上取得了明显的提拔。在单实例场景下，“羊驼 - 阿花”方案中的差异 LLM 可取得 1.89 至 2.55 倍的推理性能提拔；在多实例场景中，由 IPEX 带来的优化，可令其推理性能在单实例根本上进一步提拔 1.16 至 1.2 倍。
从实际测评数据来看，A-SOUL 技能团队通过该优化方案实现了本钱和生态上的有用收益。在本钱方面，英特尔第四代至强可扩展处置惩罚器完全胜任对参数规模为 10B 及以下的 LLM 推理使命，该方案资助团队以更低的本钱满意推理性能要求，优化后的 CPU 平台在环境设置方面也更加简朴，到达了全面降本增效的目标。在生态方面，该方案基于 PyTorch 框架开辟，完备继续了 AI 羊驼 - 阿花方案中 LLM 的文本天生模块，与 PyTorch 模子推理接口完全同等，使用者无需为调用推理优化方案举行额外的代码开辟，更易摆设和落地。
3.强强团结塑造未来 AI 直播生态
A-SOUL 技能团队在 AI 算法和直播技能方面有着深厚的积聚，而英特尔则以其强盛的盘算本领和算法支持为 AI 直播的研发提供了有力保障。通过技能互补和创新，两家公司共同研发出了更加智能化的 AI 主播算法，进步了直播的互动性和外交性。可以说，“羊驼 - 阿花”不但仅是一个 AI 主播，它也是 A-SOUL 团队与英特尔技能互助的结晶，其代表了 AI 技能在直播范畴的最新突破。
面向未来，A-SOUL 与英特尔的互助另有很大的发展空间。在技能研发方面，两边可以继续深化互助，共同探索 AI 直播技能的更多大概性，比方可以共同研发更加智能化的直播算法、进步直播的质量和用户体验等；在市场拓展方面，两边可以共同开辟更多的市场范畴，如针对不偕行业和场景推出定制化的 AI 直播办理方案以满意更多用户的需求。别的，在财产链互助方面，两边可以进一步整合资源，美满财产链布局，如共同投资建立 AI 直播技能的研发中心和生产基地，从而进步整个财产的竞争力和创新本领。
随着 AI 技能的不绝进步，AI 直播也出现出了更为智能化、个性化的特点——通过精准的用户画像分析，AI 主播可以或许及时调解直播计谋，提供更符合观众口胃的内容。借助先辈的交互技能，AI 主播将冲破传统直播的边界，让观众更加沉醉于直播体验中。
总体来说，AI 直播技能重要分为四个阶段——第一阶段，AI 对话呆板人仅拥有简朴的形状，厥后语气传神度和相应速率渐渐提拔；第二阶段，用户可以根据自己的喜好定制 AI 呆板人的外貌与语音，赋予 AI 独特的个性。第三阶段，AI 可以在捏造天下中显现自己独立的举动本领，不再范围于简朴的对话互换，它们渐渐拥有自己的故事线，为直播内容注入丰富的情节。第四阶段，AI 可以实现如“西部天下”般宛在现在的实况直播场景，为观众带来亘古未有的沉醉式体验。
而当前，中国正处于 AI 直播范畴的初始阶段，随着商业化产物应用的渐渐崭露锋芒，预计在 5 年内，浩繁形态各异的 AI 产物将喷发式涌现，而首个“拥有完备故事配景和天下观”的产物问世的那一天，迁就是 AI 技能在游戏和直播范畴成熟的那一天。
我们有来由信任，在不远的未来，不绝进步的技能和日益增长的用户需求肯定能驱动 AI 直播为我们带来更加丰富多彩的直播体验。同时，我们也等待看到更多像 A-SOUL 团队与英特尔如许的强强团结案例，共同推动 AI 技能的发展和应用创新。
原文链接：B 站人气 Top2 AI 主播“羊驼-阿花”何以拥有“高智商、高情商”？

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

作者: zlw001 时间: 2 小时前
不知道实力运用这个方法会怎么样

欢迎光临淘宝卖家开店运营论坛_淘宝卖家经验交流学习社区 (https://tao92.com/)