马上注册，结交更多淘宝商家，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
作者丨邱晓芬 编辑丨苏建勋 国内大模子行业大张旗鼓，算力却始终是卡脖子的困难。 数据表现，停止2023年，中国算力总规模位居环球第二，算力规模近5年更是年均增速近30％。只管云云，AI行业至今的第一感受仍旧是——算力不敷用。 近期，有一家清华系创业公司对准了这一痛点。 这家公司叫「无问芯穹」，项目发起人则是清华大学电子工程系主任汪玉，首创人是他的弟子夏立雪。因此，这家公司连名字都有着浓浓的清华印记——1924年清华大学国学部教授汪鸾翔写就的清华校歌，当中便有这么一句，“立德立言，无问西东”。 「无问芯穹」自从客岁5月份建立之后，在五个月内就得到了互联网公司、AI公司、着名投资机构的支持。智能涌现发现，他们的股东名单包罗百度、腾讯、智谱 AI、红杉中国、金沙江资源等等。 「无问芯穹」首创人兼CEO夏立雪告诉《智能涌现》，如今大模子落地的拦阻之一，是算力范畴出现巨大的需求和供给错配。 一方面，如今环球GPU芯片缺口巨大，英伟达一家又无法满足全部的环球AI大模子训练、推理的需求；另一方面，英伟达以外的多元异构GPU也在快速发展中，AI算力生态分散，难以被整合起来，供应给亟需算力的大模子公司。 夏立雪观察到，现下的算力焦虑，有几种常见的具象化表现： 有公司无法找到符合业务需求的算力；而有的公司找到了算力，但面临这些裸金属疙瘩，又不会用；尚有的公司，纵使荣幸找到了算力、也知道怎么用，但又由于匹配的工具链不好用，导致产物落地投产比严峻不公道。 AI行业困于在算力不敷的当下，团体已经出现了分化趋势。 如今，有AI公司“已经在夷由干不干”，尚有的公司更刀切斧砍——“没须要再卷 GPT-5，不如先去探索GPT-4能做在哪些场景落地”。 不外，夏立雪不想让行业由于算力而坐以待毙。为了弥合需求和供给的缝隙，同时让算力更好用，「无问芯穹」也应运而生。而这家公司也是这次清华系AI创业公司中，稀有切入算力方向的一家。 不外，「无问芯穹」不是想要做英伟达，而是从更轻巧的角度切入。 据其先容，「无问芯穹」相当于在大模子和芯片之间，打造了一个更机动适配的中央层，让百花齐放的大模子层和多元异构硬件层，实现同一摆设。 也可以这么明白，「无问芯穹」相当于做了一个大模子算力范畴的“淘宝”，卑鄙的大模子厂商和应用方，一键可以买到好用、高效的算力。而这些算力则是来自于多元的芯片。 如今，「无问芯穹」的「无穹Infini-AI」平台，已经可以或许支持了Llama2、Baichuan2在内的20多个模子，以及AMD、壁仞、寒武纪、燧原、天数智芯、沐曦、摩尔线程、英伟达等10余种盘算卡。 无问芯穹的大模子服务平台 而实现算力普惠，效果也是显着的。夏立雪表现，互助搭档「同道猎聘」曾在部门都会发布了数字人口试官等由AI驱动的新功能，应用了「无问芯穹」所提供的算力方案，“第一阶段落地ROI（投入产出比）高出原先方案很多”。 相干的互助还在紧锣密鼓推进。 3月31日，「无问芯穹」还公布了一系列的财产互助信息——包罗与智谱AI发布大模子万卡训推操持，共建大模子训推万卡集群；与紫光展锐互助，探索大模子在端侧硬件上的摆设与性能提升等等。 "我们定位在中央层，共同就很显得很告急，我们渴望可以或许去连通财产的上卑鄙资源，把各人团结起来，把国内的AGI落地到千家万户"，夏立雪以为。 不外，要做好一个中央层产物，尤其是复杂的算力范畴，对于团队的要求并不低。为此，「无问芯穹」也聚起了一支有着超大规模算力集群体系管理履历的团队。 在团队方面，「无问芯穹」首创人兼CEO夏立雪曾任阿里云用户增长产物技能负责人，曾经负责过阿里云大语言模子的压缩加快、天生式AI模子芯片的等战略项目； 无问芯穹CEO夏立雪 团结首创人兼CTO颜深根曾是商汤科技数据与盘算平台部实验总监，曾资助商汤搭建过2万片GPU的大规模AI盘算平台；另一位团结首创人兼首席科学家戴国浩，现任上海交通大学长聘教轨副教授，清源研究院人工智能计划主动化创新实验室负责人。 夏立雪表现，“只有真正在万卡集群上摸爬滚打过的这些人才可以或许知道内里有什么样的坑，怎样做出一个好的平台产物。” 以下是《智能涌现》与夏立雪的交换（略经摘编） 算力行业的博弈智能涌现：大模子公司在已往的一年怎么办理算力短缺题目？如今各人还会有这种算力的焦虑吗？ 夏立雪：大模子公司如今资金照旧比力雄厚的，他们的重要焦虑是找不到符合他们规模的算气力，而且很多云厂商本身也在做大模子，进一步导致了云上可用到的算力很少，这也迫使不少大模子公司直接去买呆板。 美国这一次的限定打得各人都有点措手不及，模子规模又还在增长，算力焦虑是会一连的。做一个 GPT-4以上程度的模子，至少须要万卡规模的集群，没有这么多卡的人怎么办？ 各大厂商、大模子创业公司根本上都想搭建本身的超大算力，但国内单集群规模能到5千卡以上的，也不是全部大厂都有。另一方面，推理的呆板也在渐渐增长。 智能涌现：由于算力太贵，如今是否导致一些分化的趋势了？ 夏立雪：有的。 最早英伟达H系列芯片5、6万的时间，各人都乐意租来用。涨到8、9万的时间，很多人就要思量思量本身要不要这么大投入了。 如今代价固然团体是没有继承上涨了，但照旧处于摸索各人干不干的谁人边界线上。很多企业大概以为我没须要去卷GPT-5了，我先去探索GPT-4乃至3.5能在哪些场景落地，各人的路径就渐渐开始分化。 智能涌现：能否帮我们体系梳理下如今AI算力的代价链？ 夏立雪：假如从完备的供应链来说，最上游是造算力的人，但实在这个行业原来利润没有那么高，怎样英伟达一家独大，相当于形成把持。在这一层的玩家尚有AMD。 再往下是IDC，就是把英伟达芯片那些硬件组合成一个集群的厂商，当于提供了数字期间水电煤这部门的代价。再往下，就是大模子公司，以及更卑鄙的行业公司了。 但是尚有另一种梳理方式，由于大模子本身是个技能突破带来的财产，以是大模子公司算是这个财产的基石，他们产出新的技能对卑鄙应用产生影响，又产生新的算力需求对上游供应产生影响，可以看出这个财产的迭代是由大模子公司来驱动的，究竟各人提及大模子期间，肯定都会说是openai带来的，而不是英伟达带来的。 总结来看，算力是最告急的供应源头，模子是开始辈的技能源头，这两者的毗连服从就非常告急了。 智能涌现：如今的行业现状是什么样的？ 夏立雪：如今这个行业看起来好像既供不应求，又供过于求。 供不应求是团体市场上有一堆比大模子公司再往卑鄙的、想要去用模子的公司，大概是基于本身的业务模子做行业落地的公司。这些公司他想要用算力，但又拿不到，拿到了他也没有办法把这些百卡、千卡裸金属很好运用起来的本事。 供过于求是很多算力拥有方也缺少这一层本事。 我们相识到各个地方的智算集群中存在着大量的算力，包罗一些异构卡，但他们通常高只会去修改物理裸机设置来服务客户——比如，要么把一组100台的呆板卖给同一个客户，要么就空着等下一个大客户，不会把100台呆板拆分成10组呆板再分给10个客户，由于动态调解题目对于基建层的玩家来说太费劲了。 除了技能外，还要设置对应的贩卖运营团队。偶尔他们须要把一批呆板分给两个客户，他们就得单独为这些呆板组一个网络，把它酿成独立的、物理管理的空间，这个资本是很高的。 智能涌现：不外国内的这么多的云厂商，他们没有去做这个事？ 夏立雪：云厂商本身业务重心是聚焦自身的。他有已往积聚的渠道，更倾向于去自建非异构的算力集群，也就是市面上各人正在抢的这一批。 再加上云厂商们之前建立了非常多且复杂的业务场景要支持，还背着很多客户需求与红利目的，假如要叠加上M×N（多种模子与多种芯片）这种底层的多维度适配业务，对云厂商来说会是一个“劫难性投入”。 智能涌现：要做这种智算中央的算力运营，难的点在哪？ 夏立雪：第一，中央这一层云平台须要同时分身机动性和服从，这不是实验室体系可以或许研发出来的，由于它须要纳管万卡规模的集群，是巨大的体系工程。以是在这种环境下，只有真正在万卡集群上摸爬滚打过的这些人才可以或许知道内里有什么样的坑，怎样做出一个好的平台产物。 国内能把如许规模的卡管理起来的，重要都在大厂。我们团队包罗从阿里、商汤出来的一拨人，在超大规模的体系搭建和管理上，有复合型履历。我们团结了很多算力行业的人，以轻资产的方式，为整个大模子行业提供盘算底子办法。 怎样用技能，缓解算力焦虑？智能涌现：你们如今的客户范例是什么？ 夏立雪：我们如今重点服务的客户有三类：大模子厂商，用大模子去升级自身业务的软件厂商，以及基于模子去做AI原生应用的小企业。 智能涌现：你们的上卑鄙分别是什么厂商？ 夏立雪：我们上游的话实在就是这些智算中央，卑鄙是做大模子的一方和利用大模子的一方，比如说法律、金融这些行业的客户。 智能涌现：你们提供的是什么服务？ 夏立雪：我们提供的是一个工具链，这个工具链包罗了对他所用的这个模子和他所用的硬件举行一个最极致的适配，这个工具链可以使他已经训练好的模子跑到对应的硬件上，而且团体性能和性价比能提升。 我们有点像是大模子算力的一个淘宝套餐组合，让你去摆设AI 应用的时间，就像在淘宝上购物时选择差别的尺寸、差别的颜色一样，把模子和芯片组合起来，我们就像是把模子和芯片组合成了一个套餐，直接就给客户就可以用了。客户可以自由地去组合，去选择最恰当本身的套餐，相当于是我们是毗连了算力层和模子层，让更多的人可以或许用得上大模子，也用得起大模子。 智能涌现：你们是怎样办理你前面说的，算力焦虑和财产链上的优点博弈？ 夏立雪：从算法到芯片，从芯片到集群，从模子到应用，是我们在技能本事上的三个条理。 我们起首是可以或许把单使命服从做到极致优化，包罗训练和推理，此中推理的服从提升会更显着。其次，我们把多个使命在多台呆板之间调理，把整个集群的服从提升得更高，让每一个使命可以或许最快速跑完，而且让整个集群不停跑。把这两个方面叠加起来，我们就可以或许为客户提供最极致性价比的云服务。我们把各人已经继承、能用的芯片，把它的服从发挥到极致，可以或许用同样的资本干更多的事。 我们有一个用做这个文生图的客户，用到了我们的优化本事之后，天生图片的调用量可以或许到达8倍以上的，同时延长也缩到了1/ 10。 智能涌现：你们如今的商业模式？ 夏立雪：我们想做的是，让商业化智算中央的算力，通过我的这套工具，被更多的场景客户用起来，另一方面能让客户算力利用的性价比得到极致提升。我们按照token的方式算代价。 智能涌现：相当于你们也有CUDA的接口，也有AMD ROCm的接口？ 夏立雪：对的，我们是一个翻译的中央层，你说的这两个都是雷同N（芯片）这层的接口，而M（模子）这层接口是pytorch的各种盘算图，这两种语言之间的翻译工作是我们做的。不但让你跑通、跑得精确，别的服从也是最高的。这是我们如今的焦点的技能点。 智能涌现：它怎么实现的？ 夏立雪：原来多模子和多芯片之间的这个翻译空间是M×N的，是一个非常庞杂的交错组合，我们事先做了中央表达，相当于我在这两个语言的翻译过程中实现了一个本身的内部语言，我先翻译成本身的语，再翻译成相邻层的语言，如许的话相当于我就把这个线条的数量从M×N，酿成M+N。这套焦点技能本事，我们实验室从08年开始就不停在做。 智能涌现：国内的那几家大模子公司，他们乐意继承这种模式吗？照旧他们更倾向于本身搭一个集群？ 夏立雪：国内大模子公司如今照旧很须要更多算力搭档的，由于国外的Meta、谷歌都在做开源大模子，不停地去发布它的新的模子来证明它的在这方面的科学代价，竞争也是比力白热化的。不外集群分为训练和推理集群，训练集群太大了，不是我们的焦点目的，我们跟各人的互助更多的是在推理上。 如许也形成了分工，在模子怎么用起来方面，他们是须要借力我们如许的生态搭档来探索的。别的在推理这边对性价比的要求更高，由于它终极是算账。比如，游戏行业上了一个大语言模子用于天生对话，我末了带来的用户体验的提升和留存，和这个资笔飘间是不是可以或许算得过来账，以是我们的优化代价也能帮到各人。 实在我们和大模子公司是有一个共同的使命的，就是终极推动大模子在千行百业落地，这里边须要大模子公司提供更好更高效的模子，我们来把端到端的体系服从做到极致。 智能涌现：提到项目的发起人是汪玉老师，汪老师对于您这次创业的助力是什么？ 夏立雪：我们项目的发起人是汪玉老师，他是我的导师。我在清华大学从本科不停读到博士结业，参加阿里之后，也不停和汪老师保持着非常密切的交换。以是我对电子系整个产研体系有比力长期的关注和一连的明白，汪老师为我们公司带来了很多有效的技能与履历输入。 电子系在清华是弟子最多的系，清华一共有24万校友，电子系有两万多，积聚了非常多在这个行业发光发热的人。 汪老师鼓励弟子结业后创办一些创新公司，基于本身在大学受到的训练，把大公司、当局和高校通过这些创新小公司毗连起来。无问芯穹也承载了一部门如许的等待。然后我们在技能方面的积聚确实是源自清华电子系，包罗我结业的这个实验室的技能。 智能涌现：你们和清华系其他AI大模子项目之间有没有联动？听说已经和智谱在推进互助了？后续的互助规划是什么？ 夏立雪：这次大模子创业潮里，模子层有非常多着名的清华系企业。我们定位在中央层，由于整个市场是富足大的，共同就很显得很告急，我们渴望可以或许去连通财产的上卑鄙资源，把各人团结起来，一起把这个国内的AGI给落地到千家万户。 智能涌现：英伟达的生态壁垒怎样构筑的？ 夏立雪：CUDA是他的股价支持点，是他最锋利的地方，但也是老黄最担心的地方。由于各人在硬件本事上，本质上没有代际的差别，至少英伟达和 AMD之间没有的。软件的这部门护城河，是英伟达靠着汗青上非常重的资金和精神投入做起。AI起来之后，他投入非常多的精神去支持这些开源生态，让各人都利用本身的硬件来开辟模子。大概十几年，英伟达把这条路径买通了之后，他终于可以“躺着赢利”了。如今大模子出来了之后，模子之间的结构差别变小了，生态的壁垒忽然变薄了。 原来须要几千个算子交错组合成几万种以上的盘算图的计划空间，有无数的人帮他做，这个壁垒特殊厚。但是如今，这几万计划空间中只有那么80个算子构成的不到10种模子结构，就可以或许支持将来80%的市场，那AMD就可以干，很多硬件厂商都可以干。 智能涌现：您从大厂脱离到本身创业，有没有一些头脑的变化？科学家创业须要面临的困难和挑衅是什么？ 夏立雪：我已经算转型非常小的了。一方面是我在清华电子系读博的时间，博士课题是跟人工智能相干的，且电子系本身就是和财产走得非常近的细分专业。另一方面，我在阿里也不是纯做技能，而是做了内部的产物孵化，我须要去计划产物的目的、特色、投入、收益……相当于实在我已经在阿里内部做过一次乐成的创业。 但是在大厂创业和本身出来创业又完全不一样，由于如今我要从海量的市场信息中，去调研、去定战略。不管从压力上照旧从机会上来说，和当年的能动空间都是完全不一样的，我以为对我来说是一个最大的挑衅。真的创业之后，我发现实在本身的时间会被拆得非常细碎，你不但须要去看市场、抓商务、懂技能。大厂内里大概只须要负责最多不到10个使命，然后如今你大概同时负责1000个使命，怎么可以或许去完备地闭环这些事变，对于一个科学家来说是一个非常大的挑衅。 end end
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！ | 
发表于 2025-3-1 08:42:23
