大模型快速落地,国产芯片厂商在做什么?

2023-06-29 16:44:23

2022-2023年的拐点已经到来…


“2022-2023年的拐点是什么?是ai大模型的出现让获取知识的边际成本开始变成固定成本。”奇绩创坛创始人兼ceo陆奇在4月的一次演讲中称,“一定要记住,任何改变社会、改变产业的,永远是结构性改变。这个结构性改变往往是一类大型成本,从边际成本变成固定成本。”


而chatgpt能在历史上第一次两个月内拥有1亿活跃用户,挡都挡不住,为什么?因为它封装了世界上所有知识;有足够强的学习和推理能力;涉及的领域足够宽,知识足够深,又足够好用。


加在一起,ai新范式的临界点到了,拐点已经到来。


01.

算力缺口巨大


既然叫大模型,显而易见,“大”必然是其最大的特点之一。有多大呢?安谋科技产品总监杨磊表示,如果把具备一千多亿个参数规模的gpt3.5模型存下来,需要100gb的存储空间,这当然要比普通芯片内部1mb sram的片上存储规模大出许多。


“但这样就到头了吗?显然还没有,因为大家觉得‘暴力出奇迹’,比如新的模型已经达到了三千亿个参数,而且还在暴力地往上涨,暂时还看不到尽头在哪里。”他说。


另一方面,传统的ai算法,比如美颜、人脸识别、刷脸等,都属于卷积神经网络(cnn)架构。但基于tranformer架构的gpt模型,其核心计算是大型矩阵图版,从底层计算类型角度来讲与传统cnn算法并不一样,适用于传统cnn或语音处理的npu,不一定擅长高效地计算aigc类模型。


天数智芯产品线总裁邹翾认为,对头部企业来说,早期的gpt3大模型大概需要1万张英伟达gpu,但gpt4达到了100万亿的参数规模,可能就需要3-5万张最先进的gpu才能完成。对于这一领域出现的众多跟随者来说,势必要在算力上不能输于头部企业,甚至还要进行更多的算力基础设施投资才能实现追赶。


“关于大模型参数规模不断上调,其实我个人还有点不一样的看法。”在邹翾看来,原因之一是现在业界还没有把大模型的性能潜力全部挖掘出来,现在的大模型只是一个起点,头部企业希望能够率先抓住那些没有被发现的能力制高点,于是不断调高通用大模型的参数以开发新功能;原因之二是随着大模型的不断迭代,最终不可能有那么多的算力投资都真正产生效益,他个人判断未来1-2年内,当前许多重复性的投资会看到一个收敛稳定的阈值。


02.

全功能gpu成ai大模型应用关键


面对未来大规模的计算工作量需求,如今各大芯片厂商都在布局大型计算机体系结构。摩尔线程创始人兼ceo张建中指出,对于提升性能来说,效率和管理能力比单个芯片的计算能力更为重要——就像特斯拉的电池并不是由一个大型电池组成,而是由许多小电池组合而成的一样,gpu也将是如此,没有人能制造一个巨大的gpu来运行算法,但是却可以通过组合多个gpu来完成任务,并且提高效率和管理能力。因此,我们不必仅仅追求规模的扩大(scale up),而是要追求规模的扩展(scale out)。


“这也正是凯发K8网页登录的优势,gpu里面有成千上万个核心。将多个gpu组合在一起的原理也是类似的,其中涉及到空间、存储、网络和调度等各方面的能力,这些正是gpu的核心所在。”张建中说,现在很多的创新型应用如aigc、数字人、元宇宙里的3d图象/图形生成、自动驾驶、机器人、数字孪生等,都是与“ai 图形 元宇宙”场景相关的。所有的ai应用最后落地给到用户的时候,最终呈现出的是多模态化应用场景,一定是图像、图形,而不只是文字。所以,全功能gpu将成为关键。


他进一步解释称,为什么很多用户会喜欢用全功能?因为我们不能限制用户今天只能干这件事,如果换一个代码就不能用,那用户肯定不愿意投。另一方面,如果gpu放在云端大的计算集群里,好几亿的投资只能换来一个应用,成本太贵,但如果可以做100甚至1000个应用,分摊下来成本自然就低了。所以从规模效应讲,通用性比专用性更有价值。


换句话说,全功能gpu虽然价格贵一些,但是它可以处理多种应用,利用率高。相比较而言,asic芯片干一件事的效率非常高,但是做完就处于闲置状态。对于超算中心来说,90%的利用率都不存在,这是极其浪费成本的做法,超算算一次差不多要10亿,如果是100%的利用率,成本平摊后将大幅降低成本。因此,重复利用率、整个资源率对于大型基建基础设施来讲非常重要。


邹翾则认为,通用gpu的优势源于“通用”、“易用”和“好用”。目前来看,国内企业与美国顶级厂商的产品性能之间的确存在差距,尤其在旗舰级产品性能方面,品牌知名度也不够。但好在国内产品是可用的,实现了国产通用gpu产品从0到1的突破。


例如,日前天数智芯就宣布其天垓100加速卡算力集群,基于北京智源人工智能研究院70亿参数的aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。


在谈及通用gpu落地前景时,邹翾希望“能用5-10年左右的时间追赶上国际同类主流产品的性能”,并且在人工智能、元宇宙、科学计算、天气预报、分子动力学、股票量化交易、投资等多个赛道取得成绩。


0.3

边缘侧部署transformer为什么难?


近几年transformer大有取代卷积神经网络(cnn)之势,因为它可以获取全局特征,有一定的知识迁移性,能够很好地适应各种场景,不仅在coco榜单上处于霸榜状态,很多以cnn为主的框架也已经切换到了transformer。


目前来看,transformer大模型在云端主要还是通过gpu部署,在边缘侧、端侧硬件支撑方面,则更多依赖npu实现对神经网络的加速。“这倒不是指cpu不能运行transformer模型,只是它的运行速度无法满足实际应用落地需求。”爱芯元智联合创始人、副总裁刘建伟表示,之所以要强调速度,一是神经网络速度快,意味着终端设备可以运行更多类型的智能网络,更智能;二是即便不需要跑那么多类型的网络,那么某种程度上就可以把神经网络规模做大,提高精度。


另一方面,尽管cnn和transformer都属于神经网络,但transformer的计算访存比比cnn低,精度和灵活度高,而此前市面上的一些npu主要针对cnn网络做了一些过拟合的设计,导致在部署transformer网络时遇到了功耗、效率等诸多问题,现在需要找到合适的新算力平台,并在算法侧找到能降低大参数模型带宽的新途径。


其实,transformer大模型方向在2019年就有人提出,当时在思路和训练方法上与传统cnn也并无太大差别,只知道“上限更高”。但近两年,transformer被广泛应用到计算机视觉的物体分类领域(例如vit、swint等),以及用在目标检测领域的detr(detection transformer),而且随着自然语言处理(nlp)领域的突飞猛进,大模型通过无监督或是自监督的方式进行训练,正成为ai领域新的趋势。


为此,考虑到如何在端侧、边缘侧高效部署transformer正成为用户选择平台的核心考量。作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智在今年3月正式推出的第三代高算力、高能效比的soc芯片ax650n,为行业探索transformer在端侧、边缘侧落地方面做出了有益的尝试。


杨磊表示,未来aigc或大模型的场景肯定会潜移默化地影响到我们生活的方方面面,但从目前的实际状况来看,动辄千亿/万亿规模的模型参数、上亿美元的生产工具部署成本、以及相对偏窄的带宽,都给大模型落地iot领域造成了实际困难。今后,结合一些特定的场景和应用,对大模型进行精简,使其能在手机、pc、边缘设备和汽车等端侧iot场景上实现,会成为未来的发展方向。


04.

中外用户的需求差异


邹翾同时讨论了中国客户和海外客户在需求和使用习惯上的差异,认为中国市场上大多数客户仍然以快为主,“拿来主义”之风仍然比较盛行,在软件和应用模式方面缺乏独立创新。“对于硬件企业来说,一个难点在于如果用户不愿意自己尝试做一些原生性的创新,那我们就很难在体系支撑角度去提供创新,因为我企业的需求首先是要看客户需要什么。”


但中国在应用场景上有着自己独特的优势,很多国内头部企业也正在思考如何让大模型更好的使用起来,创造出类似“新四大发明”的独特应用,实现原生技术的通用性。因此,底层技术与市场差异化的融合将成为关键,需要更多工程师、更多的创新、甚至是国家的机制引领,来共同推动全国产化进程。


张建中表示,生成式ai领域有许多成功的机会,并且在许多行业领域都有专业支持。因此,不可能只有一个模型能够统一所有需求,而是需要多个模型。这就是为什么国外有那么多创业公司从事这个领域。而且国外的模型不一定适用于中国市场,在国内,生成式ai创业的空间和机会都非常广阔。


“对于我们来讲,当然是更好的机会。不管做训练、推理,大家都用更多算力,如果是只有一家来供应的话,供应的量将有限。再者,许多创业公司对金钱成本的控制都有需求,如果我们能够提供好的方案且具有性价比的话,这个就是我们的机会。”张建中补充说,摩尔线程之所以要做摩笔马良和智娱魔方这种偏向应用层的产品,就是为了给客户打样,启发用户利用摩尔线程的全功能gpu可以做哪些比较有意义事情。


“我们的模型是在自己的平台上训练的,不需要依靠任何人,就可以完成这些事情,所以我们既然能做,那么我们相信客户也可以做。”


来源:国际电子商情微信公众号


网站地图