栏目分类
热点资讯

色酷影院

你的位置:gpt文爱 > 色酷影院 > 巨屌 对话腾讯云田丰:智算集群从万卡迈向十万卡 组网难度大幅加多

巨屌 对话腾讯云田丰:智算集群从万卡迈向十万卡 组网难度大幅加多

2024-12-07 21:22    点击次数:159

巨屌 对话腾讯云田丰:智算集群从万卡迈向十万卡 组网难度大幅加多

智东西(公众号:zhidxcom)作家|依婷裁剪|漠影巨屌

智东西12月5日报谈,2022年ChatGPT面世即万众扎眼,又在两个月内取得了1亿注册用户,点火了天下对AI的期待,也让业界看到了AI大模子工夫平庸的应用出息。

两年间,AI大模子如翻江倒海般表露。中国信通院数据夸耀,铁心2024年7月,全球AI大模子数目为1328个(包含归并企业、归并模子的不同参数版块),中国大模子数目占比36%。行业对模子的研发和应用也如故从最开动的空话语模子,走到了多模态模子。而算力、集合等AI大模子赖以生涯和发展的基础要领,仍需要束缚优化。

在中国大模子插足所谓“洗牌年”的节点上,昨日,智东西等媒体和中国AI大模子独角兽MiniMax副总裁刘华、腾讯云北区云原生总司理田丰进行了疏浚。他们从两边公司的配合启航,谈及了算力、集合对AI大模子落地应用带来的影响。

一、多模态大模子期待更有性价比的算力

MiniMax确立于2021年12月,是“国产大模子六小虎”之一,自主研发了包括万亿参数的MoE文本大模子、语音和音乐大模子、图像大模子、视频大模子在内的多模态通用大模子。

确立于今三年,基于不同模态的通用大模子,MiniMax推出了智能助手“海螺AI”、AI实质社区“星野”“Talkie”等C端应用;MiniMax怒放平台则为企业和开拓者提供API做事。

采访中,刘华从AI大模子公司的角度启航,谈到了多模态大模子应用经过中束缚进步的算力老本问题。

他说,以往的大模子处理的是文本任务,当前的大模子处理的是语音任务、视频任务;用token来贪图的话,一个小视频的tokens比一篇著作的tokens逾越太多。要是要让新的工夫落地、让更多的企业或个东谈主能够秉承新工夫,就必须确保大模子能够以特地有性价比的形势处理大限度的输入或输出。

耳光 调教二、大集群并未便是大算力,要优化资源运用率

自MiniMax确立以来,腾讯云就与其竖立了配合联系,为其提供算力、集合等基础要领补助。田丰样子两家公司“是沿途手牵手走到今天”,在大模子的发展经过中,“沿途去处分难熬,是双向奔赴的一个经过”。

站在云做事厂商的视角,田丰共享了这两三年来我方对客户需求变化的不雅察。

他说,大模子公司客户早期可能需要的是千卡集群,当前可能齐是要上万卡,后续可能会到十万卡,“这个限度对咱们的组网的身手、集群的运维,齐是一个特地大的、全新的挑战,跟底本完好意思是不通常的”。

田丰拿“集合”例如。他称,西宾万亿参数的大模子时,传统的集合合同容易形成拥挤、高延时。在这个经过中,0.1%的丢包率齐会导致50%的续训效果的下落;中断归附之后,需要从上一个续训点延续西宾模子,这会给万亿限度的模子西宾形成特地大的亏欠。

另外,田丰还提到,大集群并未便是大算力,算力不是靠陋劣地“堆”出来的,而是需要无数优化和调遣GPU资源的运用率,以及集合传输通信的效果。

结语:大模子开启淘汰赛,工夫最终要盈利去得益

整整两年时辰,生成式AI走过通用基座大模子的“百模大战”与“价钱战”,濒临落地应用与交易化考试。多模态模子的研发和优化依旧在紧锣密饱读地进行,应用落地并得胜跑出交易景观也不行或缺。

AI大模子行业冒昧已插足淘汰赛阶段,算力、工夫、产物齐成为竞争成分。中国大模子“洗牌年”,大模子公司和云做事厂商们齐在打起精神。

可能就像是田丰在采访中说的:“实施是考试AI的唯独轨范。AI大模子是长跑巨屌,投资东谈主和创业者齐需要有信心和耐性,炫酷的工夫最终照旧要落实到交易化自己,要盈利去得益。”



Powered by gpt文爱 @2013-2022 RSS地图 HTML地图

Copyright Powered by365站群 © 2013-2024