2024-12-07 20:33 点击次数：56
文｜光锥智能 白 鸽91porn，com
编｜王一粟
“性价比、降资本、实用AI”。在亚马逊云科技2024年度re:Invent大会上，这些词成为了亚马逊云科技All in生成式AI的要道词。
面前，大模子行业举座的风向也曾发生滚动，从原来All in预试验大模子，逐渐转为握住收缩预试验限度，加快大模子的推理和应用。
有位业内东说念主士跟光锥智能示意：“畴昔公共好像作念通用大模子预试验的玩家不会突出50家。”
这也就意味着，越来越多的企业开动转型作念大模子的推理和应用落地，而这些玩家最典型的特征，即是会愈加属目参加产出比，以及怎样通过大模子为自己杀青降本增效。
但大模子的落地应用无疑将是一场漫长的干戈。就像亚马逊云科技新任 CEO Matt Garman所说：“东说念主工智能是一场莫得至极的竞赛，它将永恒执续下去。”
动作公共云计较厂商的老苍老，生成式AI无疑是亚马逊云科技谢绝错过的赛说念。
为温和更多大模子落地应用需求，在这场大会上，亚马逊云科技全目的展示了从计较、存储、数据库、推理、东说念主工智能、生成式AI应用等方面的体系化更新遵循，并也曾构建了从底层AI芯片，到中间大模子平台，再到表层生成式AI应用的好意思满AI技巧栈和基础设施。
通过这次大会也好像看出，从昨年的相对低调，到本年年中的“转稳为攻”，再到年尾的“全面开战”，亚马逊云科技在生成式AI的这场“无限”的干戈中，开动支棱起来了。
此外，亚马逊首席实施官Andy Jassy在演讲中也明确了亚马逊云在生成式AI时间的发展旅途，“咱们一定会优先研讨那些着实对客户紧迫的技巧，专注为客户治理内容的问题。”
也即是说，从真实客户需求启程，亚马逊云科技通过诈欺自己在基础设施、器用/模子和应用三层面的积蓄和实力，好像给客户多提供了一个“快、好、省”的选项。而这无疑好像让亚马逊云科技，再次坐稳云计较行业的“铁王座”。
全新一代芯片+试验集群，让大模子试验部署更具性价比
经济基础决定表层建筑，云计较的基础相通也决定了大模子发展的畴昔。
Andy Jassy示意：“当生成式AI应用达到一定例模时，计较资本将至关紧迫。”但咫尺公共范围内，大无数生成式AI应用都主要依赖某一种芯片进行计较。
因此，行业但愿好像领有具有更高性价比的治理有谋略。
那么，东说念主工智能时间着实的的基础设施究竟是什么样的？亚马逊云科技高档副总裁Peter DeSantis提议构建东说念主工智能基础设施的两个基本解救：
构建更强的劳动器；
构建更大限度、更高遵循的劳动器集群；
而不管是劳动器照旧劳动器集群，都离不开最基础的、高性能的GPU芯片。
Trainium是亚马逊云科技自研的AI芯片，2020 年头次推出，曾一度被认为是试验AI模子最具遵循的芯片。在这次re:Invent大会上，亚马逊云科技晓喻Trainium2芯片，以及由Trainium2 驱动的EC2实例细致可用，并推出Trainium2 Server和Trainium2 UltraServer，这将使用户好像以更高的性能和资本遵循试验和部署东说念主工智能模子。
据先容，Amazon EC2 Trn2实例，集成了16个Trainium2芯片，由高带宽低延长的NeuronLink技巧杀青互连，单节点提供20.8 pFLOPS FP8算力，相较GPU实例，Trn2实例的性价比高出30%至40%，专为生成式AI试验和推理而构建。
在测试中，与其他云劳动商的类似产物比拟，使用Amazon Trn2 EC2实例的Llama 3.1 405B 模子token生成狡赖量提高了三倍以上。
咫尺，Adobe、Poolside、Databricks、Qualcomm等革命公司已大限度参加使用Trainium2。
此外，Matt现场还晓喻将在2025年推出Trainium3芯片。Trainium3是亚马逊云科技基于3纳米先进工艺制造的首款芯片，是Trainium2性能的两倍，同期能效提拔40%。
但濒临大模子的试验需求，单一芯片还远远不够。亚马逊云科技通过极度神经元齐集技巧NeuronLink，将64个Trainium2芯片合成了一个Ultra劳动器。其计较容量是咫尺AI劳动器的5倍。带宽亦然高达2TB每秒，但延长只须1微秒。
此外，Anthropic也晓喻，下一代Claude模子将在包含数十万个Trainium2芯片的Project Rainier集群中进行试验。
面前，除计较除外，影响大模子试验和推理的，还有存储和数据库等软件系统。这次大会上，亚马逊云科技也同步更新了存储和数据库体系。
存储方面，亚马逊云科技全新发布Amazon S3 Tables，是专为Iceberg联想的全新式存储类别，以搪塞快速增长的数据湖需求。
据先容，Amazon S3 Tables可提高整个Iceberg表的性能和可膨胀性。针对存储在S3中的Parquet文献类型，可赢得3倍的查询性能及每秒事务量10倍提拔。这使得S3王人备从头界说了面向数据湖的对象存储，提供更好的性能、资本和限度膨胀才调。
而当达到PB或EB级别存储限度时，元数据（Metadata）就变得至极紧迫。元数据可匡助组织了解存储在S3中的对象的信息，从而找到所需的数据。
基于此，亚马逊云科技细致发布Amazon S3 Metadata劳动，可自动从对象中索求元数据，并近及时地将其存储在新的S3Tables桶中（Iceberg表），以支执后续使用分析器用进行元数据查询。当对象发生变化时，S3会自动在几分钟内更新相应的元数据。
这无疑治理了大限度数据分析中的元数据料理挑战，让行业用户好像高效发现和诈欺数据而无谓从事近似性的基础设施构建职责。
此外，约炮专区在数据库方面，亚马逊云科技全新发布了Amazon Aurora DSQL，其具有免运维体验的漫衍式SQL数据库，可在公共范围内杀青跨区域部署，并无限膨胀，具备99.999%的多区域高可用性及强数据一致性，同期兼顾低延长，是迄今为止最快的公共化部署的漫衍式SQL数据库，比Google Spanner快4倍。
同期，针对NoSQL数据库，亚马逊云科技也发布了Amazon DynamoDB global tables的多区域强一致性功能。至此，不管客户需要SQL照旧NoSQL，亚马逊云科技都不错提供在公共可快速膨胀的高可用数据库，支执数据强一致支执，并具备极低的读写延长。
关于现阶段的云厂商们来说，比拟于AI大模子劳动，算力无疑是最挣钱的一块业务。但面向畴昔，AI大模子的劳动和应用，也将至关紧迫。Jassy在10月份的财报总结时示意，本年，亚马逊的云计较业务增长态势彰着，该公司的东说念主工智能劳动也曾创造了数十亿好意思元的年化收入。
自研+集成百余款大模子！聘请的权柄，大于一切
“聘请决定一切！用模子的时期，需要有好多可选的解放！”Andy Jassy在大会上如斯说说念。
一句话，就也曾标明了亚马逊云科技在大模子劳动上的气派，亚马逊云科技通过集成更多的大模子产物，来让用户在聘请大模子使用上不受限。而这一禁止，也源自于亚马逊云科技里面在作念AI应用落地的不雅察。
“咱们骇怪的发现，即使在亚马逊里面，生成式AI应用真的立过程中所使用的模子种类也至极各样化。”Andy Jassy说说念，“咱们一次又一次地学习到相通的老师，那即是——永恒不会有‘一统世界的器用’。正如数据库规模一样，咱们畴前十年一直在参议，东说念主们使用的是多种磋议型或非磋议型数据库。”
然而，这并不虞味着亚马逊云科技毁灭自研大模子产物。
在演讲中，Andy Jassy也提到，亚马逊云科技里面在确立应用智商的过程中，里面确立者向亚马逊的模子团队提议了各式需求，包括但愿模子有更低的延长和更低的资本；望好像进行微调，以通过象征样本进一步优化应用性能；需要更好的图像和视频处理才调等等。
这些需求至极平方，现如今的大模子厂商并弗成王人备温和这些需求。
因此，除集成大模子产物除外，亚马逊云科技也细致发布自家新款“大模子全家桶”—Amazon Nova，涵盖文本对话、图片生成、视频生成，畴昔不仅要杀青Speech to Speech，更要Any-to-Any！
据先容，新发布的Amazon Nova基础模子共包括四大模子：
可用于粗拙任务的超高性价比翰墨处理Micro模子；
三种多模态模子——低资本的Lite模子；
兼具准确性、速率和资本的Pro模子；
反差婊用于复杂的推理任务同期也可进行蒸馏定制的Premier模子。
具体到功能方面，Nova模子支执微调（Fine-tuning)，蒸馏（Distillation）试验更小的模子，让大模子的使用遵循提拔的情况下，还能裁汰资本。同期，Nova模子与Amazon Bedrock学问库深度集成，可用于RAG，以根据我方的数据生成反馈。性能层面，Amazon Nova模子与同类模子比拟，Nova在整个基准测试中都是相配或更好，极具竞争力。
现场，Andy也晒出了Amazon Nova在CRAG、BFCL、VisualWebBench和Mind2Web等Benchmarks上取得的分数。从收货中不丢丑出，其在检索增强生成（RAG）、函数调用和智能体应用方面具有较好的性能。
同期，亚马逊云科技还重磅推出两个全新模子：Amazon Nova Canvas高质料图像生成模子，Amazon Nova Reel高质料视频生成模子。其中，Amazon Nova Reel支执生成六秒的视频，畴昔几个月将支执生成两分钟视频。
在后续的产物盘算中，Andy则示意，在2025年一季度傍边，亚马逊云科技将提供语音到语音的模子，允许输入语音，赢得运动的语音输出。在2025年年中傍边，将提供多模态输入到多模态输出的前沿模子，支执文本、语音、图像及视频。
咫尺，亚马逊云科技自研的大模子产物也曾上架亚马逊云科技的“模子工场”Amazon Bedrock，而Premier版块则将于2025年第一季度推出。
除自研大模子除外，为了好像让用户不受限，亚马逊云科技数据和东说念主工智能部门副总裁 Swami Sivasubramanian在大会上示意：“百款基础模子即兴挑！亚马逊云科技晓喻推出Amazon Bedrock Marketplace，用户不错减轻调用100多款启程点的大模子。”
咫尺Amazon Bedrock还上新了包括poolside Assistant、Stable Diffusion 3.5、Luma AI等在内的大模子。
跟着大模子的加快落地应用，推理也将成为生成式AI职责流中的中枢。
Matt在大会上也示意：“推理在AI模子的应用中变得尤为紧迫，尤其是在处理像大型说话模子等复杂模子时，推理条款极高的计较才协调低延长反馈。”
而为了温和更多客户对大模子推理当用的需求，这次Amazon Bedrock也迎来多项才调的升级，使得用户不错通过Amazon Bedrock通俗考查Inferentia和Trainium芯片提供的推理的硬件优化资源。
比如模子蒸馏功能，其好像提拔推理速率高达500%，资本裁汰75%，用户只需提供应用示例指示，Amazon Bedrock会为用户自动完成蒸馏过程，最终赢得一个定制的、具备专科学问、合理延长和合感性价比的蒸馏模子。
濒临企业级应用，为阻难大模子幻觉问题，亚马逊云科技发布自动推理查验功能，有助于检测幻觉、提供可考据的左证解释大型说话模子的准确性。
关于Agent智能体的应用，则发布Amazon Bedrock multi-agentcollaboration（多智能体相助），不错支执复杂职责经过。在性能方面，Amazon Bedrock还推出了低延长优化推理，由此，用户不错在使用起先进的大模子基础上，还享受非凡的推感性能。
数据暴露，咫尺每天都稀有万名客户使用Amazon Bedrock创建应用智商，比畴前一年增长了5倍。而通过Amazon Bedrock，亚马逊云科技云劳动也杀青既与多家模子提供商有着深厚的合作磋议，同期也集成自研大模子产物，最终好像为用户提供最平方、最优质的功能聘请。
开箱即用的AI应用，加快大模子落地
有了底层算力基础设施的支执，有了不错缓和聘请的大模子平台器用，但思要着实确立出一个优秀的生成式AI应用，却依然会存在至极多的繁难。
不仅需要一个优秀的模子，在模子除外，还需要合适的需要合适的安全治安、运动的说话抒发、高超的用户界面（UI）以及合理的延长领路——用户不但愿体验到从应承卡顿。此外，还需要一个优化的资本结构。
在Andy Jassy看来，在很厚情况下，你会以为我方有了一个很好的模子，稍加确立就能构建出一个优秀的生成式AI应用。但事实是，你可能只完成了70%的职责。推行是，客户不会宽厚那些仍有30%问题的应用。
因此，思要着实确立一款好用且优秀的AI应用，离不开云厂商们提供的好像开箱即用的AI应用确立平台器用。
亚马逊云科技的AI应用平台Amazon Q 为用户提供了丰富的AI应用器用。
其中，Amazon Q Developer，这次全新全新推出三个Agent，用于生成单位测试、文档和代码审查，不错匡助治理这个确立东说念主员端到端的开提问题。
Swami现场示意：“Amazon Q Developer登顶了SWE基准测试TOP1！减轻治理55.8%的软件问题，德甲、好意思国航空、英国电信都在使用。”
Amazon Q Business，不错协调为是亚马逊云科技为企业提供的数据联结器用，好像为企业数据创建了一个索引，联结不同的业务系统、企业数据源，不管这些数据源来自亚马逊云科技、第三方应用智商，整个这些数据都不错在安全和秘籍的前提下进行更好的搜索，并进步各式数据库与整个企业数据进行对话。
在Q Business之下，亚马逊这次发布了将QuickSight和Q Business的数据沿路结合的新功能，通过QuickSight和Q Business以及与之关联联的系统，举例Salesforce系统数据拉入QuickSight说明快速得到愈加全面的QuickSight状貌板，使QuickSight动作BI器用变得愈加巨大。
此外，Amazon SageMaker由于被越来越多客户用来处理和准备他们的数据，用于机器学习的职责负载。因此，亚马逊云科技将其从头定位为劳动数据、分析和东说念主工智能需求的中心。
全新发布的Amazon SageMakerUnified Studio，则不错提供整合的数据和东说念主工智能确立环境，允许客户考查组织中的所稀有据，并使用最适当的器用。它好像将咫尺亚马逊云科技各式劳动，包括Amazon EMR、Amazon Glue、Amazon Redshift、Amazon Bedrock中孤独的Studio，查询剪辑器，以及各式可视化器用等，整合到现有的Amazon SageMaker Studio中。
“Amazon SageMaker也曾成为所稀有据分析和AI的一站式平台，分析职责化繁为简，从头界说了生成式AI的游戏法例。”Swami如斯说说念。
咫尺，在公共范围内，各大企业都但愿好像通过生成式AI杀青降本增效。同期，各大公共企业巨头，在研究生成式AI的同期，也会率先在我方里面业务场景中落地应用。
亚马逊里面相通如斯。基于生成式AI，亚马逊也曾将生成式AI落地到企业里面多个应用场景中，包括：Alexa 语音助手改造、电商告白创作、手掌支付、无东说念主值守零卖劳动区和处方药阅读等。
而通过里面复杂数字生态场景所试真金不怕火出来的才调，在输出给亚马逊云科技的用户，无疑将好像给用户带来更好的体验。
综上来看，这次亚马逊云科技的要点，则落在了大模子的推理和应用层面，正在全经过裁汰生成式AI构建的门槛，以及推理和应用的资本。
比拟于OpenAI对AGI的追求，无疑亚马逊云科技更属目内容91porn，com，而这背后，都离不开其“一切从客户真实需求启程”的技巧研发准则。