Groq八面威风地向“天下最快大模子推理芯片”的目的倡议总攻，给高机能AI推理市场带来了新的等待。

　　Groq结合开创人兼CEO Jonathan Ross曾声称，比拟用英伟达GPU，LPU集群将为狂言语推理供给更高吞吐量、更低提早、更低本钱。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

　　因为掌握流程已进入软件栈，硬件是分歧且可猜测的，开辟职员能够准确获知内存利用状况、模子服从和提早。这类肯定性设想利用户可在将多芯片扩大毗连时，准确把控运转一次计较需求多长工夫，愈加专注于算法并更快地布置处理计划，从而简化了消费流程。

　　随后“官网喊话”就成了Groq的特征，特别是近期，Groq接连发文“喊话”马斯克、萨姆·阿尔特曼、扎克伯格等AI大佬。出格是在《嘿 萨姆…》文章中，公开“厌弃”OpenAI的机械人太慢了，并给自家LPU打告白，宣称运转狂言语模子和其他天生式AI模子的速率是其他AI推了解决计划速率的10倍。 ‍‍‍‍

　　其特性包罗超卓的时序机能、单核架构、大范围布置可保护的同步收集、能主动编译超越500亿参数的狂言语模子、立即内存会见、较低精度程度下连结高精确度。

　　1. 每张Groq卡的内存为230MB。关于Llama 70B模子，假定接纳int8量化好用的作文软件，完整不计推理的内存耗损，则起码需求305张卡。实践上需求的更多，有报导是572张卡，因而我们根据572张卡来计较。

　　施行不异使命的芯片数目也将大幅削减。当前Groq需求在9个机架顶用576颗芯片才气完成Llama 2 70B推理，而到2025年完成这一使命能够只需在2个机架利用约莫100个芯片。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

　　“12个月内，我们能够布置10万个LPU；24个月内，我们能够布置100万个LPU。”Ross说。 ‍‍‍

　　开创成员来自谷歌TPU团队的美国存算一体AI芯片公司Groq即是最新赢家。这家创企自称其自研AI推理引擎LPU做到了“天下最快推理”，因为其超酷的大模子速率演示、远低于GPU的token本钱，这颗AI芯片近来会商度暴跌 。连原阿里副总裁贾扬清都公然算账，阐发LPU和H100跑大模子的采购和运营本钱到底差几。

　　AI写作助手创企HyperWriteAI的CEO Matt Shumer评价LPU“快如闪电”，“不到1秒写出数百个单词”，“超越3/4的工夫花在搜刮上，而非天生”，“狂言语模子的运转工夫只要几分之一秒”。

　　假如按这个算法，运转3年，Groq的采购本钱将是H100的38倍，运营本钱将是H100的10倍。‍‍‍‍

　　Groq拿一台英伟达效劳器和8机架Groq装备做比照，并宣称十分肯定装备576个LPU的Groq体系本钱不到英伟达DGX H100的1/10，然后者的运转价钱已超越40万美圆。即是说Groq体系 能完成10倍的速率下，总本钱只要1/10，即耗损的空间越多，就越省钱。

　　Groq的简化架构去除芯片上对AI没有任那边理劣势的过剩电路，完成了更高效的芯片设想，每平方毫米的机能更高。其芯片将大批的算术逻辑单位与大批的片上内存分离，并具有充沛带宽。

　　面向LPU客户的狂言语模子API会见已开放，供给免费10天、100万tokens试用，可从OpenAI API切换。

　　贾扬清还在批评区谈道：“诚恳说，我们对当前的token价钱+速率SLA组合感应不适。换句话说，我们对token价钱感应合意，但假如并行挪用API，我们没法包管速率。”

　　Groq则在交际平台上欢欢欣喜地频仍发文加转发，分享其协作同伴及网友们对LPU的实测成果及正面评价。一些主动概念以为，LPU将改动运转狂言语模子的方法，让当地运转成为支流。 ‍‍‍‍

　　Groq在交际平台上解答了一些常见成绩：1、LPU为每token供给很好的价钱，由于服从高并且具有从芯片到体系的仓库，没有中心商；2、不卖卡/芯片，除非第三方供给商将其出卖给研讨/科学使用集体，贩卖内部体系；3、其设想合用于大型体系，而非单卡用户，Groq的劣势来自卑范围的设想立异写作变现平台。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

　　就在Groq风风火火之际，环球最大AI芯片公司英伟达堕入了一些振荡好用的作文软件。昔日英伟达官宣将在3月18日-21日举行其年度手艺嘉会GTC24，但其股市表示却不甚幻想。受投资者快速撤股影响，英伟达昔日股价低落4.35%，创客岁10月以来最大跌幅，一日之间市值缩水780亿美圆。 ‍‍‍‍‍

　　自称是“Groq超等粉丝”的原阿里副总裁好用的作文软件、兴办AI infra创企Lepton AI的贾扬清则从另外一个角度来 思索性价比，据他阐发，与划一算力的英伟达H100效劳器本钱比力，Groq LPU效劳器实践要消耗更高的硬件采购本钱和运营本钱：‍

　　输入提醒词“美国最好的披萨是甚么？”跑在LPU上的Mixtral模子飞速给出答复，比从前渐渐天生一行一行字的体验好许多。‍‍‍‍‍‍‍‍

　　3. 572张卡，每张卡的功耗均匀是185W，不思索外设，总功耗为105.8kW。(留意，实践会更高)

　　按照官网信息，LPU代表言语处置单位，是Groq打造的一种新型端到端处置单位，旨在克制狂言语模子的计较密度和内存带宽瓶颈，计较才能超越GPU和CPU，可以削减计较每一个单词所需工夫，更快天生文本序列。消弭内部内存瓶颈使得LPU推理引擎可以在狂言语模子上供给比GPU好几个数目级的机能。

　　在体系级芯片采购和运营本钱方面，Groq能够还难以做到与H100对抗，但从超卓的单batch处置和抬高token价钱来看，其LPU推理引擎曾经展示出相称的吸收力。‍

　　4. 如今数据中间均匀每千瓦每个月的价钱在200美圆阁下，也就是说，每一年的电费是105.8 x 200 x 12 = 25.4万美圆。（留意，实践会更高）

　　Groq努力于完成最自制的每token价钱，许诺其价钱“超越划一上市型号的已公布供给商的任何已宣布的每百万tokens价钱”。

　　5. 根本上，接纳4张H100卡可完成Groq的一半机能，也就是说，一台8卡H100与上面的机能相称。8卡H100的标称最大功率为10kW（实践大要在8-9kW），因而每一年电费为2.4万美圆或更低一些写作变现平台。

　　Groq芯片的指令是垂直走向，而数据流向工具活动，操纵地位和功用单位订交以施行操纵。经由过程将计较和内存会见解耦，Groq的芯片在处置数据时能停止大批读写，即一步以内有用停止计较与通讯，供给低提早、高机能和可猜测的精确性。‍‍‍‍‍‍‍‍‍‍‍‍‍

　　在对Meta Llama 2模子做推理基准测试时，Groq将576个芯片互连。根据此前Groq分享的计较办法，英伟达GPU需求约莫1 0~30J来天生token，而Groq每token约莫需求1~3J，也就是说推理速率是本来的10倍，‍‍‍‍‍‍‍‍‍‍‍‍‍‍本钱是本来的1/10，大概说性价比进步了100倍。

　　与许多大模子芯片差别的是，Groq的芯片没有HBM、没有CoWoS，因而不受HBM供给欠缺的限定。‍

　　受软件优先思惟的启示，Groq将施行掌握和数据流掌握的决议计划步调从硬件转移到了编译器，以调理跨收集的数据挪动。一切施行方案都在软件栈中停止，不再需求硬件调理器来弄分明怎样将工具搬到芯片上。这开释了贵重的芯片空间，并供给了分外的内存带宽和晶体管来进步机能。 ‍‍‍

　　2016年末，谷歌TPU中心团队的十小我私家中，有八人静静组队离任，在加州山景城合股兴办了新公司Groq。接着这家公司就收支神隐形态，直到2019年10月才经由过程一篇题为《天下，熟悉Groq》的博客，正式向天下宣布本人的存在。

　　Groq工程师以为，必需慎重利用HBM的缘故原由是它不只触及提早，另有“非肯定性”成绩。LPU架构的一大益处是能够构建能快速互连的数百个芯片的体系，并晓得全部体系的准确工夫在百万分之几之内。而一旦开端集成非肯定性组件，就很难确保对提早的许诺了。

　　2. 每张Groq卡的价钱为2万美圆，因而购置572张卡的本钱为1144万美圆。固然，由于贩卖战略和范围效益，每张卡的价钱能够打折，临时根据目次价来计较。

　　LPU接纳了单中心时序指令集计较机架构好用的作文软件，无需像传利用高带宽存储（HBM）的GPU那样频仍从内存中加载数据，能有用操纵每一个时钟周期，低落本钱。 ‍‍‍

　　7. 因而，假如运转三年写作变现平台，Groq的硬件采购本钱是1144万美圆，运营本钱是76.2万美圆或更高。8卡H100的硬件购置本钱是30万美圆，运营本钱为7.2万美圆或更低一些。

　　在公然的狂言语模子基准测试上，LPU获得了压服性战绩，运转Meta AI狂言语模子Llama 2 70B时，输出tokens吞吐量比一切其他基于云的推理供给商最高要快18倍。

　　关于Time to First Token，其收缩到0.22秒。因为LPU的肯定性设想，呼应工夫是分歧的，从而使其API供给最小的可变性范畴。这意味着更多的可反复性和更少的环绕潜伏提早成绩或迟缓呼应的设想事情。

　　如今，Groq持续连结着高调，除官号主动出头具名互动外，前员工和现员工还在论坛上“撕”起来了。前员工质疑实践本钱成绩，现员工则鞭挞这位前员工分开并兴办了一家Groq的合作敌手+没做出“天下最低提早的狂言语模子引擎”+没包管“婚配最自制的token价钱”。 ‍‍‍‍

　　芯工具2月21日报导，在OpenAI推出又一爆款力作AI视频天生模子Sora后，连带着偏上游的AI芯片赛道热度一点即着。

　　“编译器优先”是Groq的机密兵器，使其硬件媲美公用集成电路（ASIC）。但与功用牢固的ASIC差别的是，Groq接纳软件界说硬件的思绪，操纵了一个能够顺应和优化差别模子的自界说编译器，使其编译器和系统构造配合组成了一个精简的、妥当的机械进修推理引擎，撑持自界说优化，以均衡机能与灵敏性。

　　据悉好用的作文软件，Groq下一代芯片将于2025年推出，接纳三星4nm制程工艺，能效估计相较前一代进步15~20倍，尺寸将变得更大。