商汤大装置在WAIC期间披露国产算力业绩，国产芯片相关业务毛利率转正。预计7月末日均Token处理量达2.42万亿，年底目标10万亿。通过异构混合推理，国产芯片算力利用率提升85%-152%，单位成本Token产出提升2.5倍。适用于大模型厂商及AI开发者，系统级优化覆盖推理、电力调度及生态协同。
Tags:
克雷西 发自 上海
量子位 | 公众号 QbitAI
商汤大装置这次交出的国产算力成绩单，量级已经不一样了。
WAIC期间，商汤大装置举办了一场AI基础设施论坛，把这份成绩单摆到了台面上。
成绩单显示，商汤大装置把国产芯片相关业务的毛利率，做到了正数。
预计到7月末，商汤大装置的日均Token处理量，将从年初的4000亿一路狂奔到2.42万亿，年底还冲着10万亿去，大概是年初的25倍。
国内头部模型厂商的名字，也有很多都排上了商汤的客户名单。
商汤大装置负责人杨帆介绍，过去好几年，算力圈一直在念叨一句老话——谁买国产芯片，谁认亏。
商汤大装置交出的这组数字，直接把这句老话怼了回去。
也正是因此，商汤自己把这一年，称为「国产AI基础设施规模化商用的元年」。
撑起这个反转的，是商汤一整套把资源攥在自己手里、灵活拼起来用的操作方法论。
先拼系统，再等芯片追上来
现在的国产模型，跟世界主流已经没有代际差距。
但搭载它们的国产芯片，跟国际主流高端芯片比，至少落后一代。
这个错位，在算力产业链上几乎人尽皆知。
商汤大装置没有守株待兔，不等这道差距被芯片厂商自己填平，就先跑通了一套系统层面的组合方案。
有了这套方案，这道差距在实际用起来的时候，就能得到一定程度的弥合，不再是天堑。
这套方案的核心，叫异构混合推理。
具体来说，商汤大装置把主流国产芯片「拼」在了一起。
他们将Prefill和Decode阶段分离，把对显存和带宽要求最高的Decode环节，交给性能更强的高端资源撑着；对算力要求相对分散的Prefill环节，则交给数量更多的国产芯片扛。
这样分的道理并不复杂，Decode阶段要一个字一个字往外蹦，每蹦一个字都要把之前生成的内容在显存里翻一遍，吃的是带宽；
Prefill阶段则是一次性把输入内容整个吞下去，吃的是算力堆叠的吞吐量。
两种「脾气不一样」的任务，本来就不该塞给同一种硬件干。
有了这样的分工，一块高端芯片，大概就能带动约30块国产芯片一起干活，拿到与单独用高端资源接近的效果。
这套组合术，也不是只对着一款芯片量身定制的。
商汤大装置前后适配过20多款不同厂商的国产芯片，其中已经有六七款能够稳定地商业化盈利。
当然，把硬件拼在一起，只是第一步。
系统层面还有大量定向优化和适配的工作要做。
这些工作琐碎但繁重，从底层的编译器适配，到算子重写，再到上层框架的对接，最后还要落到调度策略的调整，每一层都得单独去啃。
为此，商汤大装置在算子层面做了针对性的重写和调优，又在系统层级调整了资源分配和调度策略，把国产芯片的算力利用率尽可能地压榨了出来。
通过异构混合推理，主流国产芯片MFU（Model FLOPs Utilization）提升了85%-152%。
换算成商业指标，这套系统组合让单位成本的Token产出，提升了2.5倍。
具体到业务场景，在AI4S长序列蛋白质预测场景中，通过融合算子优化，整体预测耗时减少75%；在AIGC视频生成场景中，国产芯片运行DiT模型时，多卡并行视频生成加速比达到了93%。
这套能力，商汤打包成了一门叫「Token工厂」的生意。
有了这座「工厂」，批量处理Token的需求，都可以直接找商汤来供给。
这些系统层面的工作，就是开头那组25倍增长曲线背后真正的支撑。
别人分着干，商汤自己包圆
商汤这套用高端资源撑瓶颈、通用国产卡冲量的混合推理方案，之所以能跑通，光靠技术优化还不够。
这种想法本身并不复杂，同类玩家也不是没想到过类似的招。
但商汤大装置的杀手锏，在于把整条链条攥在了自己手里，因此才能做端到端的联合优化。
这个「杀手锏」具体是什么样子，要从很多行业通用的分工方式说起。
机房、硬件、批发分销、零售，分给不同公司干，已经是家常便饭。
拆得越细，每一层单独看起来都更专业，但层与层之间的损耗和摩擦，也跟着多了起来。
一层的浪费，常常要靠另一层的收益去补，一旦这两层归属不同的公司，这笔账就成了烫手山芋，基本没人愿意主动算清楚。
但商汤大装置却选择自己建机房，自己采购和运营硬件，自己开发调度系统，最后的服务也是商汤自己直接对接客户。
这套自己全包的打法，最早是从适配国产芯片这件事上磨出来的。
商汤大装置从2018年就开始攒这套协作班底，自己的研发团队、芯片原厂和高校科研机构长期配合，一起解决从底层编译器到算子、再到框架和服务这几层技术问题。
这套班底走的是一种松耦合与紧耦合并存的路子，平时各干各的，遇到硬骨头就并到一起集中啃。
任何一层，都得多方一起才能搞定。
今年，这套体系里多了一个新招——用AI自动生成算子适配代码。
有了这个方法，过去需要工程师手工做的适配工作，被AI接了过去。
跟上模型迭代速度所需要的人力时间，也因此被压缩了不少。目前，这套做法已经在商汤的生产环境里跑了不短的时间。
算力之外，商汤把电力也一并揽进了自己手里，算力和电力，被当成一个系统联合调度。
商汤大装置在WAIC期间正式发布了「算电协同Agent」，先用模型去预测算力任务的耗电特征，把这个预测结果，跟电力的调度系统打通，再配合峰谷电价和自己的储能设施，去调节整体的用电节奏。
这套打法也衍生出了一个新指标，叫TPW（Tokens per Watt），衡量的是单位电量能产出多少Token，用这套方法之后，单位电力成本的Token产出提升了80%左右。
这套端到端自己全包的路数，也延伸到了生态合作上。
商汤大装置联合了将近20家生态伙伴，其中有寒武纪、沐曦股份、中科海光、华为昇腾、摩尔线程、曦望Sunrise、壁仞科技这些头部国产芯片厂商，也有曦智科技这样的核心零部件伙伴，还有硅基流动、趋境科技这类基础设施厂商。
这些伙伴一起发起了国产AI基础设施生态共建计划，目标是打造一个开放共享、联合创新的产业生态。
往后，商汤计划依托「银河计划」，跟生态伙伴共同建设1个Token运营中心、5个万卡级国产智算集群，围绕10个核心技术方向做联合创新，还要赋能200家AI初创组织。
产业伙伴之外，商汤还把科研机构拉进了这套体系里。
WAIC期间，商汤大装置联合上海人工智能实验室、北京中关村学院、深圳河套学院、上海算法创新研究院、上海交通大学人工智能学院这五家国内顶尖科研机构，一起启动了科学发现平台的战略合作。
这次合作的方向不少，联合实验室建设、重大科研项目协同攻关、科研算力底座、科学智能平台研发、复合型人才培养、科研成果转化，都在合作范围里。
这次合作要构建的是一套覆盖算力基础、平台工具、模型能力、科研创新的一体化科研服务体系，面向生命科学、新材料、智能制造这些重点领域，以此提供AI层面的科研支撑。
这套方法论往外延伸的方向，还包括天上。
商汤大装置签约了国星宇航，双方开始共同探索从地面万卡集群到在轨多星协同的太空算力合作。
预计到2026年，「商汤号」系列算力卫星将完成首发并组网，验证星地协同计算能力；到2030年，将建成天地一体化AI算力星座，形成覆盖全球的空间智能计算网络。
这套太空算力的合作，瞄准的是应急救灾、远洋船舶、野外机器人这些弱网络环境下的实时AI推理场景，是地面集群覆盖不到的地方。
跟太空算力一样，光计算和量子计算，也是商汤正在同步探索的方向，眼下都还处在探索阶段。
这些分布在不同领域的动作，说到底是同一套方法论——把资源收在自己盘子里，再根据场景灵活地重新组合。
窗口会关，方法论不一定
这套方法论是真本事，但眼下这份高毛利、高增长，也出现在一个特殊的市场节点上——
当下的供需结构，正处在极度失衡的状态。
今年Agent类应用一起来，算力需求的结构彻底变了。
单次任务处理的上下文长度大幅拉长，市场对算力的整体需求，同比去年涨了5到10倍，主流算力的供给却几乎没涨。
大厂需要优先保自己内部的核心业务，导致第三方客户的溢出需求，没人承接。
大厂和头部芯片厂商都顾不上的那部分市场，正是在这个窗口期里被商汤揽了过来。
供给端一旦追上来，这轮红利大概率会收窄。
虽然红利会收窄，但商汤大装置沉淀下来的东西却留得住。
商汤在AI基础设施这个领域，已经摸爬滚打了九年，是布局最早、也最懂大模型的服务商之一。
这九年来，他们所沉淀的，是一套端到端整合、能跨场景复用的操作方法论，从推理延伸到电力，延伸到区域布局，也延伸到太空算力，背后都是同一套逻辑在不同场景里的具体适用。
这轮收入曲线，只是这套方法论眼下最容易被看见的一部分。
同时，这套逻辑也在回应一个更长期的判断。
模型的应用场景还在持续变多，具身智能、世界模型和科学计算这些新方向，对算力提出的要求彼此并不一样。
单一芯片很难同时满足所有场景，这给商汤这类擅长「组合调度」的玩家，留出了长期的研究和发展空间。
AI基础设施这场竞赛，拼到最后，芯片多先进，不再是决胜的砝码；把手里的资源拼成最优组合，才是关键的招数。
商汤大装置赌的，就是这一件事。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
🌟 点亮星标 🌟
