性价比无敌 周末加更一篇，我还是觉得，小米前两天开源的那个模型，值得单独来聊一聊。 当天晚上其实就打算写了，结果被OpenAI截胡了，这一拖，就拖到了今天。 没有任何预兆的，直接开源了一个大模型， MiMo-V2-Flash。 成绩也不错，在O penRouter上的调用量排名上，一路上涨。 今天看，又涨了将近2倍，已经来到了第六了，这个涨幅还是挺恐怖的。 而且还有一个非常有意思的是，那天，也是雷总的生日。 这次， MiMo-V2-Flash 发布即开源，还附带了技术报告。 然后，还做了一个线上对话产品，也是为了方便大家进行快速便捷的体验。 网址在此： https://aistudio.xiaomimimo.com/ 我这两天，零零散散的花了一些时间，读完了技术报告，又体验了一下模型之后，我觉得，这个模型还是有一点意思的。 Blazing speed meets frontier performance。 差不多在开源世界里，属于第一梯队水平，跟Kimi-K2 Thinking和DeepSeek-V3.2互有胜负。 跟闭源模型，也能掰掰手腕，但是坦诚的讲，Gemini 3.0 Pro还是太强了。。。 在Artificial Analysis上，综合排名也是开源第二。 不过这些跑分，我觉得现在大家看看就就行了，真正在技术报告里有比较有意思的创新的点，还是在于他们生为一个硬件为核心的公司，所一直追求的。 在MiMo的世界里，最核心的，是速度、成本、是延迟。 是能不能把它塞进手机、塞进汽车、塞进一个能面向于普通消费者的未来里。 这次 MiMo-V2-Flash是个MoE模型，总参数309B，激活参数量15B。 基本上，跟DeepSeek-V3.2相比，MiMo-V2-Flash的推理成本略低，而推理速度大约是 V3.2 的三倍左右。 跟Gemini 2.5 Pro相比的话，MiMo-V2-Flash的推理速度接近，但推理成本大约低了20倍。 每百万输入token为0.1美元，每百万输出token为0.3美元。 这个数据有多离谱，我觉得还是需要放一下一些其他大模型价格对比。 Gemini 3 Pro（<200k上下文）：$2/输入，$12/输出。 Gemini 3 Flash：$0.50/输入，$3/输出。 Kimi K2 Thinking：$0.60 /输入 ，$2.50 /输出 。 DeepSeek-V3.2（思考模式）：$0.28 /输出入，$0.43/输出。 相信大家现在就知道， MiMo-V2-Flash的价格和性能对比，还有他的推理速度，有多离谱了，可能会是常规开发普惠的又一利器。 而整个模型里面，我觉得最棒的点，其实有两个，一个叫长文本，一个叫吐字速度。 过去所有大模型做长文本，都会遇到一个非常朴素的问题，就是你让它看的东西越长，它脑子里要记的上下文缓存（KV cache）就越大，算注意力的时候就越废。 最传统的大模型写作文，大概是这样的流程，就是每写一个字，都要从头到尾把自己刚写的所有内容，重新读一遍想一遍，然后才敢写下一个字。 写到第1000个字时，你可以理解成，它已经把前面999个字复习了999遍。 是不是听着就很酸爽，如果想象不到有多痛苦的，大家现在可以自己试一试。。。 这其实就是所谓的全局注意力，就是你每添一个词，大模型脑子里都要把前文全刷一遍，它很怕漏掉什么细节。 理论上，这样最稳妥、最严谨，但有一个致命问题，就是太费劲，太慢了。 就好像你在写古诗，一边写一边从第一页开始把整本《唐诗三百首》背一遍，确认自己没有撞韵，再写下一个字。 非要用一个词来描述这种行为，那我觉得，就是，自虐。 后来大家觉得不能这么算下去啊，要不然到时候就算你显卡堆成一座山，速度也快不起来，更别提长文本了。 所以就有一大堆加速方法被发明出来了，什么注意力结构、稀疏连接、特化硬件啥的都出现了。 小米的搞得这个Hybrid Attention，本质上就干了一件特别朴素的事，承认一个现实，也就是人类看东西，不是每一秒都在看全局。
其实你读小说的时候，其实也是局部认真，全局大概知道个意思。
你的眼睛，肯定主要盯着眼前这一两页，这是滑动窗口。
偶尔翻回前面看看人物关系图、章节标题，这是全局注意。
MiMo-V2-Flash把这个节奏，直接写进了模型结构里。
它的大部分时间，只看最近的 128 个 token，就像你只记得眼前这一段对话，每隔一段，就抬头看一下全局，防止走偏。
这就是 MiMo-V2-Flash 采用的全局注意力（GA）与滑动窗口注意力（SWA）1:5 的混合方案，长上下文下KV cache和注意力计算，能有接近6倍下降。。。
然后最有意思的事，他们还加了一个东西，叫"attention sink bias"。
你大概就可以理解成，让模型可以把有些东西选择性的不看，让注意力沉底，不被各种噪音干扰。
人类其实也一样，你坐在洗脚城大厅，旁边有人吵架、有人刷短视频、有人喊服务员，你不可能每句话都听进去。你真正能活下去的能力，是你能把这些噪音当成背景音，眼神空焦一下，注意力直接沉下去，只抓你要的那点信息。
MiMo做的，就是把这种我选择性忽略的能力工程化了。
更有意思的是，他们也做了实验，没有这个sink bias，性能会掉，加上以后不仅回来了，甚至能跟全局注意力打平甚至更好。
所谓 MiMo-V2-Flash为了解决成本问题，其实做了不少有趣的事情，而且虽然看着很多技术名词，但是本质上，非常的生活化。
就是，承认记得太多也是负担，学会在正确的地方选择性忘记，把算力留给真正重要的部分。
其实更真实的原因是，就是大模型生成文字这件事，本质上非常流水线，一口一口吐，吐一个才知道下一个。 就像你让一个师傅现场写春联，他写完上联最后一个字，才知道下联第一个字怎么对，那速度怎么可能快的起来，还写个屁。 所以，MiMo-V2-Flash也用了一个有趣的东西，叫Multi-Token Prediction（MTP，多词预测）。 本质上就是，你别一个字一个字写，你先打个草稿，一次性多写几个字，然后再快速检查一遍，没问题就直接用，有问题就退回重写。 论文里会说得更技术一点，MTP可以作为"draft model"用于speculative decoding（推测解码），也就是先草稿、后验收的机制。 而且不是当一个工程上的外挂搞得，最开始的预训练阶段，这玩意就直接塞了进去，让模型学的一直就是先草稿、再检查这套节奏。 在微调阶段，又加了更多层MTP，把这种多字并行的本事练得更熟了。 等到真正上线推理的时候，它直接开三层 MTP 并行，就相当于你手下有三组实习生轮班打草稿，主模型坐在中间挑挑拣拣，最后形成一条流畅的回答。 在实际场景里，三层MTP可以做到2到2.6倍的加速，单条回复能跑到150 token/s，全局吞吐可以拉到5000到15000 token/s。 我录了一个回答，无加速，大家可以看看，20秒4000字，真的已经非常快了。
，时长 00:22
切换到横屏模式
继续播放
继续观看
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
观看更多
,
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
和DeepSeek-V3.2能力相近，但速度大概快三倍。 和Gemini 2.5 Pro能力接近，速度差不多，但成本低了近二十倍。 也就是，同样干一份工，我能用更少的钱、更少的电、跑得更快、更稳。 真的，对于一个硬件公司来说，这几乎是刻在DNA里的执念。 到大模型时代，它只是把同一套工程价值观，搬到了另一个战场。 比如我之前测Gemini 3 Pro的时候，有一个体素3D世界的Prompt： 设计并创建一个非常有创意、精致且细节丰富的像素3D场景：一只胖乎乎的奶龙坐在一座美丽的花园中央，旁边是小池塘、石灯笼和弯曲的小路，周围长满树木，其中包括几棵盛开的樱花树。让整个场景足够震撼、层次丰富，在不同高度和区域布置各种小细节，比如长椅、小桥、石子路、草丛、花坛等，并使用色彩丰富的体素来表现。可以使用任何库来完成这个效果，但要确保我能把所有内容粘贴到一个单独的 HTML 文件中，并直接在 Chrome 中打开。JavaScript 库的引入方式请使用 importmap 和 ES 模块（ESM）导入。
而这次我扔到 MiMo-V2-Flash里，也一次性直出了。
各种交互啥的也都没啥问题。
，时长 00:10
切换到横屏模式
继续播放
继续观看
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
观看更多
,
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
而且功能也都给你做全了，樱花特效都能关，也能自动旋转，最细节的事，奶龙脖子那里，还有一个会一闪一闪发光的小立方体，还挺精致的。
还有一个测模型svg能力的时候，一个Prompt： 做一个长滚动网页，用 5 层以上视差背景和 SVG 插画讲一个小故事，滚动时触发渐进式动画和文字渐显。 比如前几天，Gemini流星雨，我就想，让Mimo给我做一个可以手势控制的流星网页。
，时长 00:19
切换到横屏模式
继续播放
继续观看
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
观看更多
,
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
，时长 00:11
切换到横屏模式
继续播放
继续观看
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
观看更多
,
聊聊小米开源的MiMo-V2-Flash，这次，为推理而生。
整体看下来，代码能力不差，不过坦诚的讲，前端审美离最头部的模型，还有一些差距。 但是还是会有中文大模型的堆砌词藻空洞的问题，很多句子看着很华丽，但是其实比较的空，不包含任何信息量。 有些句子写的不错，而且那些经常被恶心的不是...而是...句式基本没用过，在很多时候，调一调还是可以的用的。 从更长远一点看，小米做这件事的意义，我觉得还是会往硬件去。 在手机、在车机、在路由器、在眼镜上、在所有的智能家居里，那颗小小的模型，能不能跑得快、跑得稳、跑得起。 在这个战场里，小米过去十几年已经证明过自己一次了，我到现在还记得我买小米1的兴奋。 如果哪天我跑Agent、搭小网页、操控我家里的所有家具，用的那颗本地小模型，背后跑的就是 MiMo，那会是一件挺让人开心的事。 以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。
>/ 作者：卡兹克
>/ 投稿或爆料，请联系邮箱： wzglyay@virxact.com
没有评论:
发表评论