2025年3月13日星期四

小模型卷疯了!Gemma 3单卡性能超越DeepSeek V3,本地部署实测

  点击上蓝字 关注艾康👆
获取更多实用 AI 工具/AI 玩法,一起 AI 创富~



就在昨天,谷歌的 Gemma 系列模型迎来了新成员——Gemma 3,直接把「小模型卷性能」的玩法推到了新高度

目前在 Chatbot Arena 综合排名前 10,超越许多专有模型,是第二佳开源模型,仅次于 DeepSeek-R1。

Gemma 3 是什么

说起 Gemma3,可能有些朋友还不太熟悉。

简单来说,Gemma3 是谷歌基于 Gemini 模型技术推出的轻量级开源模型,最大的特点就是轻量级,它对硬件要求极低。

27B 参数的版本用一块显卡就能跑,性能不输 DeepSeek V3 和 Meta的Llama-405B这种千亿级巨无霸,而且还支持多模态,上下文长度 128K,理解 140+种语言,包括结构化输出和函数调用。

如果说去年发布的 Gemma 系列是谷歌在开源领域的试水,那这次的Gemma 3 就是完全体形态,一口气推出「1B/4B/12B/27B」四个版本。

除了最小的 1B,其他模型上下文长度均是 128K,支持 140+种语言。

性能如何

根据官方数据,27B 版本在 Chatbot Arena 的 ELO 评分达到 1338 分,比 DeepSeek R1(1363) 低一些,但是却超过了DeepSeek V3(1319分)和 OpenAI 的 o3-mini(1328分)。

要知道,这些对比的这些大模型的参数规模都是它的 25 倍起步——相当于用五菱宏光的油耗跑出了法拉利的加速度

实际测试

因为支持 Ollama 本地一键部署,我决定拿我的 MacBook Pro做下实测,跑一下。

打开 Ollama,搜索「Gemma3」,就能看到相关模型了。

因为配置有限,我这里选择安装 12b,就直接复制 ollama run gemma3:12b,然后在终端执行。

如果你是第一次打开 Ollama,则需要先下载安装一下,等待进度条下载完成。

如果看到以下输出,则表示下载安装完成了。

为了方便使用,我直接接入到 Cheery Studio 里了。

先来一些简单的测试,昨天是 3 月 12,我让它以植树节为主题,帮我写一篇演讲稿。

速度很快,而且质量不低,中文理解能力在线。

除了常规的文本对话,4B 以上的版本都能处理图像输入,再来试试它的多模态能力。

比如上传一张日语空调遥控器的照片,它能准确识别「暖房」按钮是制热功能;上传超市购物小票,它能算出你该付多少钱。

再来试试OCR 能力。

回答得很好,除了图片中的大字部分,底部的小字也完整识别到了。

这种「看图说话」的能力,以往至少需要百亿参数级别的模型才能实现

更实用的是 128k 的超长上下文窗口(相当于10万汉字),这意味着你可以直接丢给它整本《三体》小说来讨论剧情,或者上传完整会议录音让AI做总结。

对于有长文本处理需求的用户群体来说,真的很方便。

写在最后

整体体验下来,还是很惊艳的,仅仅只需要 12G 就能在我的电脑上顺利跑起来。

Gemma 3的发布,是又一次给「大模型平民化」按下快进键。

当一块 H100 显卡就能运行性能对标千亿级模型的 27B 参数版本,当手机端加载量化后的 1B 模型仅需 529MB 内存,这意味着中小企业甚至个人开发者,都能低成本地打造专属智能应用。

>> 链接全放在这里了,感兴趣的可以直接冲:

  • Google AI Studio,免部署,直接使用:https://aistudio.google.com/
  • Ollama:https://ollama.com/library/gemma3:12b


我是艾康,会持续分享更多好用实用的 AI 工具/AI 玩法,如果想第一时间收到推送,欢迎关注公众号,并设为星标⭐


扫描下方二维码,备注「777」,免费送你一份《AI工具与副业变现指南》

如果觉得这篇文章有用的话,感谢点赞、在看➕关注👆,我是艾康,咱们下篇见!  

没有评论:

发表评论

AI文本转语音进入“Next Level”!独角兽ElevenLabs发布Eleven v3:狠狠拿捏情感控制

可多人丝滑聊天,支持70多种语言 一水 发自 凹非寺 量子位 | 公众号 QbitAI AI文本转语音已经进化到这种程度了吗?(⊙ˍ⊙) 莎士比亚戏剧腔、体育赛事激情解说、沉浸式有声书等诸多玩法简直轻松拿捏,而且听起来确实人机傻傻分不清楚~ ...