谷歌推出PaliGemma 2 mix：用于多任务的视觉语言模型，开箱即用。

去年 12 月，谷歌推出了 PaliGemma 2 ，这是Gemma系列中的升级版视觉语言模型。该版本包含不同大小（3B、10B 和 28B 参数）的预训练检查点，可轻松针对各种视觉语言任务和领域进行微调，例如图像分割、短视频字幕、科学问答和文本相关任务，并实现高性能。

2月19日，谷歌宣布推出 PaliGemma 2 mix 检查点。PaliGemma 2 mix 是针对多种任务进行调整的模型，允许直接探索模型功能并将其开箱即用，用于常见用例。

PaliGemma 2 mix 有什么新功能？

• 一个模型可完成多项任务：PaliGemma 2 mix 可以解决短字幕和长字幕、光学字符识别 (OCR)、图像问答、对象检测和分割等任务。
• 适合开发人员的尺寸：借助不同的模型尺寸（3B、10B 和 28B 参数）和分辨率（224px 和 448px），使用最适合您需求的模型。
• 与您喜欢的框架一起使用：利用您喜欢的工具和框架，包括Hugging Face Transformers、Keras、PyTorch、JAX 和Gemma.cpp。

如果已经在使用原始的 PaliGemma 混合检查点，则可以直接升级到 PaliGemma 2，而无需进行任何更改。该模型根据提示方式执行不同的任务。

效果展示

检测

• 任务：检测（PaliGemma-2-3b-mix-224）
• 输入："detect android\n"

结果

多物体检测

• 任务：多目标检测（PaliGemma-2-3b-mix-224）
• 输入："检测椅子；桌子\n"

结果

• 餐厅内物品的多物体检测

结果：

光学字符识别 (OCR)

• 任务：多目标检测（PaliGemma-2-3b-mix-224）
• 输入-"ocr\n"

结果：

分割

• 任务：分割 (PaliGemma-2-3b-mix-224)
• 输入-"segment cat\n"

结果

问答

• 任务：问答 (PaliGemma2-mix-3b-448)
• 输入："答案 en 牛站在哪里？\n"

结果

beach

字幕

• 输入："caption en\n"

结果

a cow standing on a beach next to a sign that says warning dangerous rip current.

光学字符识别 (OCR)

结果：

• WARNING

• DANGEROUS

• RIP CURRENT

立即开始

• 试用：https://huggingface.co/spaces/google/paligemma2-10b-mix
• 模型：https://www.kaggle.com/models/google/paligemma-2/
• 运行：https://ai.google.dev/gemma/docs/paligemma/inference-with-keras
• 部署：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/paligemma

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～