📌 一句话摘要

Gemini 负责人揭秘多模态模型设计理念，强调视觉在 AGI 中的核心地位及视频理解技术的突破，并阐述'万物皆视觉'的产品理念

📝 详细摘要

文章报道了 Gemini 模型行为产品负责人 Ani Baddepudi 在谷歌开发者频道的访谈内容。访谈深入探讨了 Gemini 作为原生多模态模型的设计理念，包括将不同模态统一表示为 token 的方法、视频理解能力的突破（如处理长达 6 小时视频、1FPS 采样下的高性能）。特别强调了视觉在构建 AGI 中的核心作用，并分享了 Gemini 2.5 在视频理解方面的三大改进：长上下文处理、能力正向迁移和多模态整合。详细阐述了'万物皆视觉'的产品理念，将视觉用例分为三类（现有模型能做到的、人类专家能做到的、超越人类能力的）。最后展望了未来 AI 交互将更加自然、视觉化的方向，并介绍了 Gemini 多模态团队的协作方式和工作重心。

💡 主要观点

1. 1FPS 采样下仍能保持高性能 通过优化 token 化方式（每帧 64token），Gemini 在低帧率采样下仍能良好泛化，目前可处理长达 6 小时的视频，这一技术突破使 Gemini 在视频理解领域具有显著优势
2. 原生多模态设计是 Gemini 的核心优势 Gemini 从零开始设计为多模态模型，将文本、图像、视频和音频统一表示为 token，采用'交错处理音频和视觉信息'的技术方案，使多模态信息对齐更精准，这使其在多模态任务中表现更优
3. 视觉能力是构建 AGI 的关键要素 访谈强调视觉是人类感知世界的核心，许多专业领域任务都有视觉成分，因此多模态设计对实现 AGI 至关重要，形成了'万物皆视觉'的产品理念
4. Gemini 2.5 在视频理解上取得三大突破 改进长上下文处理、实现能力正向迁移、整合多项视觉能力（如 OCR、检测、分割等），使 Gemini 成为少数能进行先进视频理解的基础模型之一，解锁了视频作为信息媒介的实用价值
5. 未来 AI 交互将更自然和视觉化 团队正致力于让 AI 交互突破'回合制'模式，通过视觉形式和同理心设计，使交互更自然、信息传达更高效，目标是创造'专家在肩膀上'般的体验

💬 文章金句

• 如果想要构建通用人工智能（AGI）和强大的 AI 系统，那么多模态的能力必不可少
• Gemini 2.5 在视频理解方面相当令人惊叹!
• 拥有一个单一多模态模型的好处在于，能够看到大量的积极能力迁移
• 想象你有一个专家人类在你的肩膀上，看到你所能看到的一切，并帮助你完成事情
• 目前许多 AI 产品都是'回合制'系统，这感觉'不自然'且'有点过时'

📊 文章信息