昨晚 11 点，Google 发布原生多模态大模型Gemini，最强 Ultra 模型达到 GPT-4 水平，多模态能力超过 GPT-4V。这是我们在 OpenAI 发布一年内第一次看到有可以比肩 GPT 的模型。Google 来了，带着更强的用户积累和产品生态。本文带来 Gemini 的介绍、 Google 与 OpenAI 的对比思考。
OpenAI 用户是否会转向谷歌？短期 OpenAI 仍具优势，长期来看谷歌具备的海量用户和产品生态将会成为强大势能。相比 OpenAI，谷歌积累了海量的 PC 和手机端用户，拥有海量实时数据（而 OpenAI 的数据依赖互联网，包括谷歌），并通过在用户手机集成 GPT 提供如地铁导航方面而拥有大量用户信息。下一步，谷歌需要验证其在搜索引擎以外，在日常应用中提供的强大 Copilot 体验。压力给到了 OpenAI，补齐产品生态。
背景
OpenAI 的月用户数从 5 月开始下降，10 月出现回升达到 17 亿。对比 Google 的搜索引擎 Bard 的用户数在 2.6 亿。在这次 Google 推出 Gemini 并集成到 Bard 之后，我们会继续跟进 Bard 的后续。
AI 产品分析
Gemini 是包括 Google Research 在内的 Google 各团队间进行广泛合作的成果。它从一开始就被创建为多模态的模型，这意味着它可以归纳并流畅地理解、操作以及组合不同类型的信息，包括文本、代码、音频、图像和视频。
Gemini 也是谷歌迄今为止最灵活的模型，从数据中心到移动设备，它能够在所有设备上高效运行。其先进的功能将显著改善开发者和企业客户通过 AI 构建和扩展的方式。
第一个版本 Gemini 1.0 针对不同尺寸进行了优化，分别是：Ultra、Pro 和 Nano；可以解读为Ultra 对标 GPT4，Pro 对标 GPT3.5 ，且 Ultra 不输 GPT4，Pro 大幅超越 3.5。
目前只有 Gemini Pro 可以在 Bard 测试，但 Bard 目前还未进行实质性更新，只提供文本处理能力，缺乏多模态功能，且还没有提供API接口。因此，谷歌的演示视频所展示的功能目前无法体验。
一、性能
从自然图像、音频和视频理解到数学推理，在被大型语言模型（LLM）研究和开发中广泛使用的 32 项学术基准中，Gemini Ultra 的性能有 30 项都超过了目前最先进的水平。
Gemini Ultra 的得分率为 90.0%，是第一个在 MMLU（大规模多任务语言理解）测试中超过人类专家的模型，MMLU 综合使用了数学、物理、历史、法律、医学和伦理等 57 个科目，用于测试世界知识和解决问题的能力。
针对 MMLU，新的基准测试方法让 Gemini 能够利用其推理能力在回答困难问题之前更加仔细地思考，从而比仅凭第一印象就直接回答问题有显著的改善。
在新的 MMMU 基准测试中，Gemini Ultra 也取得了得分率为 59.4% 的优异成绩，该基准测试由横跨不同领域、需要仔细推理的多模态任务组成。
谷歌在图像基准测试中，Gemini Ultra 在不使用对象字符识别（OCR）系统来提取图像中的文本进行下一步处理的情况下，表现优于以前最好的模型。这些基准测试凸显了 Gemini 的原生多模态性，并显示出了 Gemini 具有更复杂推理能力的潜力。
二、能力
到目前为止，创建多模态模型的标准方法是分别训练不同模态的组件，然后将它们拼接在一起，以粗略模拟某些功能。这些模型有时可以很好地完成描述图像等特定任务，但在概念性更强、更复杂的推理方面却显得力不从心。
谷歌将 Gemini 设计为原生多模态，从一开始就在不同模态上进行预训练。然后，谷歌利用额外的多模态数据对其进行微调，以进一步提高其有效性。这有助于 Gemini 从最初阶段就能对输入的各种内容顺畅地进行理解和推理，远远优于现有的多模态模型，其能力几乎各个领域都是最先进的。
1. 复杂的推理
2. 理解文本、图像、音频及更多
3. 高级编码能力
谷歌的第一代 Gemini 可以理解、解释和生成世界上最流行的编程语言（如 Python、Java、C++ 和 Go）的高质量代码。它能够跨语言工作并对复杂信息进行推理，这些能力使其成为世界领先的编码基础模型之一。
Gemini Ultra 在多个编码基准测试中表现出色，包括 HumanEval（用于评估编码任务性能的重要行业标准）和 Natural2Code（谷歌内部的留出数据集），该数据集使用作者生成的信息作为来源，而不是基于网络的信息。
Gemini 还可用作更高级编码系统的引擎。两年前，谷歌展示了 AlphaCode，它是第一个在编程竞赛中性能达到竞赛水平的 AI 代码生成系统。
谷歌利用一个专门版本的 Gemini，创建了更先进的代码生成系统 AlphaCode 2，该系统擅长解决那些不仅需要编码能力而且也需要复杂数学和理论计算机科学知识的竞赛性编程问题。
在与最初的 AlphaCode 在同一个平台上进行评估时，AlphaCode 2 表现出了巨大的改进。它解决的问题数量几乎是 AlphaCode 的两倍，谷歌预计它的性能超过 85% 的参赛者，比 AlphaCode 高出将近 50%。当程序员与 AlphaCode 2 合作，为示例代码定义某些属性时，它的表现甚至更好。
三、生态
1. Google 产品中的 Gemini Pro
谷歌通过 Google 的产品将 Gemini 带给数十亿人。从今天开始，Bard 将使用 Gemini Pro 的微调版本来进行更高级的推理、规划和理解等。这是 Bard 自推出以来最大的升级。它将在 170 多个国家和地区提供英语服务，并且谷歌计划在未来几个月内扩展不同的模态，并支持新的语言和地区。
谷歌还在 Pixel 上使用 Gemini。Pixel 8 Pro 是首款搭载 Gemini Nano 的智能手机，它可以支持录音应用中的“总结”等新功能，并在 Gboard 中推出“智能回复”功能，从 WhatsApp 开始，明年还将推出更多信息应用。
未来几个月，Gemini 将应用于谷歌更多的产品和服务，如 Search、Ads、Chrome 和 Duet AI。
谷歌已经开始在 Search 中试验 Gemini，它能够为用户提供更快的搜索生成体验（SGE），用户在美国的英语搜索延迟降低了 40%，同时在质量方面也有所提高。
2. 用 Gemini 打造产品
从 12 月 13 日开始，开发者和企业客户可以通过 Google AI Studio 或 Google Cloud Vertex AI 中的 Gemini API 获取 Gemini Pro。
Google AI Studio 是一款基于网络的免费开发者工具，可使用 API 密钥快速创建原型并启动应用程序。当需要一个完全托管的 AI 平台时，Vertex AI 允许对 Gemini 进行定制，提供全面的数据控制，并受益于 Google Cloud 功能，实现企业安全性、保密性、隐私性以及数据治理和合规性。
Android 开发者还可以通过 AICore 使用谷歌端侧任务最高效的模型 Gemini Nano。AICore 是 Android 14 中的一项新的系统功能，从 Pixel 8 Pro 设备开始支持。注册获得 AICore 预览。
3. 期待 Gemini Ultra
就 Gemini Ultra 而言，谷歌目前正在完成大规模的信任和安全检查，包括由可信赖的外部团队进行红队测试，并在其被广泛使用前通过微调和人类反馈强化学习（RLHF）进一步完善模型。
在模型的完善过程中，谷歌将向部分客户、开发者、合作伙伴以及安全和责任专家提供 Gemini Ultra，以供其进行早期试验和提供反馈。随后，在明年初谷歌将向开发者和企业客户提供该模型。
明年年初，谷歌还将推出 Bard Advanced，这是一种全新的、前沿的 AI 体验，让用户可以从 Gemini Ultra 开始使用谷歌最佳的模型和功能。
参考材料
https://blog.google/technology/ai/google-gemini-ai/
