GoogleGemini 1.5技術報告：輕鬆證明奧數題，Flash版比GPT-4 Turbo快5倍

今年 2 月，Google上線了多模態大模型 Gemini1.5，透過工程和基礎設施最佳化、MoE 架構等策略大幅提升了效能和速度。擁有更長的上下文，更強推理能力，可以更好地處理跨模態內容。

本週五，Google DeepMind 正式發布了 Gemini 1.5 的技術報告，內容涵蓋 Flash 版等最近升級，該文件長達 153 頁。

技術報告連結：https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf

#在本報告中，Google介紹了Gemini 1.5 系列模型。它是代表了下一代高計算效率的多模態大模型，能夠從數百萬 token 上下文中調用細粒度資訊並進行推理，包括多個長文檔、數小時的視訊。 Gemini 1.5 系列模型具備多種語言和視覺推理能力，令其在自然語言處理和電腦視覺領域有廣泛的應用。該模型能夠從文本中提取關鍵資訊並進行推理，以及對多個長文檔進行綜合分析。此外，它還支援處理大量的視覺數據，並能夠在數小時

該系列包括兩個新型號：

1. 更新的Gemini 1.5 Pro，大部分功能和基準都超過了2 月份的版本
2. Gemini 1.5 Flash，一種更輕量級的變體，專為提高效率而設計，且在性能方面的減益很小。

關於本週GoogleI/O 大會上提到的Flash 版，報告中表示，Gemini 1.5 Flash 是一個Transformer 解碼器模型，具有與Gemini 1.5 Pro 相同的2M+ 上下文和多模態功能。既能有效利用張量處理單元 (TPU)，並具有較低的模型服務延遲。例如，Gemini 1.5 Flash 可以並行運算注意力力和前饋分量，並且也是擁有更大網路線上擷取能力的 Gemini 1.5 Pro 模型。它使用高階預處理方法進行訓練以提高品質。

報告評估了從 Gemini 1.5 和 Vertex AI 串流 API 中取得的英文、中文、日文和法文查詢的每個輸出字元的平均時間。

英文、中文、日文和法文回應的每個輸出字元的時間（毫秒），在輸入1 萬個字元的情況下， Gemini 1.5 Flash 在所有測試的語言中實現了最快生成速度。

Gemini 1.5 Pro、1.5 Flash 和 Gemini 1.0 模型在標準編碼、多語言以及數學、科學和推理基準上的評估結果。 1.5 Pro 和 1.5 Flash 的所有數字都是在指令調整後獲得的。

Gemini 1.5 Pro 與 Gemini 1.0 Pro 和 Ultra 在影片理解基準上的比較。

Gemini 1.5 Pro 與 USM、Whisper、Gemini 1.0 Pro 和 Gemini 1.0 Ultra 在音訊理解任務上的比較。

Gemini 1.5 模型在跨模態的長上下文檢索任務上實現了近乎完美的召回，提高了長文檔QA、長視頻QA 和長上下文ASR 的最優水平，並匹配或超越Gemini 1.0 Ultra 在一系列廣泛的基準測試中表現出最先進的性能。此外，Google也表示，到今年 5 月，Gemini 1.5 的效能相比 2 月已有明顯提升。

Gemini 1.5 Pro（5 月）與初始版本（2 月）在多個基準測試中的比較。最新的 Gemini 1.5 Pro 在所有推理、編碼、視覺和視訊基準測試中進行了改進，而音訊和翻譯性能保持不變。注意，對於 FLEURS，分數越低越好。

Google DeepMind 副總裁，Gemini 專案聯合負責人 Oriol Vinyals 總結道，Gemini 1.5 Pro > 1.0 Ultra、1.5 Flash（目前最快型號） ~= 1.0 Ultra。

透過研究Gemini 1.5 的長上下文能力的極限，我們可以看到在下一個token 預測和近乎完美的檢索（>99% ）方面持續改進。相比 Claude 3.0 (200k) 和 GPT-4 Turbo (128k) 等現有模型實現了一代的飛躍。

在報告的第七章節，Google介紹了Gemini 1.5 Pro 數學增強版本的跑分，它在競賽級數學問題上表現出色，包括在未使用工具的情況下在Hendryck 的MATH 基準測試中取得了91.1% 的突破級效能。

以下是該模型解決亞太數學奧林匹克（APMO）題目的一些範例，這些問題是先前模型顯然無法解決的。 Oriol Vinyals 表示，這個回答相當棒，因為它是一個證明（而不是計算），解決方案切中要害，而且「很漂亮」。

最後，Google重點介紹了大模型在現實世界的用例，例如Gemini 1.5 與專業人士合作完成任務並實現目標，在10在不同的工作類別中可節省26-75% 的時間。

這個前沿大語言模型也展現出了一些令人驚訝的新功能。當給定 Kalamang（一種巴布亞新幾內亞西部不到 200 人使用的語言）的語法手冊時，該模型可以學會將英語翻譯成 Kalamang，與從相同內容中學習的人類處於相似的水平。