8 月 14 日消息，谷歌上周发布最强 Gemini 1.5 Pro 模型，在 LMSYS 的聊天机器人竞技场（Chatbot Arena）比赛中取得第一名，而 OpenAI 迅速“找回场子”，最新 chatgpt-4o-latest 模型重夺第一。
chatgpt-4o-latest 简介
OpenAI 公司上周发布了 gpt-4o-2024-08-06，其 API 支持结构化输出；昨日再次发布了名为 chatgpt-4o-latest 的全新前沿模型，是 GPT-4o 的最新版本，上下文窗口输入最高 128000 个词元（tokens），输出最高 16384 个词元。
LMSYS 的聊天机器人竞技场简介
Chatbot Arena 由伯克利大学主导团队 LMSYS Org 近日发布了一个针对大语言模型的基准平台 Chatbot Arena。
该平台采用匿名、随机的方式让不同的大模型产品进行对抗评测，基于国际象棋等竞技游戏中广泛使用的埃洛等级分系统，通过用户投票产生，系统每次会随机选择两个不同的大模型机器人和用户聊天，并让用户在匿名的情况下选择哪款大模型产品的表现更好一些。
最后系统根据用户的选择判定大模型产品的积分，以排行榜的形式出现在首页中。
chatgpt-4o-latest 最新成绩
谷歌的实验性 Gemini 1.5 Pro 模型上周以 1297 分的成绩夺得第一名，这是谷歌首次登顶 LMSYS 的聊天机器人竞技场。
OpenAI 凭借新的 chatgpt-4o-latest 模型，以 1314 分的最高分夺回了竞技场第一名的宝座。
得分显示，新版 ChatGPT-4o 在编码、指令遵循和硬提示方面都有显著提高，附上相关成绩如下：
-
总成绩：第一名
-
数学：#1-2
-
编程：第一名
-
艰难提示词（Hard Prompts）：第一名
-
指令跟随（Instruction Following）：第一名
-
长提问（Longer Query）：第一名
-
Multi-Turn：第一名