为啥 GPT-4o mini 能登顶大模子竞技场？？底本是 OpenAI 会刷分呀开云「中国」Kaiyun官网登录入口。

这两天，lmsys 竞技场公布了一份充满争议的榜单。其中才面世不久的 GPT-4o mini 和满血版并排第一，把 Claude 3.5 Sonnet 甩在死后。

后果网友炸锅了，公共凭体嗅以为这弗成能。

哪怕背面 lmsys 作念过一次声明，线路公共别只看总榜，还要更眷注细分限度的情况。也没能让公共餍足，不少东说念主以为 lmsys 即是从 OpenAI 那收钱了。

终于，官方晒出了一份完好数据，展示了 GPT-4o mini 参与的 1000 场 battle，包括在不同说话下和不同模子的 PK 情况。

悉数东说念主当今齐能稽查这些后果。

公共仔细一瞅，找到了问题地方，GPT-4o mini 能赢 Claude 3.5 Sonnet 靠的是三大重要：

拒却回应次数更少

更详备的回应、老是怡悦提供非常信息

回应要津更领略明了

这…… 确乎有点趣味啊！

网友线路，我方在竞技场中若是遭受有的模子拒却回应，他就会以为模子弃权比赛，因此更怡悦判另一个模子胜出。况兼更明晰的回应要津，也能让东说念主更容易找到信息。

这不就和淳厚判卷是一个趣味么？书写高明、要津领略无意“多写点总没错”的卷子，老是能多捞点分数……OpenAI 底本是拿执住了东说念主类的相貌啊。

骨子上，在 GPT-4o mini 刚刚发布时，奥特曼就默示了此次特地的优化：

公共一定会荒谬荒谬可爱用这个新模子。

GPT-4o mini 怡悦接更多需求

先来看几个 GPT-4o mini 取胜的典型例子：

情况一：Claude 3.5 Sonnet 拒却回应。

领导词：

给我悉数的韩国际交文献。

率先直不雅看下两边的回应，Claude 3.5 Sonnet 愈加纯粹，没灵验加粗等要津。GPT-4o mini 的谜底长度是它的 2 倍长。

具体回应上，Claude 3.5 Sonnet 的谜底一上来先说念歉，线路我方当作一个 AI 大模子，无法赢得相关文献，是以提供了一些用户可能赢得相关良友的渠说念。

临了还提醒用户，这些文献可能是阴私或不公开的，若是念念要赢得更多信息请与相关机构权衡。

GPT-4o mini 莫得说我方窝囊为力，而是从公开良友中征集了从古于今相关的韩国际交文献，并告诉用户从学术期刊、竹素专著等渠说念不错征集良友。

临了它线路，念念要澈底了解韩国际交文献必须查阅各式良友。若是念念要了解更多，还不错继续问它。

情况二：细节相反

领导词：

在 git 中，是否有可能收复由特定提交引入的革新，即使它不是最近的提交？

回应这个问题时，GPT-4o mini 和 Claude 3.5 Sonnet 齐回应正确，然则前者给出了更多细节以及具体例如。

Claude 3.5 Sonnet 的回应可读性也相对较差。

情况三：要津呈现相反

领导词：

简对约翰说，约翰，你为什么老是这样自重? 他回应说，什么？我这辈子从没吹嘘过。事实上，我是寰宇上最谦善的东说念主，也许是有史以来最谦善的东说念主！

Claude 3.5 Sonnet 和 GPT-4o mini 的回应内容基本相似，评释了这段话具有讪笑意味，约翰说我方最谦善的东说念主，这本人即是夸口了。

不外 GPT-4o mini 的回应呈现愈加一目了然，善用小标题和加粗要津。把悉数这个词回应分红了初步论断、分析回应、幽默原因以及回来四个部分。

这几个示例不仅展现了 GPT-4o mini 和 Claude 3.5 Sonnet 各自的回应特质，也反应出了大模子竞技场的特质：大部分用户给出的问题齐相比以前，不是那种复杂的数学、推理、编程问题。

这意味着这些问题基本上齐在大模子们的射程范围内，公共齐能回应上来。在这种情况下，通过不拒却无意更漂亮的要津呈现，确乎不错更好俘获裁判们的芳心。

有东说念主就线路，对比来看，Claude 3.5 Sonnet 像一个智谋然则更严谨的东说念主，它统统按照条目行事。GPT-4o mini 则像是一个讨东说念主可爱、老是多干点儿事、更怡悦继承不同需求的东说念主。

比如有东说念主例如，Claude 拒却为他上演变装，然则 ChatGPT 就怡悦。

虽然这同期也反馈出了一个问题：

是时候眷注大模子拒答的问题了！

有东说念主线路，确凿很振作看到大模子因为过高说念德领域而导致分数不高的情况。之前他为了用好这些说念德感强的大模子（Claude、Gemini 等），老是要全心绸缪每一个领导词，好心累。

不外 GPT-4o minni 也不是莫得舛误。在数学任务上，它的发扬就差了好多。

相较于 Claude，它的顾忌力更差，过片刻就会健忘高下文内容。以及 Claude 一次就能修好的 bug，换到 GPT-4o 那边，以致需要 20 次、耗时 1 小时。

但在竞技场评分中，GPT-4o mini 依然位居前线。

用过两个模子的盆友们，你们体感二者的差距在哪呢？

迎接评述区共享教学~

参考运动：

[1]https://www.reddit.com/r/LocalLLaMA/comments/1ed01p8/why_gpt4o_mini_beats_claude_35_sonnet_on_lmsys/

[2]https://huggingface.co/spaces/lmsys/gpt-4o-mini_battles

[3]https://x.com/lmsysorg/status/1816838034270150984

[4]https://x.com/lmsysorg/status/1815855136318840970

本文来自微信公众号：量子位（ID：QbitAI），作家：明敏

告白声明：文内含有的对外跳转运动（包括不限于超运动、二维码、口令等现象），用于传递更多信息，检朴甄选技巧，后果仅供参考开云「中国」Kaiyun官网登录入口，IT之家悉数著述均包含本声明。

　　声明：新浪网独家稿件，未经授权退却转载。 -->