首個AI Kaggle特級大師誕生，OpenAI的o1-preview奪7金封王
2024-10-13 01:34:59 5
IT之家 10 月 12 日訊息，科技媒體 The Decoder 昨日（10 月 11 日）釋出博文，報道稱 OpenAI 公司推出 MLE-bench 新基準，旨在評估 AI 智慧體在開發機器學習解決方案方面的能力。
該基準包括 75 個 Kaggle 競賽，旨在衡量自主 AI 系統在機器學習工程中的進展。這些競賽涵蓋了多個領域，包括自然語言處理、計算機視覺和訊號處理等等。
IT之家注：Kaggle 是一個非常受歡迎的平臺，專注於資料科學和機器學習的線上比賽。Kaggle 提供各種型別的比賽，包括資料預測、影象分類、自然語言處理等，適合不同技能水平的參與者。
在 Kaggle 的進階系統中，“Novice”（新手）、“Contributor”（貢獻者）、“Expert”（專家）、“Master”（大師）和 "Grandmaster"（特級大師）是不同的績效層級，用於衡量和識別資料科學家在 Kaggle 平臺上的技能水平和成就。
許多工具有現實世界的應用，例如預測 COVID-19 mRNA 疫苗降解或解碼古代卷軸等。
MLE-bench 專注於兩個關鍵領域：
選擇具有挑戰性的任務：這些任務代表了當前機器學習的發展水平。
比較 AI 與人類的表現：透過對比，評估 AI 在特定任務中的能力。
OpenAI 在 MLE-bench 上測試了多個 AI 模型和智慧體框架，使用 AIDE 框架的 o1-preview 模型表現最佳，在 16.9% 的比賽中至少獲得了一枚銅牌，該結果超越了 Anthropic 的 Claude 3.5 Sonnet。
獲得 5 金即可評上 "Grandmaster" 特級大師，而 o1-preview 模型在 MLE-bench 測試中獲得了 7 枚金牌。
OpenAI 承認 MLE-bench 也有侷限性，並未涵蓋 AI 研究與開發的所有方面，主要集中在具有明確問題和簡單評估指標的任務上。
MLE-bench 基準現已在 GitHub 上釋出，OpenAI 希望透過這一工具，推動 AI 在機器學習領域的進一步發展。
本站內容由互聯網用戶自發貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。如發現本站有涉嫌抄襲侵權/違法違規的內容,請發送郵件至舉報，壹經查實，本站將立刻刪除。