NeurIPS 2025 - Google代码高尔夫锦标赛
概述
在本竞赛中,您将使用尽可能少的字符开发程序来解决各种任务(均来自ARC-AGI基准套件),顶级团队的简洁实现可能成为该开创性数据集的典范参考解决方案。
描述
尽管最先进的AI系统展示了令人瞩目的进步,但它们在遇到训练之外的新问题时仍然存在困难。这种限制通过François Chollet的ARC-AGI基准套件(以及随后的ARC Prize 2024和ARC Prize 2025竞赛)得到了突出,其中每个任务都呈现为一系列<输入,输出>网格,展示了某种特定的转换。所有任务都可以在arcprize.org/play上玩——例如,访问以下链接:
https://arcprize.org/play?task=543a7ed5
在本竞赛中,您将面对公开训练集(v1)中的所有400个任务,并挑战为每个任务编写一个展示所需行为的Python 3程序。这些程序不仅必须功能正确,而且(作为一个额外的转折点)应尽可能简单。一组强调鲁棒性和简洁性的简洁源代码可能成为该开创性数据集的典范参考解决方案,并且——一旦开源给更广泛的研究社区——可能有助于开发更通用的AI系统。
例如,考虑以下(假设的)任务#000:
您的.zip提交可能包括一个名为task000.py的文件,其中包含以下150字符程序:
def p(g):
for r, row in enumerate(g):
for c, color in enumerate(row):
if r and c and color==5 and g[r-1][c-1] not in [0,5]: g[r][c]=0
return g
content\_copy
约束
每个解决方案文件必须完全自包含(即,不应从您的提交目录中的任何相邻文件导入代码)。此外,所有导入都限于Python标准库中的导入——不遵守这些限制的程序将失败被取消资格。
注意:一些这些约束尚未完全执行,但所有都将对寻求获奖资格的团队执行。 安全约束已部署。
(更新于8月19日)。
评估
对于ARC-AGI公开训练v1基准套件中的每个400个任务,您的团队将根据使用length字符(或更具体地说,字节)的功能正确程序获得max(1, 2500 - length)的分数。每个功能错误的程序——例如,无法编译或对于某些<输入,输出>对失败——将获得0.001分。这样,您就可以仅从您的总分数中检测到总的失败次数。
提交文件
您必须提交一个名为submission.zip的文件,其中每个任务最多包含一个Python文件:
task001.py
task002.py
....
task400.py
content\_copy
奖项
总奖金:$100,000
第一名:$30,000
第二名:$20,000
第三名:$10,000
第四名:$5,000
第五名:$5,000
第六名:$5,000
第七名:$5,000
第八名:$5,000
第九名:$5,000
第十名:$5,000
“最长领先者”——$5,000,授予在2025年7月31日至10月30日11:59 PM UTC期间在排行榜上保持第一名的团队。如果比赛需要重新启动,最长领先者奖的日期将是比赛的新开始和截止日期。
时间表
2025年7月31日 - 开始日期
2025年10月23日 - 报名截止日期。您必须在截止日期之前接受比赛规则才能参赛。
2025年10月23日 - 团队合并截止日期。这是参与者可以加入或合并团队的最后一天。
2025年10月30日 - 最终提交截止日期。
所有截止日期均为当天晚上11:59 PM UTC,除非另有说明。比赛组织者保留在认为必要时更新比赛时间表的权利。
NeurIPS 2025
本竞赛是NeurIPS 2025竞赛轨道的一部分。竞赛的前瞻性提交将被邀请在加利福尼亚州圣地亚哥的会议期间进行特别会议的演讲。参加研讨会不是参赛的必要条件;然而,只有参加特别会议的团队将被考虑展示他们的工作。
亲自出席的与会者负责与NeurIPS 2025相关的所有旅行、费用和费用。
前三名获奖团队的成员将被邀请与比赛组织者合作,提交给PMLR的竞赛回顾。
其他资源
arcprize.org — 了解更多关于ARC Prize Foundation及其加速通用人工智能(AGI)发展的使命
code.golf — 通过使用最少的字符解决其他编程挑战来练习您的代码技能
引用
Michael D. Moffitt, Divy Thakkar, Ryan Burnell, Orhan Firat, Walter Reade, Sohier Dane, and Addison Howard. NeurIPS 2025 - Google Code Golf Championship. https://kaggle.com/competitions/google-code-golf-2025, 2025. Kaggle.
引用