调了几个月 GPT-2，AI 一晚上就找出人类疏忽的要害细节

3 月 22 日消息，据 The-decoder 报道，特斯拉人工智能和 Autopilot 原负责人安德里杰 · 卡尔帕西（Andrej Karpathy）花了数月时间手动调试他的 GPT‑2 训练装备。随后，他让一个自主智能体接管了只是一个晚上，这个智能体就找到了卡尔帕西疏忽的精细调优参数，这些微调项之间还存在相互作用，人类很简单遗漏，但对体系性查找而言却一望而知。

卡尔帕西从中得出的结论是：研究人员应该把自己从流程中抽离出来，至少在存在客观指标的领域是如此。

“想要充分利用现在已有的东西，你有必要把自己这个瓶颈去掉。你不能一直待在那里，去提示下一步该做什么。”他说。

他以为，各大 AI 实验室的研究者对自己的直觉赋予了太多毫无根据的信赖，而终，他们正在体系性地把自己的作业自动化掉。卡尔帕西指出，这其实也正是他们公开宣称的方针。

尽管模型在编程和其他简单验证的任务上不断进步，但卡尔帕西以为，这些发展无法顺畅迁移到更难量化的领域。