SkillPkg Logo
大语言模型终将回报“专业能力”

大语言模型终将回报“专业能力”

Ironben/

在 2010 年代,如果你有技术盲区(比如不会写 CSS),要么得依赖懂行的同事,要么只能祈祷互联网上有人发过一模一样的解决方案。而到了今天,任何人都可以把任务交给 AI,写出“还算凑合”的 CSS。大语言模型(LLM)让每个人都变成了全栈泛才。

正因如此,许多人便以为使用 LLM 根本不需要什么技巧。不论你是想要 PhD 级别的数学推导、还算过得去但偶有瑕疵的程序代码,还是一股“领英味儿”的公文写作,直接向它提要求就行。既然大家用的都是同一个模型,那么所谓的“提示词高手”和初次接触 LLM 的小白,产出的结果似乎也没什么两样。

这种观点其实大错特错。提示词的核心精髓,恰恰在于你对所提问领域的专业认知。

陶哲轩(Terence Tao)ChatGPT 关于近期发现的 Jacobian 猜想反例的对话,就是一个极佳的例证。他用的可不是我平时聊天的那个 ChatGPT!即使给我无限的 Token 额度,我也绝不可能拿到和陶哲轩一样的讨论成果。

从陶哲轩的对话中,我们可以学到很多关于“高效提示”的经验。以下是几点观察:

  • 陶哲轩的提问简明扼要、直奔主题。 他不会逐字逐句回复模型的长篇大论,而只针对核心要义进行回应。
  • 模型的输出远比平时更精练。 当我试着用 GPT-5.6 Sol 讨论数学时,回答总是很冗长。而陶哲轩通过展现自身的专业性,直接将模型拉入了“同行学术交流”模式,而非“科普解惑”模式。
  • 当模型的回答看起来有误时,陶哲轩会予以质疑,但不会生硬地反驳; 相反,他会使用类似“这看起来比我预期的要复杂”这样的表述。
  • 陶哲轩自己会主动做出诸多推论与设想。 他几乎从不直接采纳模型给出的下一步建议。

然而,你不可能仅仅靠套用这些技巧,就能在数学问题上像陶哲轩那样去提问。他这种对话方式的精髓,本质上源自对数学本身的深刻理解:从 ChatGPT 动辄数段的回复中精准抽离出关键概念、提出替代方案或新构想,以及敏锐地察觉出哪里“不太对劲”。

陶哲轩在数学领域的造诣,远胜于我在编程领域的水平。但其中蕴含的道理——领域知识能让你更好地驾驭 LLM——也是我在自己的日常工作中切身感受到的。如果你对自己的代码库架构有清晰的认知,你就能比毫无头绪时把 LLM 推向更高的极限。因为你心中对“什么是优秀解法”有自己的判断,所以你可以明确告知它:“不,我觉得这里可以更简洁”,或者“我们不是已经实现过 X 了吗?”,抑或是“我们能否用某种熟悉的范式来表述这个问题?”

这也呼应了我之前写过的一个观点:系统设计问题往往是由具体的业务细节决定的,而不是泛泛的通用原则。通用原则当然有用,但相较于深厚但抽象的通用软件系统理论,我更倾向于对具体代码库有深度的熟悉感。在陶哲轩的对话中,他提出了大量的具体问题,比如“这里的 X 能行得通吗?”或者“基于 Y 和 Z,为什么会得出 A?”我无法对 Jacobian 猜想提出这样的问题,但我可以在我于 GitHub 所负责的系统上提出类似的质疑。

如果你完全缺乏领域知识,你可以把 LLM 当成“拐杖”,至少能帮你搞定从无到有的第一步。这本身也还不错!但如果你拥有深厚的领域知识,你就能通过强有力的主导和引导,从同一个 LLM 中榨取出成倍的价值。我们大多数人在日常生活中都会混合使用这两种模式,毕竟每个人都有自己擅长与陌生的领域。

领域知识的重要性表明:即便未来的模型变得越来越强大,人类的专业能力依然不可或缺。在许多任务中,瓶颈始终在于人类自身,而非模型本身。因为最难的部分,在于如何精准地向模型表达出人类到底想要什么样的解决方案。知识其实早就“存在于模型之中”了,但唯有足够睿智的人,才能将其完美地引导抽离出来。



原文:https://www.seangoedecke.com/llms-reward-expertise/

大语言模型终将回报“专业能力” | 技能包 SkillPkg