Research

前言:其实我一直比较懒,不太想更新我们最近在做什么。但三年过去了,很多理念都变了,想想还是更新一下,也方便大家更了解我们。

这三年里我们慢慢想明白了一件事:比“怎么把软件测好”更根本的,是“什么才算对”。三年前我们还只想着前者;而现在,思来想去,我们课题组的追求,就是对现实软件的“正确性”的不断刻画。说白了,就是把“什么算对”想清楚、讲明白。

那,什么是正确?通常的答案是:满足规约(Specification)。所谓“正确”,就是实现和规约对得上。这答案当然没错,但就是无趣。在现在这个时代,这个无趣的答案又添了一层尴尬:你当然可以让 AI 撸一个软件的规约出来,哪怕再复杂、再庞大,对大模型(LLM)而言也不过是多费点注意力的事。可规约是干什么用的?是给人对照的:程序员照着它实现,测试员照着它判断对错。一个没人看得懂的规约,那还是有用的规约吗?

所以,能被人理解的规约才是好的规约。它至少让我能确认“这软件到底满不满足我的需求”。用现在时髦的话说,这就是所谓的“对齐”。当然,我们的需求不一定对,也可能会变,但这不重要,重要的是把需求刻画得清楚、准确,让人能看懂,也让AI能看懂。需求刻画清楚了,“要实现什么”就有了着落,而“怎么实现”,在这个时代早就不用我们操心了。说到底,软件必须能够让我信任它真的实现了所要的东西。

想清楚了“什么算对”,接下来就得追问“什么算错”:故障到底该怎么定义。坦白说,我觉得以前的看法太窄了:它默认故障就藏在某几条语句里。这个假设在故障定位、程序修复里都很常见。我自己就是做 SBFL(Spectrum-Based Fault Localization,基于频谱的故障定位)的,先检讨一下自己。按照以往的定义,只要把这几句找出来、改对,程序就对了。我觉得,这可能算不上一个正确的定义。满足同一个规约的正确实现可以有无穷多个,这很自然,最简单的证明是:你总可以往程序里加任意多条死代码。说不定你揪出来的那几条“错语句”,正躺在某个正确版本里呢。所以,故障到底该如何刻画,我们到现在也在探索。

好了,大方向说完了。那这几年我们具体在做什么呢?说出来有点不好意思:方法学这条路,学术界早就不太关心了,估计从我念博士那会儿起就已经“路边一条”,只是我自己一直没抬头看看世界,还以为是能继续做的方向。所以这几年,我索性把力气花在更实用的技术上,直接扎进真实的软件里去。

其中一项是编译器。这东西天然关乎正确性:它干的活,就是在保证程序行为不变的前提下做优化和翻译,而“变换前后行为一致”,就是编译器要守住的正确性。我们的切入点还是测试。不过进来之后才发现这是个坑:做的人实在太多了。我们做了一些“独辟蹊径”的探索,但目前的麻烦是,发现 bug 的效率一直上不去。这条线已经投入了好几年,效率再提不上来,这些投入可就要打水漂了。

跟编译器测试绑得很紧的还有程序约简(Program Reduction)。测出 failure 只是第一步,接下来得靠这个测试程序去定位编译器的 bug;可 fuzzing 出来的测试程序往往是一大坨,根本没法下手。于是就有了程序约简:把它缩到最小还能触发 failure 的规模。现在看代码的不光是人,还有大模型,顺手给它省点 token 也是好的。目前我们探索了好几条路线:有的关注约简的性能,有的关注约简自身的正确性:可别把 bug 约没了。

除了编译器,“正确性”这把锤子还落在了不少别的软件上:虚幻引擎、浏览器引擎、网络协议、静态分析器。我渐渐懂了同事当年的那句话:手里有把锤子,看什么都像钉子。不过具体到每一颗钉子,我们都是认真对待的。毕竟要做一流的测试,对待测软件了解不深,还谈什么一流?这大概是这几年最大的认知转变。

除了这些,我们还在做 agent 的行为评估。这件事也关乎正确性,只是它和我们熟悉的正确性太不一样了:你甚至没法精确描述什么叫“对”。比如一个 agent 没法很好地模仿人的思维和语气,那“模仿得好”到底是什么呢?对吧,没法描述,只能感受。是的,我越来越觉得,我的未来(以及大部分人的未来)可能真的要做人文学科的研究了。文科艺术类大胜利!

扯远了。方法学似乎不是这个时代的中心,但我不想太早妥协。我和组里的博士生、硕士生还在探索一些东西,比如超越 metamorphic testing 的 Oracle 技术,比如在正确性之上再做一点东西,比如能否尽量保持正确性下的某种优化。希望我们能把这些有意思的东西做出来,和大家分享。


这个页面三年前(2023 年)的版本已归档,想看的话可以点这里。