打开网易新闻 查看更多图片

新智元报道

打开网易新闻 查看更多图片

就在刚刚,Anthropic突然发帖「炫耀」了一番他们最近的反蒸馏战绩。

  • 自有平台上,蒸馏能拿走的推理数据少了约90%—99%,规模只剩原来的1/10—1/100。

  • 数万个相关账户被清退。部分账号开始蒸馏还不到两小时,就等来了封号。

打开网易新闻 查看更多图片

为了达到这个结果,Anthropic总共动用了三款「大杀器」:

1. 推理可以接着用,但不能随便转手

引入preserved thinking(保留思考)后,新API账户一旦改动此前的上下文,原来的推理就不能照常复用。不同模型还分别限制了防护较弱的旧模型接读和跨组织访问。拿着一份草稿换个地方接着套话,没那么方便了。

2. 想套完整推理,先过分类器这一关

Anthropic把Constitutional Classifiers的防护思路用到了反蒸馏上:通过两阶段分类系统,识别并拦截试图套取Claude完整推理的请求。这套方案的稳健程度,几乎和阻止Claude协助制造生物武器的防护相当。

3. 反复套话,账号和预算都要付代价

反复套话会被限流,持续尝试的关联账号会被封。想靠换号继续碰运气,也要承担封号的损失。蒸馏这类被防护系统拦在Claude回答之前的请求,也要进行收费。

可以说,为了把这批「学生」赶走,Anthropic连数万亿token的付费流量都拒了。

连草稿纸都不让抄了

对于蒸馏来说,只抄答案是远远不够的。

更关键的,是拿到Claude答题前的思维链,看它怎么拆题、怎么尝试、又怎么发现自己想错了。

打开网易新闻 查看更多图片

用完整推理和摘要分别训练模型,SWE-bench Verified成绩拉开差距

Anthropic自己做过对照实验,用Opus 4.8的对话记录训练一个预训练过的Claude模型。

在SWE-bench Verified编程测试上,学完整推理的拿到80.4%,只学摘要的只有71.8%,差了8.6个百分点。

于是,Anthropic早早把完整草稿收了起来,只给外界看推理摘要。

Claude照常认真做题,想抄作业的人只能拿到删减版。

为此,攻击者开始诱导Claude把藏起来的推理重新说一遍。

据官方披露,有实验室试过12000条请求,每一条都换一种骗法。 只要试出一种有效写法,就能拿去批量复制。

打开网易新闻 查看更多图片

独立研究展示了利用较弱模型提取较强模型推理的路径,实验早于本次防御更新

Anthropic此前记录过,一个代理网络同时管理超过2万个欺诈账号,背后还有规模更大的账号网络。

看起来是用户在排队提问,实际上是训练数据在批量生产。

大号嘴严,就去套小号的话

可把草稿藏起来,还真没那么省心。Claude做长任务时,自己也得接着读。

为了让它接着上一轮想下去,受保护的推理会被保存,再交回模型。

用户看到的是一串加密内容,负责续写的Claude却必须能看懂。

强模型嘴严,攻击者就把它留下的推理交给同一家防护较弱的模型,诱导后者复述出来。

打开网易新闻 查看更多图片

不同模型分别增加上下文、模型兼容性及组织访问限制

8月发布的一项独立研究展示过这类路径。加密算法没被破解,但秘密照样流出去,因为读过它的模型,能被哄着再讲一遍。

Anthropic只好连「谁能接着读」也管起来。

Fable 5.1和Opus 5.5引入preserved thinking,对8月31日及以后创建的API账户校验此前上下文。

前文被动过手脚,原来的受保护推理也就不能照常复用了。弱模型自然读不到结果。

到了Sonnet 5.5,推理还要认组织,只能由最初发起请求的组织接着用。

这些检查,把接力套话卡在了不同环节。囤了一堆账号,也不等于攒了一堆能接力抄作业的同学。

偷师未遂,学费照扣

不仅如此,留在同一个账号里反复套话,也开始越来越贵。

Anthropic用两阶段分类器筛查请求,把真实提取记录交给内外部红队反复测试。

攻击者找到新写法,防守方就把它补进下一轮防护。

按Anthropic的评估,这套系统的稳健程度,已与阻止Claude协助制造生物武器的防护大致相当,误报率低于0.1%。

万万没想到,为了守住解题草稿,竟然用上了这个级别的防御!

打开网易新闻 查看更多图片

官方估算,自有平台被提取的推理token在新防护上线后持续降低。图为对数刻度,朝下三角表示少到无法测量

于是,攻击者开始给请求换装,让Claude换一种语言交代推理,或把内容塞进特殊标签里,试图绕过检查。

官方已经观察到这些手法,并补上了缺口。

反复套取推理的账号,会被收紧用量;持续尝试的关联账户,会被封。光有一套能骗过模型的话术还不够,账号和预算也得扛得住。

从9月24日起,生物、蒸馏攻击和前沿大模型开发这几个低误报率类别,恢复对拦截请求收费。

请求还没等到Claude回答,就被安全系统拒绝,也要付钱。

打开网易新闻 查看更多图片

不过,系统一旦认错人,老老实实来干活的客户,也可能收到这张账单。

Anthropic承认,分类器仍会误拦正常请求,这些请求如今也可能被收费。

平台看到的是一笔拦截记录,撞上的开发者面对的却是:活没干成,钱还扣了。

打开网易新闻 查看更多图片

就算没被误拦,开发者调整系统指令、清理旧工具结果或修改工具列表,也可能让原先的推理块失效。

在官方一项多轮编程测试中,思考强度开到最高,每个会话丢一次推理块,输出token就会多20.1%。

防盗措施是加强了,但对于开发者来说,就连整理对话记录,都得留心会不会让模型重新开工……

打开网易新闻 查看更多图片

理论上,Anthropic还是愿意让Claude替你干活的。

可一旦你想让它教出自己的替代品,这位按token收费的老师,已经准备好了封号通知和账单。

参考资料:

https://www.anthropic.com/research/distillation-defenses

https://x.com/anthropicai/status/2109795898909950247

https://x.com/ClaudeDevs/status/2103170368794185758

编辑:摩西