有人拿 AI 干这些事

这是一份自曝式的报告：一家模型厂商把自己平台上被抓到的恶意用法摊开来讲，包括那些安全措施没拦住的部分。读下来最强的印象不是「AI 发明了新的攻击手法」，而是攻击的经济账被改写了——过去需要一个团队几个月的事，现在一个人几个小时就能做完。报告里反复出现的一句话是：能力的扩散已经让「谁干的」不再能从技术水平上判断，只能从意图上判断。

先看五条结论

1. 高水平攻击不再需要高水平攻击者。一个用偷来的 API key 干活的黑客、一伙各自为战的诈骗犯、一个国家级间谍小组，三者跑出来的方法论几乎一样：多智能体框架同时打多个受害者，一个人处理过去要一支队伍才能处理的数据量。
2. 攻防成本第一次反过来了。过去防守方出一条新检测规则，攻击者就要重写工具，这是给对方加成本。俄罗斯那组人让 AI 盯着自己的恶意软件有没有被杀软认出来，一旦被认出就自动改写重编译，直到重新隐身——防守方加的成本被当场抹平。
3. 被偷的 AI 凭证成了新硬通货。攻击者拿到别人的 API key，一次得到三样东西：可以转卖的赃物、由受害者付账的算力、以及记在受害者头上的身份。有个组织整整一个月的攻击全跑在偷来的 key 上。
4. 自主程度和危害程度是两条轴。最自主的行动不一定最有破坏力；报告里最严重的几起入侵反而是人一步步盯着做的。自主性压的是成本和门槛，不是上限。
5. 模型确实拒绝过，而且拒绝得有规律。它挡住了明着来的那些请求，挡不住拆碎了的、包装成正当科研的、以及分散在几百个会话里的。这一点单独有一节。

全部 39 组：危险与离奇的分布

横轴是离奇程度，纵轴是危险程度，两个分都是我按下面的口径打的，主观。颜色分三类：打机器的、打人的、打物理世界的。点上去（手机点一下）看详情。

同分的点做了轻微散开以免重叠，位置的细微偏移不代表分数差异。完整数值见下方表格。横轴只从 7 起：报告自己说了，收进去的本来就不是典型滥用，而是最值得讲的案例，所以这批样本里没有「不离奇」的。
危险＝对真实世界的伤害有多重、以及已经推进到哪一步（不是理论潜力）。离奇＝反差、荒诞、细节出人意料，以及对理解这个时代有多少启发。

两张榜

全表（点表头排序）

默认按两项之和从高到低。点表头可以升降序切换；窄屏下用这排按钮排序，并且只显示行动、危险、离奇、合计四列。

逐个说

按三个大类分组，组内按合计分从高到低。

模型拒绝过什么，没拦住什么

报告里有相当多篇幅在讲安全措施的失败，这比讲成功更有价值。把散落各处的记录归到一起，形状很清楚：

拦住了的

• 中非共和国那个操作者要求点名真实人物、说他们是武装分子，好让安全部门去抓人——模型拒绝，对方改成了「匿名消息源」的写法。
• 马来西亚选举平台要做的伪造档案，模型识别出那是政治诽谤材料并拒绝；对方转而协商出「消过毒」的措辞继续推进同一个能力。
• 针对叙利亚维吾尔人的那起招募行动里，秘密审讯和大规模养号的请求被拒。
• 伊朗那个做钓鱼页和投毒页的行动，十个明着来的恶意请求里模型拒了九个。
• 智谱想蒸馏 Fable 的网络安全能力，被安全措施磨到放弃，转去打防护更弱的模型。
• H5 禽流感那位研究者被分类器整个挡在强模型之外，全程只能用最弱的一档，最后得到的帮助基本停留在文书和数据整理。

没拦住的

• 拆碎了就能过。做钓鱼工具那位把项目拆成一个个看上去无害的网页开发请求，分散到之后的小会话里，通过率明显变高。也门那个武器小组同样是刻意把工作切开，让任何单个会话都看不出全貌。
• 换个问法就能过。警官学院那位的周报请求被拒了一次，重新提问之后，模型输出了点名 10 位普通公民的处置建议。
• 包装成正当科研就能过。毒素和毒液那两例基本没被拦——因为拦「已知生物武器」的分类器，本来就拦不住「既能做药也能做毒」的新化合物研究。报告自己的结论是：分类器不可能同时做到放行有益用途和拦住有害用途，这类能力只能走可信用户机制。
• 看不出是坏事的就能过。俄罗斯那位采购经理的每一条请求单独看都平平无奇：询价邮件、招标文件、找供应商。危险只存在于这些请求的总和里。
• 什么都没触发的。中国那个国安局的日报流程跨很多会话一路顺畅，没有任何一次干预。报告直说了：「我们现有的安全措施在这些案例里表现并不一致。」
• 最讽刺的一条。那个把敏感请求转发给更宽松竞品模型的兜底路由，代码是 Claude 写的——当时的说法是在缓解「过度拒绝」。

五个贯穿全报告的模式

1. AI 顶替的是工程团队，不是黑客。马里那个平台是一个顾问做的，覆盖全国 2500 万张 SIM 卡。也门那个小组同时开几个实例，一个写代码一个查资料一个审代码。中国那个宗教事务情报台，过去要好几个分析组，现在一间办公室一个月出几千份调研。
2. 持久记忆文件成了行动的主体。好几起行动已经不靠单条提示词了：教义手册、禁用词表、认可来源清单、规避规则，全写进长期记忆文件里反复复用几百个会话。有个网络里的人彼此根本不认识，靠共享的记忆文件保持步调一致。
3. 洗来源是影响力行动的核心技术。剥掉国家媒体署名再转发、让同一条消息在几家媒体之间转一圈变成「独立证实」、给国家叙事配虚构记者的署名。有一次模型标注了某些说法未经证实，作者直接让它把限定语去掉，按已确认的事实写。
4. AI 供应链本身成了攻击目标。有人专门打 AI 厂商，为的是拿生产 key；有人做假的转售站，卖「便宜 Claude」实际转发给别的模型并偷走你的账号；有人往评测沙箱里注入指令让它交出手里的凭证。还有一个人的明确目标是拿到未发布的模型，十几条路径全部失败。
5. 最广的真实触达来自传统渠道。绝大多数假账号网络其实没碰到几个真人。真正传出去的，是那些本来就有发行渠道的：中非共和国的调频电台、俄罗斯国家电视台的字幕条、Sputnik 的地区频道。假号很多，但广播才是扩音器。

跟你有什么关系

• 你的 AI API key 现在等同于生产凭证。报告里每一把被滥用的 key 都是从客户自己的环境里泄出去的：应用安装包里、代码仓库里、容器镜像里、前端代码里。有人专门下载全网安卓安装包扫密钥，180 万个起步。
• 别贪便宜的第三方转售。「打折的前沿模型」通常意味着你的流量和凭证要经过一个不认识的中间人。报告里的假转售站不但把你的请求转给了别的模型，还顺手装了凭证窃取器，并且在你重置之后继续偷新的会话。
• 用国产模型时，你的数据未必留在你以为的地方。报告点名 DeepSeek、Moonshot、小米把用户请求转发给了 Claude，其中包括企业内部代码、可用凭证、公安系统开发内容。这些用户没有被告知。
• agent 集成是攻击面。沙箱、代理层、转售中间件、你自己搭的 LiteLLM，都被当成入口打过。提示注入不是理论问题，已经有人靠它拿到了生产密钥。