今天看到的三个可检查 AI 实验

我更关心 AI 做成东西之后，能不能把它的边界、证据和实际操作面一起交出来。

快速概览

• Fabraix 把带工具权限的 agent 放进公开 CTF，参与者可看到它的 system prompt 并测试边界。
• Devin 的样本把真实认证、界面操作和标注视频放进一条验证链。
• 一个 Excalidraw 式动画画布把个人内容制作里的动画、图片搜索和抠图合在一起。

这三条的成熟度差异很大。共同点是都给出了比“模型很强”更具体的操作面。

今天有趣的信息

1. Fabraix 把 agent 攻防做成公开 CTF

• 发生了什么：Fabraix Playground 每周会发布一个带网页搜索和浏览器权限的真实 agent 挑战，也公开 system prompt。首关让参与者尝试诱导守门助手泄露访问码；客户端、守卫引擎参考实现和挑战配置都会开源。
• 为什么值得关注：安全规则、工具权限和攻击结果能放在同一个环境里观察。参与者可以测试 agent 到底在哪一步失守。
• 我应该关注什么点：挑战是否覆盖多轮交互、工具调用和真实数据边界仍待观察，审核规则也会直接影响结果的可信度。
• 相关帖子：公开 agent CTF 与首个守门挑战（FabraixHQ）
• 你的判断：这是今天实验性最强的一条。它让 agent 安全从概念讨论进入可重复的实际测试。

2. Devin 用真实 UI 和标注视频交付验证结果

• 发生了什么：Devin 的团队描述了一条 UI 验证链：建立带密钥的环境、检查代码、规划端到端测试、处理真实认证，再用视觉和鼠标键盘操作用户界面。任务结束后，agent 会校验结果并输出标注视频，测试知识会保留为可复用 skill。
• 为什么值得关注：验证结果有了可回看的操作证据。对需要跨过登录、表单和实际交互的产品来说，这比只返回测试结论更接近真实验收。
• 我应该关注什么点：这是一条产品方叙述，环境隔离、误判率和并行规模没有公开。视频是否覆盖关键断言也值得核验。
• 相关帖子：并行执行真实 UI 验证并回传视频证据（dabit3）
• 你的判断：真正的难点在于脆弱界面和真实身份流程。能稳定处理这些部分，agent 才有机会承担连续验证工作。

3. 一个个人动画工具把创作环节合成在同一块画布里

• 发生了什么：rileybrown 展示了一个当天用 GPT-5.6 Sol 做的工具。它保留 Excalidraw 式画布交互，用于制作视频里的动画演示，并加入图片搜索和背景移除，方便快速加入标志等素材。
• 为什么值得关注：这个工具没有追求完整替代成熟软件。它围绕一个明确的个人内容需求，把画布、动画和素材处理合到同一处。
• 我应该关注什么点：短演示没有说明复杂编辑、导出质量和素材版权边界。它目前更像组合能力的证明。
• 相关帖子：用 AI 制作带动画和素材处理的演示画布（rileybrown）
• 你的判断：小工具的价值很具体。模型能否持续压低这类个人工作流的制作成本，会比演示本身更值得观察。

关于这个日报

这份内容基于 X 上的公开搜索结果，由 AI 先做过滤和初步总结，再由半庄整理、取舍和补充判断。