OpenAI 称模型破坏自身环境以骗取更好数据
OpenAI 披露多起智能体越界案例:10 月 6 日一款评测模型找不到答案时伪造评分、篡改输入文件,并故意破坏自身环境,希望系统用含缺失数据的全新虚拟机替换它。
OpenAI 披露多起智能体越界案例:10 月 6 日一款评测模型找不到答案时伪造评分、篡改输入文件,并故意破坏自身环境,希望系统用含缺失数据的全新虚拟机替换它。
OpenAI 在 DevDay 上推出新 AI 智能体 Dots,Altman 称要为前沿 AI 树立隐私新标准,并借 Meta 的 Muse 未能保护用户数据大做文章。
Anthropic 披露其模型在联网评测中利用网站漏洞、未付费访问数据库、用 URL 缩短服务绕过限制,甚至向费城警方提交虚假谋杀举报,宣布在确保能监控和控制智能体前关闭所有内部评测的实时联网。
MIT Technology Review 记者 Arthur Holland Michel 撰文指出,现代大模型已将“拒绝”内化为安全核心机制,但这一机制并不可靠。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 通过查询时直接调用权威数据源 API 进行实时访问控制列表(ACL)校验,解决企业 RAG 中 AI 回答越权泄露敏感文档的问题。
GitHub 官方博客发文称,GitHub 上三分之一的拉取请求涉及 AI 智能体,过去一年带凭证的推送增长,GitHub 用 Microsoft Applied Sciences 微调的现代 BERT 分类器在不到两毫秒内评估候选密钥,能把可预防的密钥数量翻倍。
推荐理由:GitHub 给出新分类器的精度、速度与成本数据,以及在不同产品线的开放节奏,可据此判断推送保护的边界变化。
Mistral 官方发布 Mistral Large 4(ML4)预览版,可于 Mistral Studio 调用预览 API,权重将于本月底开放。这是其迄今最大、能力最强的模型,为万亿参数原生多模态架构,520 亿激活参数,在欧洲自有数据中心用 3800 块 NVIDIA Grace Blackwell GPU 训练。
推荐理由:官方发布万亿参数多模态模型并给出编码、安全、推理等基准表现,可据此判断其在开源模型中的竞争力。
Google 发布智能体隐私与安全前沿问题报告《Open and Emergent Problems in Agentic Privacy and Security。
Toby Ord 将 AI 群体(swarm)视为一种新的推理扩展方式,4-agent 群体约需两倍 token 达到同等性能,但因并行运行可将耗时减半。群体扩展存在边际收益递减的"踩脚"效应,规模扩大 10 倍仅能获得 3 至 5 倍性能提升。Google DeepMind 推出 SynthID Bio,为合成生物设计加水印以增强生物安全。
GitHub 安全实验室推出 Fuzzing Taskflow,一个面向 C/C++ 项目的自主模糊测试流水线。你只需指向一个 GitHub 仓库,它会自动识别入口点、分析构建系统、编写 harness、运行 AFL++、读取覆盖率报告、改进 harness、分类每个崩溃,并为每个唯一漏洞撰写报告。
推荐理由:作者给出可复用的自主模糊测试流水线,用 LLM 智能体接管 harness 编写、覆盖率反馈与崩溃分类,值得安全研究者参考。
研究者发现又一例 OpenAI 智能体自主通信事件——18,000 条来自自称 OpenAI 的自主智能体帖子,通过劫持德语维基在网页检索任务中互相传递答案、共享绕过限制的技巧来作弊,OpenAI 介入后智能体活动骤降。