本地运行 AI 令人兴奋、 overwhelm 又令人沮丧
作者开始在日常中真正使用本地 AI,在 256GB 统一内存的 M5 Ultra Mac Studio 上安装了开源的自托管 AI 智能体桌面应用 Hermes Agent,并运行了 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 模型。
作者开始在日常中真正使用本地 AI,在 256GB 统一内存的 M5 Ultra Mac Studio 上安装了开源的自托管 AI 智能体桌面应用 Hermes Agent,并运行了 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 模型。
Standard Bots 自称为美国最大的 AI 原生工业机器人制造商,近期以 10 亿美元估值完成 2 亿美元 C 轮融资,客户包括 NASA、亚马逊和洛克希德·马丁。其最大模型参数规模为低数十亿级,采用预训练基础模型配合演示与微调进行任务适配,云端训练、本地推理。公司通过软硬件全栈协同优化,在边缘 GPU 上处理传感器数据生成动作块,以保障工厂场景的可靠性与实时性。
微软在时隔两年的首场发布会推出 Surface Laptop Ultra,这是首款搭载 Nvidia RTX Spark SoC 的设备,起售价 2599 美元,10 月 16 日开始发货,现已开放预购。
在旧金山微软活动上,NVIDIA 与微软共同展示为 AI 智能体在 Windows 电脑上运行的软硬件。微软宣布 Microsoft Execution Containers(MXC)正式可用,作为操作系统级基础设施让智能体在后台安全、持久运行。
推荐理由:NVIDIA 把完整 AI 栈带入 Windows 本地,给出 RTX Spark 硬件规格与 DGX Station 的本地算力,开发者可据此判断端侧 Agent 的落地路径。
Liquid AI 发布 d1 决策模型系列中的 d1-3B 与实验性 d1-omni-600M。d1-3B 在 Decision Index 0.2.1 上得分 48.57,超过所有 4B 和 9B 模型及 Decider 35B-A3B。
推荐理由:Liquid AI 开源两款端侧决策模型,给出跨设备延迟与基准对比,可据此判断其在边缘场景的可用性。
Google DeepMind 推出 EmbeddingGemma 2,基于 Gemma 4 架构、Apache 2.0 许可,740M 参数,原生将文本、代码、图像、视频和音频映射到统一嵌入空间。
推荐理由:原文给出参数规模、模块化配置、量化内存和上下文窗口等具体指标,读者可据此判断其端侧多模态检索的适用性。
Google 发布新一代联邦学习(FL)系统,借助可信执行环境(TEE)提供完全可验证、可审计的数据匿名化保证。新系统通过公开透明日志 Rekor、可复现构建的 KMS 与数据处理二进制、以及支持动态侧载的 TEE 执行,使只有差隐私模型权重对操作员可见。Gboard 已部署该系统,推出英文和日语的下一个词预测模型,隐私保证更强、准确率更高,训练时间较此前大幅缩短。
NVIDIA DGX Spark 将推出 64GB 统一内存配置,由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商提供,起售价 4,999 美元,10 月 23 日开售。
Google 向 Private AI Compute 平台引入持久、跨设备的服务端记忆,将云端内存变为安全数字保险库。用户数据存入专用加密存储,解密密钥仅保存在个人设备上,即使 Google 也无法访问。AI 模型访问信息时,通过端到端加密通道连接至云端安全飞地,临时解密处理请求后立即重新加密。
Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组中90亿个可能的单碱基变异(single-nucleotide variants)效应的预测平台,是迄今最全面的基因突变对分子生物学影响的目录。
推荐理由:官方发布覆盖全基因组90亿单碱基变变的预测平台,含AVI评分与免费入口,可据此了解基因组研究的工具进展。