前研究员 Coxon:Anthropic 已能以最初所需的一小部分算力重新训练 Mythos
Anthropic 前研究员 Jacob Coxon 表示,公司已能以最初所需的一小部分算力重新训练 Mythos。他认为,Anthropic IPO 路演图表显示算法效率正加速提升,但图中数据基于内部估计,仅供说明。Coxon 呼吁明年暂停前沿模型开发,让竞争者赶上。
Anthropic 前研究员 Jacob Coxon 表示,公司已能以最初所需的一小部分算力重新训练 Mythos。他认为,Anthropic IPO 路演图表显示算法效率正加速提升,但图中数据基于内部估计,仅供说明。Coxon 呼吁明年暂停前沿模型开发,让竞争者赶上。
Amazon 计划通过 World Product Graph 收集网上销售的商品数据,包括其自身不销售的商品,并在网站上提供相关信息。该项目还旨在改善 Alexa for Shopping 的回答准确性并降低成本,但实施与否及时间尚不明确。Amazon 表示,相关草稿不一定反映其当前计划。
Thinking Machines Lab 开源了 594B 参数模型 Inkling 2 Small,从预训练第一步到最终 RL rollout 均采用原生 4-bit 前向计算,并以 Apache 2.0 许可在 HuggingFace 开放下载。
Unemployment Labs 的 Will DePue 分析公开模型权重后称,Kimi K3 系列和 DeepSeek V4 带有使用 Blackwell 芯片训练的指纹。
推荐理由:从公开模型权重追溯训练硬件,为讨论受限芯片的使用提供了技术线索,但硬件指纹与是否违反出口管制并不是同一判断。
Unemployment Labs 的研究人员 Will DePue 分析开放模型权重后称,Kimi 的 K3 和 DeepSeek 的 V4 等模型带有使用受限 Nvidia Blackwell 芯片训练的痕迹。
AWS 演示了如何使用 Amazon SageMaker HyperPod Data Capture 构建模型改进飞轮,通过捕获推理数据、分析标注和微调改善模型。示例使用合成数据,以 Qwen2.5-3B-Instruct 构建家电支持路由器,并在单个集群上完成数据捕获、训练和重新部署。
Microsoft Research Focus 第 98 期介绍了 AI 翻译、数学难题及编码智能体效率等研究进展。研究人员解决了历时 31 年的 KLS 猜想,并提出 COMPACTIONBENCH 和 APEC,后者在评测中将成本降低最多 25.4%、执行时间缩短 9.6%。Latent Core Tokenizer 在 104 种语言的评测中生成了更具语言意义的 token。
Microsoft 研究人员发现 Lazarus 后门技术,无需训练,仅改写 LLM 中不足 10 个休眠神经元,就能让 AI 智能体在隐藏触发条件出现时执行恶意命令。
推荐理由:研究将智能体后门风险具体落到模型权重完整性上,说明常规行为评测之外,核验原始权重与来源也是安全审计的重要环节。
Google DeepMind 开放 SatWeave 和 PARDIG 的历史档案与实时数据流,供研究者和开发者构建天气、水文及气候应用。两者均用于此前发布的 WeatherNext 3,前者提供每小时更新、覆盖 17 个通道的全球卫星影像拼接,后者提供 AI 生成的全球降水数据,在小到中等强度降水的小时级检测能力上比 IMERG-Final 提升超过 30%。
Grace Huckins 两次体验 Tau Robotics 的人形机器人入户清洁服务,发现机器人能完成实际清洁,但动作缓慢且仍高度依赖远程人工操作。首次服务因远程操作设备过热提前结束,第二次则完成了厨房和马桶清洁,但仍出现水龙头滴水、碰倒物品等问题。Tau 利用清洁过程采集的数据训练自主操作模型,联合创始人称机器人已能自主吸尘和拖地;目前双机器人每周清洁收费 $60,单次上门收费 $100。
Microsoft 介绍了用于评估 Microsoft Copilot 的 Industry Evaluation Data Generation Platform,通过合成企业环境模拟真实业务场景。平台利用 O*NET、在线招聘信息和 SEC 文件等公开数据,并通过自动化查询生成和内容安全检查构建评估数据,无需使用客户数据。
GitHub 详解机密扫描的两阶段管线,以正则筛选候选字符串,再由微调的 ModernBERT 结合上下文区分真实凭据与相似的非敏感字符串。相比此前的 LLM 管线,同一公开流量上的离线评估显示精确率提高 13%、召回率提高 19%;客户 A/B 实验中,按仓库所有者加权的告警接受率提高 11.5%,提交后扫描执行时间中位数降低 86%,服务成本降低超过 98%。
ABBEL 框架通过训练 LLM 更新自然语言信念状态,减少长程交互中保留完整历史的需要。在协作编码基准 CollabBench 上,信念评分将与完整上下文模型的性能差距缩小约 50%,训练步数减少 50%,峰值上下文 token 长度也更低。
SPEX 和 ProxySPEX 通过消融与稀疏恢复,大规模识别 LLM 中影响输出的交互作用。ProxySPEX 利用交互的层级结构,以约 10x 更少的消融次数达到 SPEX 的性能;在情感分析中,SPEX 在特征规模增至数千时仍保持较高的归因忠实度。