如何使用 Amazon EC2 Spot 优化 AssemblyAI 语音转文字推理成本
AssemblyAI 通过混用 Amazon EC2 Spot 和按需实例,优化大规模语音转文字推理成本,同时维持服务等级协议承诺。其架构结合 Amazon ECS、不同 GPU 实例类型和 Amazon SQS 队列重试机制,应对 Spot 中断,并通过区域部署满足数据驻留要求。
AssemblyAI 通过混用 Amazon EC2 Spot 和按需实例,优化大规模语音转文字推理成本,同时维持服务等级协议承诺。其架构结合 Amazon ECS、不同 GPU 实例类型和 Amazon SQS 队列重试机制,应对 Spot 中断,并通过区域部署满足数据驻留要求。
Microsoft Research Focus 第 98 期介绍了 AI 翻译、数学难题及编码智能体效率等研究进展。研究人员解决了历时 31 年的 KLS 猜想,并提出 COMPACTIONBENCH 和 APEC,后者在评测中将成本降低最多 25.4%、执行时间缩短 9.6%。Latent Core Tokenizer 在 104 种语言的评测中生成了更具语言意义的 token。
OpenAI 在 AI Engineer Code Summit 工作坊演示了 Codex 的新工作方式,包括云端任务交接、语音调度和个人智能体 dots。此前公布的 Codex Cloud version 2 可复用已发布的环境,在隔离实例中运行多个任务;工程师承认本地与云端之间的交接仍需简化,并涉及上下文差异管理。