使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适的模型
本教程演示如何部署 NVIDIA NeMo Switchyard 与 LiteLLM,为编码智能体选择 Amazon Bedrock 模型,并按每项成功解决任务的成本评估路由效果。示例支持按任务阶段或随机权重路由,使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0,仅供非生产环境使用。
本教程演示如何部署 NVIDIA NeMo Switchyard 与 LiteLLM,为编码智能体选择 Amazon Bedrock 模型,并按每项成功解决任务的成本评估路由效果。示例支持按任务阶段或随机权重路由,使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0,仅供非生产环境使用。
Amazon Bedrock AgentCore runtime 的会话启动指南介绍了 V2 快照机制及降低启动延迟的架构模式。V2 在创建或更新运行时准备环境并生成快照,新会话通过恢复快照启动;开发者还可使用构建钩子或在用户开始交互时预热会话。优化前可通过 Amazon CloudWatch 指标区分平台开销与代码耗时。
AssemblyAI 通过混用 Amazon EC2 Spot 和按需实例,优化大规模语音转文字推理成本,同时维持服务等级协议承诺。其架构结合 Amazon ECS、不同 GPU 实例类型和 Amazon SQS 队列重试机制,应对 Spot 中断,并通过区域部署满足数据驻留要求。
Amazon Bedrock 提供基于调用者身份的成本归因和用量控制,支持追踪 AI 开发及生产力工具的用户支出。配置 IAM Identity Center 和会话标签后,用户及团队成本可写入 CUR 2.0 并通过 Amazon Athena 查询;CUR 按导出间隔聚合用量,不包含单次请求成本。
AWS 演示了如何使用 Amazon SageMaker HyperPod Data Capture 构建模型改进飞轮,通过捕获推理数据、分析标注和微调改善模型。示例使用合成数据,以 Qwen2.5-3B-Instruct 构建家电支持路由器,并在单个集群上完成数据捕获、训练和重新部署。
GitHub 通过 Data Forge 和 Proof Agent 示例,讲解如何构建可在多个智能体客户端复用的技能,并设置检查与人工审批环节。技能以 SKILL.md 为核心,将项目配置放入独立清单,让多个技能共享上下文和平台访问路径,再生成适用于 Claude Code、Cursor 和 GitHub Copilot 的客户端文件。
推荐理由:将项目配置与技能指令分离,并让相关技能共用执行路径,为团队把隐性业务经验整理成可跨客户端复用的工作流提供了具体方法。
SGLang-Neuron 已公开可用,支持通过熟悉的 SGLang 接口在 AWS Trainium 上部署模型并生成强化学习轨迹。该插件基于原生 PyTorch,支持预填充与解码分离,可通过 AWS Deep Learning Container 使用。
Microsoft Research 用 PDD Kit 演示了对 Rust 全栈应用 Pet Store 登录逻辑的形式化验证,将开发者意图转为规范,再由 Verus 检查代码是否满足规范。
GitHub 详解机密扫描的两阶段管线,以正则筛选候选字符串,再由微调的 ModernBERT 结合上下文区分真实凭据与相似的非敏感字符串。相比此前的 LLM 管线,同一公开流量上的离线评估显示精确率提高 13%、召回率提高 19%;客户 A/B 实验中,按仓库所有者加权的告警接受率提高 11.5%,提交后扫描执行时间中位数降低 86%,服务成本降低超过 98%。
GitHub 介绍与 Microsoft Applied Sciences 合作构建的 ModernBERT 分类器,将推送保护扩展至非结构化密钥,批量评估候选密钥耗时低于 2 毫秒,可使能提前阻止泄露的密钥数量增加至两倍以上。
推荐理由:九个季度的数据未显示单次推送的密钥泄露比例明显上升,将防护重点从要求开发者更谨慎转向扩大自动预防与处置能力。
研究人员为 K-Search 增加 MLX 后端和 CUDA 到 MLX 的结构化翻译层,将现有内核优化经验适配到 Apple Silicon。其 Attention 内核性能达到原生 MLX 内核的 0.97x,Mamba SSM 内核的 prefill 速度较社区 mlx-lm 实现最高提升 20x。
Berkeley AI Research 的研究者探讨了 AI 推理成本下降后,数据系统面临的三类机遇:服务、管理 AI 智能体以及由智能体构建系统。在一项多智能体 text-to-SQL 基准测试中,80-90% 的子查询执行了重复工作,数据系统可通过复用重叠子计划的结果减少浪费。