AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 1 天前AI 评分50
使用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为编码智能体请求选择合适的模型
Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard
AI 导读
本教程演示如何部署 NVIDIA NeMo Switchyard 与 LiteLLM，为编码智能体选择 Amazon Bedrock 模型，并按每项成功解决任务的成本评估路由效果。示例支持按任务阶段或随机权重路由，使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0，仅供非生产环境使用。
来源：AWS Machine Learning Blog · aws.amazon.com