Deepgram 将 Nova-3 语音模型迁移到 AWS Trainium2 推理

Deepgram 与 AWS 团队合作，将其 Nova-3 语音转文字模型迁移到 AWS Trainium2，用于离线批量推理。方案在单台 Amazon EC2 trn2.3xlarge 实例上同时运行八个模型副本，AWS Machine Learning Blog 称，在 Deepgram 的离线批量工作负载上，每美元可处理的音频量相比此前所用的算力提升 11%–70%。 博客将介绍内容限定于 Deepgram 的离线批量转写场景，并以评估时实例定价为基准、相对基线配置得出吞吐量改进，批大小在 1–128 区间扫描，结果并不等同于绝对处理速度。 博客还涵盖将 Nova-3 移植到 AWS Neuron 软件栈、底层 kernel 调优，以及 Deepgram 模型服务器调用 Trainium 所需的 Rust 数据并行运行时。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。