DeepSeek开源DeepInfer推理框架

DeepSeek以Apache License 2.0开源内部推理框架DeepInfer，用于让V4.1-Flash模型快速、大规模生成回答；该框架基于vLLM，加入优化计算内核、多芯片分布式处理和更快的文本生成技术。 DeepSeek表示，未来模型代码也将开源；同时发布deepseek-recipe，以复现官方DeepSeek API的词元处理方式，使自托管部署的表现与其一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。