AWS Machine Learning Blog· Jyothirmai Kottu·· 3 小时前AI 评分15
在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 导读
AWS DLC for llama.cpp 推出两项部署路径，可基于 Amazon SageMaker AI 的 CPU 或 GPU 基础设施托管量化模型：一是通过 InvokeEndpoint 提供兼容 OpenAI 的 chat completions；二是通过 SemIf 子镜像返回声明选项的 logits 概率而无需解码答案 token。
来源：AWS Machine Learning Blog · aws.amazon.com