The Decoder· Matthias Bastian·· 5 小时前AI 评分72
百度发布 280B 参数开源基础模型 ERNIE-5.5-Flash-Base
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model
AI 导读
百度发布开源基础模型 ERNIE-5.5-Flash-Base,未进行微调或后训练,由开发者自行决定后续方向。模型采用 MoE 架构,总参数量为 280B,每次输入激活 14B 参数,以 33.5T tokens 预训练,训练上下文最高 128,000 tokens,微调和推理设计支持最高 1M tokens 上下文。
来源:The Decoder · the-decoder.com