跳到正文
Hugging Face Blog·· 2 小时前AI 评分30

TorchNeuron 系统级性能分析:在 AWS Trainium 上使用 torch.profiler 与 Neuron Explorer

Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.

AI 导读

Hugging Face 教程演示如何借助 torch.profiler、NeuronConfig 和 Neuron Explorer 分析 AWS Trainium 上的推理性能。通过配置 Neuron 后端、捕获设备与运行时 trace,并比较 key_averages() 中的 CPU 和设备时间,可定位同一 RMSNorm 操作在三种 PyTorch 实现下的性能差异。

来源:Hugging Face Blog · huggingface.co