亚马逊开源 TorchNeuron:一行配置让 PyTorch 代码跑上 Trainium 芯片
AWS 10 月 19 日在 PyTorch 官方博客宣布 TorchNeuron:为自研 AI 芯片 Trainium 打造的原生 PyTorch 后端。开发者把模型指向 neuron 设备即可在 Trainium2/Trainium3 上运行现有代码,无需重写;TorchNeuron 以 Apache 2.0 协议开源,代码库位于 github.com/aws-neuron/torch-neuronx,10 月 20 日在北美 PyTorch 大会上开启公测。

发生了什么
根据 PyTorch 官方博客 10 月 19 日发布的联合公告,TorchNeuron 把 Trainium 注册为 PyTorch 的原生设备:它基于 PyTorch 的 PrivateUse1 扩展点与 torch.accelerator 设备无关 API,现有代码只需把模型 .to('neuron') 即可运行;torch.compile 通过 backend="neuron" 接入,一次声明即可。
功能覆盖 eager 执行(含实验性的 adaptive eager 模式)、torch.compile、Neuron Kernel Interface(NKI)自定义内核;分布式训练支持 DDP、FSDP2、张量并行与流水线并行。Hugging Face 已在自家开发工具中加入原生 Trainium 支持,vLLM 也有对应的推理插件;AWS 还向 PyTorch 上游提交了移除框架中 CUDA 专有假设的代码。
Amazon 称已有 30 多家早期客户在使用:语音 AI 公司 Cartesia 把推理管线迁到了 Trainium;Lieber Institute for Brain Development 用它在 Trainium 上跑药物发现与分子动力学模型。Meta PyTorch 工程总监 Jana van Greunen 在公告中表示,原生支持让开发者不用重造工作流、不用离开 PyTorch 生态,就能用上 Trainium 的能力。
关键事实
- 开源协议:Apache 2.0,仓库地址 github.com/aws-neuron/torch-neuronx。
- 支持硬件:AWS 自研的 Trainium2 与 Trainium3。
- 切换方式:一行设备配置 .to('neuron');按 torch.accelerator 写法写的代码无需改动。
- 执行模式:eager、实验性 adaptive eager、torch.compile;NKI 自定义内核与开源 NKI-lib(含 FlashAttention、MoE 内核)。
- 生态:Hugging Face Transformers/Diffusers/TRL 原生支持;vLLM 及 vLLM Omni 推理插件;Neuron Explorer 性能分析工具。
- 发布时间:10 月 19 日宣布,10 月 20 日在 PyTorch Conference North America 开启公测并开源。
为什么重要
自研 AI 芯片的软件迁移成本第一次降到一行配置;AWS 同期向 PyTorch 上游提交移除 CUDA 专有假设的代码,以 Apache 2.0 开源并披露 30 多家早期客户。
相关公司亚马逊
™