Hugging Face正式推出Kernels,GPU算子像模型一样一行代码装好

快链头条 2026-04-15 12:02:27
阅读 4,281
二维码
微信扫一扫,分享此文章

据 1M AI News 监测,Hugging Face CEO Clem Delangue 宣布 Kernels 正式上线 Hub。GPU 算子是让显卡跑出极限速度的底层优化代码,能将推理和训练加速 1.7 至 2.5 倍,但安装一直是噩梦:以最常用的 FlashAttention 为例,本地编译需要约 96GB 内存和数小时,PyTorch 版本、CUDA 版本稍有不对就报错,多数开发者在安装这一步就卡住了。

Kernels Hub 把编译搬到云端。Hugging Face 提前在各种显卡和系统环境下编译好算子,开发者写一行代码,Hub 自动匹配硬件环境,几秒内下载预编译文件直接可用。同一进程可加载多个不同版本算子,兼容 torch.compile。


Kernels 去年 6 月测试上线,本月升级为 Hub 一级仓库类型,与 Models、Datasets、Spaces 并列。目前已有 61 个预编译算子,覆盖注意力机制、归一化、混合专家路由、量化等常用场景,支持英伟达 CUDA、AMD ROCm、苹果 Metal 和英特尔 XPU 四种硬件加速平台,已集成进 Hugging Face 的推理框架 TGI 和 Transformers 库。

快链头条登载此文本着传递更多信息的缘由,并不代表赞同其观点或证实其描述。
文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
投资有风险,入市须谨慎。本资讯不作为投资理财建议。

推荐活动
风险提示
根据银保监会等五部门于 2018 年 8月发布《关于防范以「虚拟货币」「区块链」名义进行非法集资的风险提示》的文件, 请广大公众理性看待区块链,不要盲目相信天花乱坠的承诺,树立正确的货币观念和投资理念,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。