推理引擎WASTE开源:把Kimi K3完整跑进64GB MacBook

快链头条 2026-07-31 17:46:18
阅读 649
二维码
微信扫一扫,分享此文章

据动察 Beating 监测,边缘数据库公司 SQLite AI 开源推理引擎 WASTE。它让保留全部层和专家的 Kimi K3,能在一台 64GB MacBook Pro 上运行。转换后的模型约占 1TB,速度为每秒 0.49 至 0.54 个 Token。

WASTE 把约 27GB 的模型主干留在内存。8 万多个专家放在内置 SSD。每生成一个 Token,只从硬盘读取当前调用的专家。

这个版本没有蒸馏、裁剪或删除专家。但专家权重被重新量化到 3-bit,模型主干采用 4-bit 和 8-bit。

快链头条登载此文本着传递更多信息的缘由,并不代表赞同其观点或证实其描述。
文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
投资有风险,入市须谨慎。本资讯不作为投资理财建议。

风险提示
根据银保监会等五部门于 2018 年 8月发布《关于防范以「虚拟货币」「区块链」名义进行非法集资的风险提示》的文件, 请广大公众理性看待区块链,不要盲目相信天花乱坠的承诺,树立正确的货币观念和投资理念,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。