据动察 Beating 监测,边缘数据库公司 SQLite AI 开源推理引擎 WASTE。它让保留全部层和专家的 Kimi K3,能在一台 64GB MacBook Pro 上运行。转换后的模型约占 1TB,速度为每秒 0.49 至 0.54 个 Token。
WASTE 把约 27GB 的模型主干留在内存。8 万多个专家放在内置 SSD。每生成一个 Token,只从硬盘读取当前调用的专家。
这个版本没有蒸馏、裁剪或删除专家。但专家权重被重新量化到 3-bit,模型主干采用 4-bit 和 8-bit。