128张A100从零训出!字节开源3B全能多模态模型Lance
快链头条 2026-05-19 18:54:27
据动察 Beating 监测,字节跳动(ByteDance Research)正式开源原生统一多模态大模型 Lance。这是一个激活参数仅为 3B 的轻量级模型,在单一框架内同时支持图像与视频的理解、生成及编辑。
目前主流统一模型高度依赖扩大参数规模或沿用文生图架构,Lance 则跑通了极低算力的协同路线。研发团队让模型完全从零开始训练,并将整个训练周期的总计算预算压低至 128 张 A100 GPU。
为解决不同模态与任务间的内部冲突,Lance 在架构上做了两项硬性隔离:
- 采用双流混合专家(MoE)架构处理交织的多模态序列,在共享底层上下文的同时,解耦理解与生成的计算路径。
- 引入模态感知的旋转位置编码,直接削弱图像和视频异构视觉 token 之间的信号干扰。
极端的算力压缩并未拉低性能上限。在仅有 3B 激活参数的情况下,Lance 的图像与视频生成及编辑表现在绝大多数基准测试中领跑现有开源统一模型,通过多任务协同跑通了小参数兼顾生成与语义理解的低成本路线。
快链头条登载此文本着传递更多信息的缘由,并不代表赞同其观点或证实其描述。
文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
投资有风险,入市须谨慎。本资讯不作为投资理财建议。
7*24小时快讯
Tether加快进军韩国步伐,已提交公司名称与Logo商标申请
05-19 19:59(6分钟前)
Hut 8承诺投资1600万美元扩建供水系统以配合AI数据中心开发
05-19 19:52(12分钟前)
DeepSeek辟谣「<think>泄露隐私」:实为模型幻觉
05-19 19:42(23分钟前)
世界首富马斯克教你如何管理时间
05-19 19:41(24分钟前)
贝莱德向Coinbase存入5847枚BTC,约4.4952亿美元
05-19 19:38(27分钟前)
渣打银行计划未来四年内裁减超7000个岗位,并加大AI投入
05-19 19:35(30分钟前)
美参议员Warren向监管机构施压,质疑加密行业推动获取信托银行牌照行动
05-19 19:30(35分钟前)
华尔街机构维持四家加密公司买入评级:估值逻辑转为AI基础设施资本市场工具等
05-19 19:28(37分钟前)
热门资讯
风险提示
根据银保监会等五部门于 2018 年 8月发布《关于防范以「虚拟货币」「区块链」名义进行非法集资的风险提示》的文件, 请广大公众理性看待区块链,不要盲目相信天花乱坠的承诺,树立正确的货币观念和投资理念,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。