通义千问今天发布Qwen1.5-MoE-A2.7B

通义千问今天发布Qwen1.5-MoE-A2.7B,性能可与当前公认最先进的7B开源模型相媲美,训练成本更低,推理速度更快!

Qwen1.5-7B包含65亿个Non-Embedding参数,Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数,仅为前者的1/3。相比Qwen1.5-7B,Qwen1.5-MoE-A2.7B的训练成本降低了75%,推理速度则提升了1.74倍。

Qwen1.5-MoE模型系列现已在ModelScope社区开源,包括:

Qwen1.5-MoE-A2.7B-Chat:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat)

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4)

Qwen1.5-MoE-A2.7B:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B)

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索