通义千问今天发布Qwen1.5-MoE-A2.7B,性能可与当前公认最先进的7B开源模型相媲美,训练成本更低,推理速度更快!
Qwen1.5-7B包含65亿个Non-Embedding参数,Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数,仅为前者的1/3。相比Qwen1.5-7B,Qwen1.5-MoE-A2.7B的训练成本降低了75%,推理速度则提升了1.74倍。
Qwen1.5-MoE模型系列现已在ModelScope社区开源,包括:
Qwen1.5-MoE-A2.7B-Chat:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat)
Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4)
Qwen1.5-MoE-A2.7B:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B (http://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B)