近年来,大模型的技术能力和产业应用均取得显著进展,其开源开放热度也随之高涨。国际方面,Meta发布的开源大模型Llama 2以其独特的自适应学习和优异性能,为自然语言处理领域带来了新的突破;Mistral AI开源的Mixtral 8x7B是具有开放权重的稀疏专家混合模型,在多语言、长文本处理任务方面表现突出;谷歌近期推出的Gemma 2B和Gemma 7B开源大模型在各项基准测试中也表现优异。国内方面,智谱、百川、阿里、昆仑万维等企业和科研机构发布的开源大模型也各具特色,智谱发布的新一代对话预训练模型 ChatGLM3-6B 支持工具调用、代码执行和Agent任务等复杂场景;百川智能开源的Baichuan 2 采用2.6万亿Tokens 高质量多语言数据语料进行训练,其语义理解、数学能力相比上一代有所增强。