「天工」Skywork-13B系列

10月30日，昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列，并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。 昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型：Skywork-13B-Base模型、Skywork-13B-Math模型，它们在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果，其中文能力尤为出色，在中文科技、金融、政务等领域表现均高于其他开源模型。 Skywork-13B 下载地址（Model Scope）：https://modelscope.cn/organization/skywork Skywork-13B 下载地址（Github）：https://github.com/SkyworkAI/Skywork 技术报告地址：https://arxiv.org/pdf/2310.19341.pdf 除模型开源外，Skywork-13B系列大模型还将开源600GB、150B Tokens的高质量中文语料数据集Skypile/Chinese-Web-Text-150B，这是目前最大的开源中文数据集之一。 同时，昆仑万维「天工」Skywork-13B系列大模型即将全面开放商用——开发者无需申请，即可商用。 130亿参数、两大模型、最大中文数据集之一、全面开放商用。昆仑万维「天工」Skywork-13B系列大模型堪称业内开源最彻底的百亿高质量商用模型。 Skywork-13B系列大模型的开源将为大模型的场景应用和开源社区发展提供最佳技术支持，降低大模型商业门槛，推动人工智能技术落地千行百业，为人工智能生态建设添砖加瓦，携手开源社区探索未知世界、创造美好未来。 两大模型 领先行业 昆仑万维「天工」Skywork-13B系列包括两大模型及150B高质量中文数据集。 Skywork-13B-Base模型是Skywork-13B的基础模型，其经由3.2万亿个多语言高质量数据训练，在CEVAL, CMMLU, MMLU, GSM8K等评测与基准测试上都展现了同等规模模型的最佳效果。 Skywork-13B-Math模型经过专门的数学能力强化训练，在GSM8K等数据集上取得了同等规模模型的最佳效果。 Skypile/Chinese-Web-Text-150B数据集。该数据集是根据我们经过精心过滤的数据处理流程从中文网页中筛选出的高质量数据。本次开源的数据集大小约为600GB，总token数量约为（1500亿），是目前最大得开源中文数据集之一。 除此之外，Skywork-13B系列还公开了模型中使用的评估方法、数据配比研究和训练基础设施调优方案等。希望这些开源内容能够进一步启发社区对于大型模型预训练的认知，并推动人工智能通用智能（AGI）的实现。 五大特点 全面超越 昆仑万维「天工」Skywork-13B系列大模型在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果，其中文能力尤为出色，在中文科技、金融、政务等领域表现均高于其他开源模型。 Skywork-13B系列模型的五大特点： 最强参数表现：全面超越同等规模大模型 本次开源的Skywork-13B系列模型在CEVAL, CMMLU, MMLU, GSM8K等几大权威评估基准中全面超越LLaMA2-13B等开源大模型，在同等规模大模型间取得最佳效果。（截止至10月25日数据）