悟道

2021年6月，北京智源研究院（BAAI）推出了智能模型系统的后续版本——悟道2.0，成为中国首个超大规模的智能系统。悟道是一款语言模型，旨在在人类思维层面超越OpenAI的GPT-3和谷歌的LaMDA。通过进行了4.9TB的图像和文本训练，并在9项基准测试中高于当前最先进水平，悟道比其他同行更接近实现通用人工智能（AGI）和人类思维水平。

悟道接受了4.9 TB高质量英文和中文图像和文本的训练：

• 1.2TB中文文本数据
• 2.5TB中文图形数据
• 1.2TB英文文本数据

悟道是使用开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术，其运作原理如下：

将预测建模任务分解为子任务，并针对每个子任务训练专家模型，同时研发门控模型。门控模型根据输入数据来决定向哪个专家模型进行咨询，并整合预测结果。FastMoE允许并行向不同的专家模型进行咨询，并选择表现最佳的模型进行预测输出。比如，当输入为英文文本时，系统将使用特定的专家模型，用于生成英文文本的回应。

悟道官网

智源“悟道”大模型，中国首个+世界最大人工智能大模型

访问官网> 攻略讨论>