MMLU 是 Massive Multitask Language Understanding 的缩写,是一种用于评估大型模型语言理解能力的测试,是目前最知名的大型模型语义理解评估之一,于 2020 年 9 月由加州大学伯克利分校的研究人员推出。该测试包含 57 个任务,涵盖初等数学、美国历史、计算机科学、法律等领域。这些任务涵盖广泛的知识,并以英语为语言,用于评估大型模型对基本知识范围和理解能力的覆盖程度。
大规模多任务语言理解基准
AI的交互设计很人性化,用起来舒服
AI的交互设计很人性化,用起来舒服