Описание задачи
Оригинальный Massive Multitask Language Understanding (MMLU) переведен на русский язык. Данный датасет предназначен для измерения профессиональных знаний модели, приобретенных в процессе предобучения в различных областях. Задача охватывает 57 области знаний (поддомена) по различным темам (доменам): ГУМАНИТАРНЫЕ НАУКИ; СОЦИАЛЬНЫЕ НАУКИ; НАУКА, ТЕХНОЛОГИИ, ИНЖЕНЕРИЯ И МАТЕМАТИКА (STEM); ДРУГОЕ. Датасет был переведен на русский язык на основе оригинального MMLU, предложенного в [1], и представлен в инструктивном формате. Каждый пример содержит вопрос из одной из категорий с четырьмя возможными ответами, из которых только один правильный.
Предупреждение: Это диагностический датасет с открытым тестом, он не используется для общей оценки модели по бенчмарку. Результаты на наборах данных MMLU и ruMMLU не могут быть напрямую сопоставлены. Открытые данные — это публичный тестовый сет оригинального MMLU. Не используйте его для обучения моделей!
Ключевые слова: логика, знания о мире, факты, экспертные знания
Мотивация
Датасет является продолжением идеи бенчмарков GLUE [2] и SuperGLUE [3], которые сосредоточены на общей оценке задач по пониманию языка (NLU). В отличие от таких датасетов, как ruWorldTree и ruOpenBookQA (где вопросы похожи на формат MMLU), которые охватывают тесты школьной программы и базовые знания, MMLU предназначен для проверки профессиональных знаний в различных областях. Мы предоставляем публичную тестовую версию MMLU на русском языке для тестирования моделей.
Поля данных
instruction— это строка, содержащая инструкции для задачи и информацию о требованиях к формату вывода модели;inputs— это словарь, содержащий следующую информацию:text— это тестовый вопрос;option_a— вариант ответа A;option_b— вариант ответа B;option_c— вариант ответа C;option_d— вариант ответа D;subject— тема вопроса (обобщение группы субдоменов по смыслу);
outputs— результат: может быть одной из следующих строковых переменных: "A", "B", "C", "D";meta— это словарь, содержащий метаинформацию:id— целое число, указывающее индекс примера;domain— субдомен вопроса.
Промпты
Для этой задачи было создано 10 промптов разной сложности. Пример:
"Дан вопрос по теме {subject}: {text}. Варианты ответа:\nA {option_a}\nB {option_b}\nC {option_c}\nD {option_d}\nОпредели, какой вариант ответа правильный. Напиши только букву этого ответа: A, B, C, D. Ответ:"
Создание набора данных
Оригинальный датасет MMLU был переведён с использованием следующего пайплайна: 1) тестовая и dev-часть MMLU была переведена на русский язык с помощью автоматического перевода; 2) переводы были проверены на платформе Yandex.Toloka; 3) данные, не прошедшие проверку, были вручную проверены и русифицированы.
Человеческая оценка
Согласно оригинальной статье, доля правильных ответов на тесте на английском языке среди людей варьируется: "Не специализированные люди с Amazon Mechanical Turk достигают 34,5% точности на тесте на английском языке. Тем временем, результат на уровне экспертов может быть значительно выше. Например, доля правильных ответов людей на 95-м процентиле на экзаменах для получения медицинской лицензии США составляет около 87%, и эти вопросы составляют наши задачи в категории “Профессиональная медицина”. Если взять долю правильных ответов людей на 95-м процентиле на экзаменах, которые формируют наш тест, и сделать обоснованное предположение, когда такие данные недоступны, то доля правильных ответов на уровне экспертов составляет около 89,8%."
Доля правильных ответов разметчиков на тестовом наборе составляет 84,4%.
Ссылки
[1] Hendrycks, Dan, et al. "Measuring Massive Multitask Language Understanding." International Conference on Learning Representations. 2020.
[2] Wang, Alex, et al. "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." International Conference on Learning Representations. 2018.
[3] Wang, Alex, et al. "Superglue: A stickier benchmark for general-purpose language understanding systems." Advances in neural information processing systems 32 (2019).
[4] Оригинальный MMLU, переведённый на русский (без фильтрации) https://github.com/NLP-Core-Team/mmlu_ru.
[5] 🤗 Open LLM Leaderboard (содержит внутри MMLU, замеры происходят по 5-шотам) https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard.
