MaMuRAMu

Описание задачи

Massive Multitask Russian AMplified Understudy (MaMuRAMu) — это датасет, созданный для измерения профессиональных знаний модели, приобретённых во время предобучения в различных областях. Задача охватывает 57 предметов (субдоменов) по разным тематикам (доменам): ГУМАНИТАРНЫЕ НАУКИ; СОЦИАЛЬНЫЕ НАУКИ; НАУКА, ТЕХНОЛОГИИ, ИНЖЕНЕРИЯ И МАТЕМАТИКА (STEM); ПРОЧЕЕ. Датасет был создан на основе английского MMLU, предложенного в [1], и следует его методологии инструкционного формата. Каждый пример содержит вопрос из одной из категорий с 4 возможными ответами, только один из которых является правильным.

Предупреждение: чтобы избежать утечки данных для MaMuRAMu, мы создали НОВЫЙ закрытый датасет, который следует дизайну оригинального MMLU. Таким образом, результаты на MMLU и MaMuRAMu не могут быть напрямую сравнимы друг с другом.

Ключевые слова: логика, знания о мире, фактические знания, экспертные знания

Мотивация

Датасет является продолжением идеи бенчмарков GLUE [2] и SuperGLUE [3], которые фокусируются на обобщённой оценке задач по пониманию языка (Natural Language Understanding = NLU). В отличие от таких датасетов, как ruWorldTree и ruOpenBookQA (в которых вопросы схожи с форматом MMLU), которые охватывают тесты школьной программы и элементарные знания, MaMuRAMu предназначен для тестирования профессиональных знаний в различных областях.

Описание датасета

Поля данных

instruction — это строка, содержащая инструкции для задачи и информацию о требованиях к формату вывода модели;
inputs — это словарь, содержащий следующую информацию:
- text — это тестовый вопрос;
- option_a — вариант ответа A;
- option_b — вариант ответа B;
- option_c — вариант ответа C;
- option_d — вариант ответа D;
- subject — тема вопроса (обобщение группы субдоменов по смыслу);
outputs — результат: может быть одной из следующих строковых переменных: "A", "B", "C", "D";
meta — это словарь, содержащий метаинформацию:
- id — целое число, указывающее индекс примера;
- domain — субдомен вопроса.

Примеры данных

Ниже приведён пример из датасета:

{
    "instruction": "Задание содержит вопрос по теме {subject} и 4 варианта ответа A, B, C, D, из которых только один правильный.\n{text}\nA {option_a}\nB {option_b}\nC {option_c}\nD {option_d}\nЗапишите букву правильного ответа\nОтвет:",
    "inputs": {
        "text": "Какое число больше остальных: 73; 52,5; -5; 75; 32,83?",
        "option_a": "73",
        "option_b": "52,5",
        "option_c": "-5",
        "option_d": "75",
        "subject": "Математика"
    },
    "outputs": "D",
    "meta": {
        "id": 0,
        "domain": "elementary_mathematics"
    }
}

Разбиение данных

Закрытый тестовый сет (test split) содержит 4248 примеров. Обучающая выборка с несколькими примерами (train split) содержит 285 вручную составленных примеров.

Промпты

Для этой задачи было создано 10 промптов разной сложности. Пример:

"Вопрос:\n{text}. Варианты ответа:\nA {option_a}\nB {option_b}\nC {option_c}\nD {option_d}\nИспользуй знания по теме {subject} и выбери правильный ответ. Выведи только одну букву. Ответ:"

Создание датасета

Тестовая часть была создана на основе методологии оригинального датасета MMLU. Набор был вручную составлен в соответствии с оригинальным форматом с доменами, максимально приближенными к оригинальному датасету. Датасет адаптирован для русского языка и культуры. Распределение задач по отдельным доменам и предметам сбалансировано и соответствует распределению в оригинальном MMLU.

Оценка

Метрики

Датасет оценивается с помощью доли правильных ответов и, следуя оригинальной методологии, оценивается в формате few-shot с 1 примером.

Человеческая оценка

Согласно оригинальной статье, доля правильных ответов на тесте на английском языке среди людей варьируется: "Не специализированные люди с Amazon Mechanical Turk достигают 34,5% точности на тесте на английском языке. Тем временем, результат на уровне экспертов может быть значительно выше. Например, доля правильных ответов людей на 95-м процентиле на экзаменах для получения медицинской лицензии США составляет около 87%, и эти вопросы составляют наши задачи в категории “Профессиональная медицина”. Если взять долю правильных ответов людей на 95-м процентиле на экзаменах, которые формируют наш тест, и сделать обоснованное предположение, когда такие данные недоступны, то доля правильных ответов на уровне экспертов составляет около 89,8%."

Доля правильных ответов разметчиков на тестовом наборе составляет 84,4%.

Ограничения

Вопросы относятся к знаниям человека, актуальным на 31 октября 2023 года.

Ссылки

[1] Hendrycks, Dan, et al. "Measuring Massive Multitask Language Understanding." International Conference on Learning Representations. 2020.

[2] Wang, Alex, et al. "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." International Conference on Learning Representations. 2018.

[3] Wang, Alex, et al. "Superglue: A stickier benchmark for general-purpose language understanding systems." Advances in neural information processing systems 32 (2019).

[4] Оригинальный MMLU, переведённый на русский (без фильтрации) https://github.com/NLP-Core-Team/mmlu_ru.

[5] 🤗 Open LLM Leaderboard (содержит внутри MMLU, замеры происходят по 5-шотам) https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard.

Задачи