CheGeKa

Описание задачи

Задание содержит вопросы из игры “Что? Где? Когда?” и представляет из себя вопросно-ответное задание со свободным ответом. Датасет основан на одноименном датасете из бенмарка TAPE [1].

Ключевые слова: знания о мире, логика, вопросно-ответные задачи, открытые вопросно-ответные задачи

Авторы: Екатерина Такташева, Татьяна Шаврина, Алена Феногенова, Денис Шавелев, Надежда Катричева, Мария Тихонова, Альбина Ахметгареева, Олег Зинкевич, Анастасия Башмакова, Светлана Иорданская, Алена Спиридонова, Валентина Курешникова, Екатерина Артемова, Владислав Михайлов

Мотивация

Это задание считается крайне сложным, так как требует логических рассуждений и знаний о мире. Задание предполагает вопросы со свободной формой ответа (без выбора ответа); однако правильный ответ образует длинная цепочка причинно-следственных связей между фактами и ассоциациями.

Описание датасета

Поля данных

meta — словарь, содержащий метаинформацию о примере:
- id — номер примера в датасете;
- author — автор вопроса;
- tour name — название игры, в которой использовался вопрос;
- tour_link — ссылка на игру, в которой использовался вопрос (None для тестового сета);
instruction — инструктивный промпт заданный под текущее задание;
inputs — словарь, содержащий следующую входную информацию;
- text — текстовый фрагмент с вопросом из игры “Что? Где? Когда?”;
- topic — строка, содержащая категорию вопроса;
outputs — строка, содержащая правильный ответ на вопрос.

Примеры данных

Каждый пример содержит инструкцию (промпт), вопрос, тему вопроса, правильный ответ и метаинформацию.

{
    "instruction": "Вы участвуете в викторине “Что? Где? Когда?”. Категория вопроса: {topic}\nВнимательно прочитайте и ответьте на него только словом или фразой. Вопрос: {text}\nОтвет:",
    "inputs": {
        "text": "Веку ожерелий (вулкан).",
        "topic": "ГЕОГРАФИЧЕСКИЕ КУБРАЕЧКИ"
    },
    "outputs": "Эре|бус",
    "meta": {
        "id": 2,
        "author": "Борис Шойхет",
        "tour_name": "Карусель. Командное Jeopardy. Кишинёв - 1996.",
        "tour_link": "https://db.chgk.info/tour/karus96"
    }
}

Разбиение данных

Датасет состоит из 29376 обучающих примеров (train set) и 416 тестовых примеров (test set).

Промпты

Для датасета было создано 10 промптов различной сложности.

Пример промпта:

"Вы участвуете в викторине “Что? Где? Когда?”. Категория вопроса: {topic}\nВнимательно прочитайте и ответьте на него только словом или фразой. Вопрос: {text}\nОтвет:"

Создание датасета

Датасет основан на соотвествующем датасете из бенчмарка TAPE [1], который, в свою очередь, был создан на основе оригинального корпуса с вопросами из игры “Что? Где? Когда?” [2].

Оценка

Метрики

Для оценки моделей на данном датасете используется две метрики: F1 score и полное совпадение (Exact Match - EM).

Человеческая оценка

Результаты F1 score /EM равны 0.719 / 0.645, соотвественно.

Литература

[1] Taktasheva, Ekaterina, et al. "TAPE: Assessing Few-shot Russian Language Understanding." Findings of the Association for Computational Linguistics: EMNLP 2022. 2022.

[2] Mikhalkova, Elena, and Alexander A. Khlyupin. "Russian Jeopardy! Data Set for Question-Answering Systems." Proceedings of the Thirteenth Language Resources and Evaluation Conference. 2022.

Задачи