SimpleAr

Описание задачи

Simple Arithmetic (SimpleAr) / Простая арифметика — это математическая задача из BIG-bench.

Задача проверяет базовые арифметические возможности языковых моделей, предлагая моделям выполнить сложение цифр из n-значных чисел (для n в диапазоне [1;5]).

Замечание: Это диагностическое задание с открытым тестом. Результат на ней не участвует в расчет общего результата (Total score) модели на бенчмарке.

Ключевые слова: арифметика, задача с примером, свободный ответ, математика, числовой ответ, программный, zero-shot.

Мотивация

Цель задачи — проанализировать способность модели решать простую задачу математического сложения.

Описание Датасета

Поля данных

instruction — строка, содержащая инструкцию для задачи и информацию о требованиях к формату вывода модели;
inputs — пример математического выражения;
outputs — строка, содержащая правильный ответ результата сложения двух чисел;
meta — словарь, содержащий метаинформацию:
- id — целое число, обозначающее номер задания.

Пример данных

Ниже приведен пример данных из датасета:

{
    "instruction": "Напишите ответ для математического выражения.\n{inputs}",
    "inputs": "663 + 806 = ",
    "outputs": "1469",
    "meta": {
        "id": 412
    }
}

Разбиение данных

Обучающий набор состоит из 1000 примеров арифметических выражений. Тестовый набор состоит из 1000 примеров арифметических выражений.

Промпты

Количество промптов для задачи: 10.

Пример промпта:

"Реши математическую задачу на сложение чисел. Выведи ответ в формате \"number\", где number - число, которое является результатом сложения.\nОтвет:"

Создание датасета

Как обучающий, так и тестовый набор данных содержат примеры сложения n-значных чисел для n в диапазоне [1;5]. Все примеры сгенерированы и проверены.

Оценка

Метрики

В качестве метрики оценки качества используется Exact Match (EM).

Человеческая оценка

Человеческая оценка замерялась на сабсете размера 200 (с аналогичным распределением как в исходном сете). Результат на этой задаче равен 1.0.

Задачи