Описание задачи
Simple Arithmetic (SimpleAr) / Простая арифметика — это математическая задача из BIG-bench.
Задача проверяет базовые арифметические возможности языковых моделей, предлагая моделям выполнить сложение цифр из n-значных чисел (для n в диапазоне [1;5]).
Замечание: Это диагностическое задание с открытым тестом. Результат на ней не участвует в расчет общего результата (Total score) модели на бенчмарке.
Ключевые слова: арифметика, задача с примером, свободный ответ, математика, числовой ответ, программный, zero-shot.
Мотивация
Цель задачи — проанализировать способность модели решать простую задачу математического сложения.
Поля данных
instruction— строка, содержащая инструкцию для задачи и информацию о требованиях к формату вывода модели;inputs— пример математического выражения;outputs— строка, содержащая правильный ответ результата сложения двух чисел;meta— словарь, содержащий метаинформацию:id— целое число, обозначающее номер задания.
Промпты
Количество промптов для задачи: 10.
Пример промпта:
"Реши математическую задачу на сложение чисел. Выведи ответ в формате \"number\", где number - число, которое является результатом сложения.\nОтвет:"
Создание датасета
Как обучающий, так и тестовый набор данных содержат примеры сложения n-значных чисел для n в диапазоне [1;5]. Все примеры сгенерированы и проверены.
Человеческая оценка
Человеческая оценка замерялась на подмножестве размера 200 (с аналогичным распределением как в исходном сете). Результат на этой задаче равен 1.0.
