ruTXTAquaBench

AquaBench — датасет, предназначенный для измерения профессиональных знаний модели, приобретенных в процессе предобучения в области аквакультуры.

Аквакультура — важный сектор агропромышленного комплекса, занимающийся разведением водных организмов (рыб, ракообразных, моллюсков, водорослей). Предприятия аквакультуры являются производителями ценного белка и помогают сохранить исчезающие виды, такие как осетровые и лососевые, выпуская мальков в водоемы. Развитие аквакультуры имеет стратегическое значение для продуктовой безопасности страны и позволяет выращивать разнообразные водные виды, вылов которых в дикой природе запрещен или невозможен.

Датасет полностью оригинальный, составлен на русском языке и включает 1102 задания закрытого типа. Для каждого вопроса — от четырех до восьми вариантов ответа, один или несколько из которых могут быть правильными. Темы охватывают несколько направлений: индустриальную аквакультуру, кормление рыбы и гидробионтов, марикультуру (например, разведение раков, креветок, выращивание жемчуга), а также ихтиопатологию (ветеринария, профилактика и оптимизация технологий выращивания рыбы).

Ключевые слова: Сельское хозяйство, АПК, Агропромышленный комплекс, Аграрный сектор, Рыбоводство, Аквакультура, Индустриальная аквакультура, Кормление рыбы и других гидробионтов, Марикультура, Разведение раков, Разведение креветок, Искусственное выращивание жемчуга, Ихтиопатология

Авторы: Кубанский государственный аграрный университет

Мотивация

Данная задача является одним из восьми бенчмарков в наборе по сельскому хозяйству и предназначена для проверки профессиональных знаний в области аквакультуры. По своей структуре и назначению она напоминает общеизвестный тест MMLU и подходит для всестороннего тестирования языковых моделей на качество понимания и ответов в професиональной области. Мы предоставляем публичную тестовую версию аквабенчмарка по формату MMLU на русском языке для оценки возможностей моделей на реальных профессиональных задачах.

Описание датасета

Поля датасета

• instruction — строка, содержащая инструкцию к вопросу;
• inputs — словарь, содержащий входные данные:
  • question — строка с вопросом задачи;
  • option_a — вариант ответа A;
  • option_b — вариант ответа B;
  • option_c — вариант ответа C;
  • option_d — вариант ответа D;
  • option_e — вариант ответа E;
  • option_f — вариант ответа F;
  • option_g — вариант ответа G;
  • option_h — вариант ответа H;
• outputs — строка, содержащая правильный ответ на задачу (одна или несколько букв (от A до H) через запятую в алфавитном порядке);
• meta — словарь, содержащий метаинформацию каждого вопроса:
  • id — целое число, уникальный номер задачи в датасете;
  • domain — строка, содержащая название домена, к которому относится задача.

Промпты

Для датасета было подготовлено 10 промптов различной сложности.

Пример:

"Выбери правильные варианты ответа по теме "{domain}" для вопроса:\n{question}\n\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n\nОтвет: только буквы. Несколько — в алфавитном порядке, через запятую и пробел ("A, B, C")."

Создание датасета

Все задачи данного сета были созданы ведущими экспертами в области аквакультуры, отредактированы профессиональными редакторами, затем вручную перепроверены по очереди тремя экспертами.

Метрика

Метрики качества: Exact Match и F1.