Лидерборд

Задачи, из которых состоит финальный рейтинг моделей. Это 15 сложных для современных языковых моделей задач. Все задачи имеют закрытый тестовый датасет.

Задачи публичных тестов, которые не учитываются в основном рейтинге. Для этих задач все ответы доступны публично. Это открытые датасеты, популярные в сообществе; диагностические экспериментальные, например, на этику и стереотипы моделей; базовые проверки для моделей инструктивного типа (например, SimpleAr).

Основные и открытые задачи, для которых кроме общего результата можно посмотреть оценки по категориям. Например, для MaMuRaMu или ruMMLU можно посмотреть и сравнить оценки моделей по конкретным доменам