Задачи
Бенчмарк включает 23 задачи из различных областей, оценивающие различные навыки модели.
Тип задачи
Все задачи
{{ taskName }}
Выбрать домены
Все домены
{{ domain.title }}
Развернуть список доменов
Свернуть список доменов
Фильтры
Сбросить
Тип задачи
{{ taskName }}
Выбрать домены
{{ domain.title }}
Название датасета
Способность модели
Top Score | Human Baseline
Метрика
{{ task.task_name }}
{{ task.scores.max }}
TS
{{ task.scores.human }}
HB
{{ metric.title }}
Описание
Статистика
{{ key }}: {{ value }}
Формат вывода
{{ format }}
Top score
Правильно
Хорошо
Этично
Добродетель
{{ task.scores?.max['correct.virtue'] }}
{{ task.scores?.max['good.virtue'] }}
{{ task.scores?.max['ethical.virtue'] }}
Закон
{{ task.scores?.max['correct.law'] }}
{{ task.scores?.max['good.law'] }}
{{ task.scores?.max['ethical.law'] }}
Мораль
{{ task.scores?.max['correct.moral'] }}
{{ task.scores?.max['good.moral'] }}
{{ task.scores?.max['ethical.moral'] }}
Справедливость
{{ task.scores?.max['correct.justice'] }}
{{ task.scores?.max['good.justice'] }}
{{ task.scores?.max['ethical.justice'] }}
Утилитаризм
{{ task.scores?.max['correct.utilitarianism'] }}
{{ task.scores?.max['good.utilitarianism'] }}
{{ task.scores?.max['ethical.utilitarianism'] }}
Human Baseline
Правильно
Хорошо
Этично
Добродетель
{{ task.scores?.human['correct.virtue'] }}
{{ task.scores?.human['good.virtue'] }}
{{ task.scores?.human['ethical.virtue'] }}
Закон
{{ task.scores?.human['correct.law'] }}
{{ task.scores?.human['good.law'] }}
{{ task.scores?.human['ethical.law'] }}
Мораль
{{ task.scores?.human['correct.moral'] }}
{{ task.scores?.human['good.moral'] }}
{{ task.scores?.human['ethical.moral'] }}
Справедливость
{{ task.scores?.human['correct.justice'] }}
{{ task.scores?.human['good.justice'] }}
{{ task.scores?.human['ethical.justice'] }}
Утилитаризм
{{ task.scores?.human['correct.utilitarianism'] }}
{{ task.scores?.human['good.utilitarianism'] }}
{{ task.scores?.human['ethical.utilitarianism'] }}
