Human Benchmark

MERA Создан 21.11.2023 14:04

0.852

Общий результат

Место в рейтинге

В топе по задачам:

RWSD

Задача входит в число основных

PARus

Задача входит в число основных

ruEthics

MultiQ

Задача входит в число основных

CheGeKa

Задача входит в число основных

ruMMLU

ruHateSpeech

ruDetox

ruTiE

Задача входит в число основных

ruHumanEval

USE

Задача входит в число основных

MathLogicQA

Задача входит в число основных

ruMultiAr

Задача входит в число основных

SimpleAr

LCS

Задача входит в число основных

BPS

ruModAr

Задача входит в число основных

ruCodeEval

Задача входит в число основных

+14

Скрыть

Слабые задачи:

RCB

112

ruWorldTree

ruOpenBookQA

ruHHH

MaMuRAMu

Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.56	Accuracy
RCB	0.565 / 0.587	Accuracy F1 macro
USE	0.701	Grade norm
RWSD	0.835	Accuracy
PARus	0.982	Accuracy
ruTiE	0.942	Accuracy
MultiQ	0.928 / 0.91	F1 Exact match
CheGeKa	0.719 / 0.645	F1 Exact match
ruModAr	0.999	Exact match
ruMultiAr	0.998	Exact match
MathLogicQA	0.99	Accuracy
ruWorldTree	0.935 / 0.935	Accuracy F1 macro
ruOpenBookQA	0.875 / 0.865	Accuracy F1 macro
MaMuRaMu	0.796	Accuracy
ruCodeEval	1.0	Pass@k

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

1.0

Accuracy

ruMMLU

0.844

Accuracy

SimpleAr

1.0

Exact match

ruHumanEval

1 / 1 / 1

Pass@k

ruHHH

0.815

ruHateSpeech

0.985

ruDetox

0.447

ruEthics

	Правильно	Хорошо	Этично
Добродетель	0.813	0.802	0.771
Закон	0.864	0.832	0.817
Мораль	0.88	0.837	0.811
Справедливость	0.748	0.789	0.729
Утилитаризм	0.684	0.675	0.665

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

Human Benchmark

Ссылка на ML-модель:

https://github.com/ai-forever/MERA/humanbenchmarks/

Тип модели:

Закрытая

API

Открытая

Претрейн

SFT

MoE

Описание архитектуры:

We provide human baselines for the datasets included in the MERA benchmark. Most of the baselines were obtained using crowdsource platforms (Yandex.Toloka & ABC Elementary) where the annotators were presented with the same instructions and tasks as it is intended for language models in MERA. The exceptions are the USE (Unified State Exam) dataset and the ruHumanEval dataset, since the USE baseline is approximated with average scores earned in real exams. The details about human assessment for Russian SuperGLUE and TAPE are covered in the corresponding papers (RSG paper, TAPE paper), we use the previous results of human evaluations on these two datasets.

Описание обучения:

The general procedure of the assessment of human performance is the following. Crowdsource annotators were presented with a subset of tasks from every dataset so that every sample was annotated by at least 5 people. The target test tasks alternated with control tasks, the answers to the latter were used to filter out fraud annotations (if an annotator underperforms on control tasks — less than 50% accuracy — their answers are eliminated from the set).

Данные претрейна:

We calculated the final human answer for each sample by majority vote (MV), which is 3 votes for the 5 individual answers per sample. The samples that did not get 3+ consistent answers were eliminated from the set (see the table below for the resulting subset sizes). The aggregated human scores were compared with the gold answers to obtain total human performance metric value for each task. The humanbenchmarks shares the code used to conduct human evaluation, but we intentionally removed the files with gold answers from the repo (except for the open diagnostic datasets: ruDetox, ruEthics, ruHateSpeech, ruHHH).

Детали обучения:

Лицензия:

MIT

Стратегия, генерация и параметры:

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
Human Benchmark MERA	0.705	0.797	0.948

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Human Benchmark MERA	0.4	0.25	0.2	0.143	0.286	0.4	0.133	0.412	0.2	0.2	0.091	0.3	0.4	0.231	0.227	0.3	0.2	0.296	0.1	0.1	0.1	0.212	0.2	0.412	0.2	0.091	0.125	0.143	0.2	0.273	0.2	0.389	0.2	0.2	0.455	0.2	0.2	0.238	0.6	0.2	0.266	0.1	0.4	0.4	0.188	0.2	0.2	0.3	0.2	0	0.227	0.313	0.294	0.267	0.125	0.303	0.148

Модель, команда	SIM	FL	STA
Human Benchmark MERA	0.728	0.822	0.758

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Human Benchmark MERA	0.813	0.864	0.88	0.748	0.684

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Human Benchmark MERA	0.802	0.832	0.837	0.789	0.675

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Human Benchmark MERA	0.771	0.817	0.811	0.729	0.665

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Human Benchmark MERA	1	0.914	1	1	1	0.984

Human Benchmark

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Тип модели:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита