FRED-T5 large 820M

MERA Создан 12.01.2024 11:15

0.194

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.086	Accuracy
RCB	0.354 / 0.248	Accuracy F1 macro
USE	0	Grade norm
RWSD	0.492	Accuracy
PARus	0.492	Accuracy
ruTiE	0.493	Accuracy
MultiQ	0.052 / 0	F1 Exact match
CheGeKa	0.001 / 0	F1 Exact match
ruModAr	0.0	Exact match
ruMultiAr	0.0	Exact match
MathLogicQA	0.24	Accuracy
ruWorldTree	0.232 / 0.174	Accuracy F1 macro
ruOpenBookQA	0.265 / 0.215	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.475

Accuracy

ruMMLU

0.248

Accuracy

SimpleAr

0.0

Exact match

ruHumanEval

0 / 0 / 0

Pass@k

ruHHH

0.472

ruHateSpeech

0.543

ruDetox

0.003

ruEthics

	Правильно	Хорошо	Этично
Добродетель	0	0	0
Закон	0	0	0
Мораль	0	0	0
Справедливость	0	0	0
Утилитаризм	0	0	0

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

FRED-T5 large 820M

Ссылка на ML-модель:

https://huggingface.co/ai-forever/FRED-T5-large

Дополнительные ссылки:

https://arxiv.org/abs/2309.10931

Описание архитектуры:

FRED-T5 (Full-scale Russian Enhanced Denoisers) is an encoder-decoder model based on T5 and UL2. Number of attantion heads 16. The dimensions of the hidden layers 1024 and the fully connected layers 2816. GELU activation function.

Описание обучения:

Bbpe tokenizer. 50257 + special tokens 107. Prefix tokens: '<LM>', '<SC1>',.. '<SC6>'. Drawing inspiration from Tay et al. (2022), the FRED-T5 1.7.B (or XL) model was pretrained on a mixture of denoisers (MoD), a pretraining objective that represents a set of diverse pretraining objectives. The R-Denoiser is a masked language modeling span corruption objective used in T5. The S-Denoiser follows the language modeling objective, where the input sequence is split into the context and target tokens so that the targets do not rely on future information. The X-Denoiser aims to recover a large part of the input based on the span corruption and language modeling objectives.

Данные претрейна:

It was trained on Russian language corpus (300GB).

Детали обучения:

FRED-T5 is pretrained using a linear scheduler with the initial learning rate of 1e−4 and the Adafactor optimizer (Shazeer and Stern, 2018) with β1 = 0.9, β2 = 0.99, and ϵ = 1e−8. The sequence length is set to 512/512 for inputs and targets. The FRED-T5-XL models is pretrained pretrained with a total batch size of 2048 for 35 days on 160 V100 GPUs, followed by 5 days on 80 A100 GPUs.

Лицензия:

MIT

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 512

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
FRED-T5 large 820M MERA	0.492	0.458	0.466

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
FRED-T5 large 820M MERA	0.5	0.25	0.2	0.143	0.286	0.3	0.133	0.235	0.1	0.4	0.182	0	0.6	0.192	0.136	0.3	0.1	0.296	0.7	0.2	0.4	0.212	0.2	0.255	0.3	0.364	0.25	0.214	0.1	0.091	0.3	0.056	0.4	0.1	0.091	0.2	0.2	0.286	0.4	0	0.278	0.1	0.3	0.4	0.25	0.3	0.4	0.4	0.2	0.5	0.318	0.188	0.265	0.267	0.167	0.242	0.296

Модель, команда	SIM	FL	STA
FRED-T5 large 820M MERA	0.098	0.55	0.051

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 large 820M MERA	0	0	0	0	0

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 large 820M MERA	0	0	0	0	0

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 large 820M MERA	0	0	0	0	0

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
FRED-T5 large 820M MERA	0.519	0.686	0.588	0.595	0.286	0.492

FRED-T5 large 820M

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита