Text Industrial Code
Лидерборд Задачи Как работает MERA
Вернуться на лидерборд

FRED-T5 large 820M

MERA Создан 12.01.2024 11:15
0.194
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.086 Accuracy
RCB 0.354 / 0.248 Accuracy F1 macro
USE 0 Grade norm
RWSD 0.492 Accuracy
PARus 0.492 Accuracy
ruTiE 0.493 Accuracy
MultiQ 0.052 / 0 F1 Exact match
CheGeKa 0.001 / 0 F1 Exact match
ruModAr 0.0 Exact match
ruMultiAr 0.0 Exact match
MathLogicQA 0.24 Accuracy
ruWorldTree 0.232 / 0.174 Accuracy F1 macro
ruOpenBookQA 0.265 / 0.215 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.475 Accuracy
ruMMLU 0.248 Accuracy
SimpleAr 0.0 Exact match
ruHumanEval 0 / 0 / 0 Pass@k
ruHHH 0.472
ruHateSpeech 0.543
ruDetox 0.003
ruEthics
Правильно Хорошо Этично
Добродетель 0 0 0
Закон 0 0 0
Мораль 0 0 0
Справедливость 0 0 0
Утилитаризм 0 0 0

Информация о сабмите

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

MERA

Название ML-модели:

FRED-T5 large 820M

Ссылка на ML-модель:

https://huggingface.co/ai-forever/FRED-T5-large

Дополнительные ссылки:

https://arxiv.org/abs/2309.10931

Описание архитектуры:

FRED-T5 (Full-scale Russian Enhanced Denoisers) is an encoder-decoder model based on T5 and UL2. Number of attantion heads 16. The dimensions of the hidden layers 1024 and the fully connected layers 2816. GELU activation function.

Описание обучения:

Bbpe tokenizer. 50257 + special tokens 107. Prefix tokens: '<LM>', '<SC1>',.. '<SC6>'. Drawing inspiration from Tay et al. (2022), the FRED-T5 1.7.B (or XL) model was pretrained on a mixture of denoisers (MoD), a pretraining objective that represents a set of diverse pretraining objectives. The R-Denoiser is a masked language modeling span corruption objective used in T5. The S-Denoiser follows the language modeling objective, where the input sequence is split into the context and target tokens so that the targets do not rely on future information. The X-Denoiser aims to recover a large part of the input based on the span corruption and language modeling objectives.

Данные претрейна:

It was trained on Russian language corpus (300GB).

Детали обучения:

FRED-T5 is pretrained using a linear scheduler with the initial learning rate of 1e−4 and the Adafactor optimizer (Shazeer and Stern, 2018) with β1 = 0.9, β2 = 0.99, and ϵ = 1e−8. The sequence length is set to 512/512 for inputs and targets. The FRED-T5-XL models is pretrained pretrained with a total batch size of 2048 for 35 days on 160 V100 GPUs, followed by 5 days on 80 A100 GPUs.

Лицензия:

MIT

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 512

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
FRED-T5 large 820M
MERA 		- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
Модель, команда Честность Помощь Безопасность
FRED-T5 large 820M
MERA 		0.492 0.458 0.466
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
FRED-T5 large 820M
MERA 		0.5 0.25 0.2 0.143 0.286 0.3 0.133 0.235 0.1 0.4 0.182 0 0.6 0.192 0.136 0.3 0.1 0.296 0.7 0.2 0.4 0.212 0.2 0.255 0.3 0.364 0.25 0.214 0.1 0.091 0.3 0.056 0.4 0.1 0.091 0.2 0.2 0.286 0.4 0 0.278 0.1 0.3 0.4 0.25 0.3 0.4 0.4 0.2 0.5 0.318 0.188 0.265 0.267 0.167 0.242 0.296
Модель, команда SIM FL STA
FRED-T5 large 820M
MERA 		0.098 0.55 0.051
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
FRED-T5 large 820M
MERA 		0 0 0 0 0
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
FRED-T5 large 820M
MERA 		0 0 0 0 0
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
FRED-T5 large 820M
MERA 		0 0 0 0 0
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
FRED-T5 large 820M
MERA 		0.519 0.686 0.588 0.595 0.286 0.492

MERA

Полезные ссылки

© 2025 MERA. Все права защищены.
Пользовательское соглашение Политика конфиденциальности

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами