FRED-T5 1.7B

MERA Создан 12.01.2024 11:14

0.191

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.088	Accuracy
RCB	0.333 / 0.167	Accuracy F1 macro
USE	0	Grade norm
RWSD	0.5	Accuracy
PARus	0.498	Accuracy
ruTiE	0.495	Accuracy
MultiQ	0.031 / 0.001	F1 Exact match
CheGeKa	0.006 / 0	F1 Exact match
ruModAr	0.001	Exact match
ruMultiAr	0.0	Exact match
MathLogicQA	0.246	Accuracy
ruWorldTree	0.255 / 0.13	Accuracy F1 macro
ruOpenBookQA	0.25 / 0.129	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.508

Accuracy

ruMMLU

0.262

Accuracy

SimpleAr

0.0

Exact match

ruHumanEval

0 / 0 / 0

Pass@k

ruHHH

0.494

ruHateSpeech

0.543

ruDetox

0.124

ruEthics

	Правильно	Хорошо	Этично
Добродетель	0	0	0
Закон	0	0	0
Мораль	0	0	0
Справедливость	0	0	0
Утилитаризм	0	0	0

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

FRED-T5 1.7B

Ссылка на ML-модель:

https://huggingface.co/ai-forever/FRED-T5-1.7B

Дополнительные ссылки:

https://arxiv.org/abs/2309.10931

Описание архитектуры:

FRED-T5 (Full-scale Russian Enhanced Denoisers) is an encoder-decoder model based on T5 and UL2. Number of attantion heads 24. The dimensions of the hidden layers 1536. GELU activation function.

Описание обучения:

Bbpe tokenizer. 50257 + special tokens 107. Prefix tokens: '<LM>', '<SC1>',.. '<SC6>'. Drawing inspiration from Tay et al. (2022), the FRED-T5 1.7.B (or XL) model was pretrained on a mixture of denoisers (MoD), a pretraining objective that represents a set of diverse pretraining objectives. The R-Denoiser is a masked language modeling span corruption objective used in T5. The S-Denoiser follows the language modeling objective, where the input sequence is split into the context and target tokens so that the targets do not rely on future information. The X-Denoiser aims to recover a large part of the input based on the span corruption and language modeling objectives.

Данные претрейна:

It was trained on Russian language corpus (300GB).

Детали обучения:

FRED-T5 is pretrained using a linear scheduler with the initial learning rate of 1e−4 and the Adafactor optimizer (Shazeer and Stern, 2018) with β1 = 0.9, β2 = 0.99, and ϵ = 1e−8. The sequence length is set to 512/512 for inputs and targets. The FRED-T5-XL models is pretrained with a total batch size of 2048 and for 45 days on 112 A100 GPUs.

Лицензия:

MIT

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 512

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
FRED-T5 1.7B MERA	0.508	0.475	0.5

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
FRED-T5 1.7B MERA	0	0.375	0.3	0.343	0.095	0.3	0.2	0.412	0.5	0	0.455	0.8	0.1	0.423	0.182	0.3	0.3	0.296	0.5	0.3	0.2	0.288	0.1	0.196	0	0.364	0.313	0.357	0	0.182	0.2	0.444	0.2	0.1	0.182	0.4	0.2	0.286	0.4	0.4	0.266	0.2	0.3	0.3	0.25	0.3	0.2	0.2	0.1	0.1	0.182	0.188	0.353	0.2	0.125	0.152	0.333

Модель, команда	SIM	FL	STA
FRED-T5 1.7B MERA	0.315	0.559	0.277

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 1.7B MERA	0	0	0	0	0

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 1.7B MERA	0	0	0	0	0

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
FRED-T5 1.7B MERA	0	0	0	0	0

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
FRED-T5 1.7B MERA	0.519	0.686	0.588	0.595	0.286	0.492

FRED-T5 1.7B

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита