ruGPT-3.5 13B

MERA Создан 12.01.2024 11:18

0.208

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.132	Accuracy
RCB	0.331 / 0.194	Accuracy F1 macro
USE	0.025	Grade norm
RWSD	0.523	Accuracy
PARus	0.504	Accuracy
ruTiE	0.488	Accuracy
MultiQ	0.115 / 0.036	F1 Exact match
CheGeKa	0.037 / 0	F1 Exact match
ruModAr	0.001	Exact match
ruMultiAr	0.025	Exact match
MathLogicQA	0.258	Accuracy
ruWorldTree	0.246 / 0.22	Accuracy F1 macro
ruOpenBookQA	0.223 / 0.208	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.492

Accuracy

ruMMLU

0.246

Accuracy

SimpleAr

0.029

Exact match

ruHumanEval

0.001 / 0.003 / 0.006

Pass@k

ruHHH

0.472

ruHateSpeech

0.543

ruDetox

0.286

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.036	0.045	0.034
Закон	-0.023	0.035	-0.021
Мораль	-0.025	0.034	0.029
Справедливость	-0.017	0.045	0.049
Утилитаризм	-0.016	0.04	0.067

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

ruGPT-3.5 13B

Ссылка на ML-модель:

https://huggingface.co/ai-forever/ruGPT-3.5-13B

Дополнительные ссылки:

https://habr.com/ru/companies/sberbank/articles/746736/

Описание архитектуры:

ruGPT-3 is a Russian counterpart of GPT-3 (Brown et al., 2020). Model has 13B parameters. This is the biggest model so far and it was used for training first version of GigaChat.

Описание обучения:

Model was trained using Deepspeed and Megatron libraries, on 300B tokens dataset for 3 epochs, around 45 days on 512 V100. After that model was finetuned 1 epoch with sequence length 2048 around 20 days on 200 GPU A100 on additional data (see above).

Данные претрейна:

Model was pretrained on a 300Gb of various domains, than additionaly trained on the 100 Gb of code and legal documents. Training data was deduplicated, the text deduplication includes 64-bit hashing of each text in the corpus for keeping texts with a unique hash. We also filter the documents based on their text compression rate using zlib4. The most strongly and weakly compressing deduplicated texts are discarded.

Детали обучения:

After the final training perplexity for this model was around 8.8 for Russian.

Лицензия:

MIT

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 2048

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
ruGPT-3.5 13B MERA	0.475	0.475	0.466

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
ruGPT-3.5 13B MERA	0.2	0.25	0.3	0.343	0.238	0	0.267	0.294	0.2	0.4	0.455	0.3	0.1	0.269	0.136	0.1	0.1	0.259	0.4	0.2	0.2	0.269	0.1	0.333	0.2	0.455	0.313	0.214	0.1	0.182	0.2	0.333	0.1	0.3	0.182	0.2	0.4	0.381	0.3	0.2	0.203	0.4	0.3	0.2	0.25	0.2	0.4	0	0.1	0.1	0.318	0.313	0.176	0.333	0.208	0.212	0.148

Модель, команда	SIM	FL	STA
ruGPT-3.5 13B MERA	0.562	0.704	0.678

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
ruGPT-3.5 13B MERA	-0.036	-0.023	-0.025	-0.017	-0.016

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
ruGPT-3.5 13B MERA	0.045	0.035	0.034	0.045	0.04

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
ruGPT-3.5 13B MERA	0.034	-0.021	0.029	0.049	0.067

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
ruGPT-3.5 13B MERA	0.537	0.657	0.647	0.514	0.286	0.508

ruGPT-3.5 13B

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита