T-lite-0.1

T-Bank AI Создан 16.08.2024 09:45

0.492

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.14	Accuracy
RCB	0.511 / 0.418	Accuracy F1 macro
USE	0.05	Grade norm
RWSD	0.585	Accuracy
PARus	0.858	Accuracy
ruTiE	0.681	Accuracy
MultiQ	0.383 / 0.29	F1 Exact match
CheGeKa	0.118 / 0.06	F1 Exact match
ruModAr	0.667	Exact match
ruMultiAr	0.269	Exact match
MathLogicQA	0.37	Accuracy
ruWorldTree	0.88 / 0.88	Accuracy F1 macro
ruOpenBookQA	0.783 / 0.782	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.358

Accuracy

ruMMLU

0.759

Accuracy

SimpleAr

0.955

Exact match

ruHumanEval

0.023 / 0.113 / 0.226

Pass@k

ruHHH

0.596

ruHateSpeech

0.732

ruDetox

0.197

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.076	-0.187	-0.225
Закон	-0.091	-0.213	-0.23
Мораль	-0.092	-0.193	-0.222
Справедливость	-0.071	-0.185	-0.215
Утилитаризм	-0.11	-0.153	-0.231

Информация о сабмите

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

T-Bank AI

Название ML-модели:

T-lite-0.1

Ссылка на ML-модель:

https://huggingface.co/AnatoliiPotapov/T-lite-0.1

Дополнительные ссылки:

https://huggingface.co/AnatoliiPotapov/T-lite-instruct-0.1

Описание архитектуры:

T-lite is a decoder language model with: pre-normalization via RMSNorm SwiGLU activation function rotary positional embeddings (RoPE) grouped query attention (GQA) T-lite was trained in bf16.

Описание обучения:

We employed the Decoupled AdamW optimizer with β1 = 0.9, β2 = 0.95, and eps = 1.0e-8. The learning rate was set to 1.0e-5 with a constant schedule and a warmup period of 10 steps during stage 1, and a cosine schedule during stage 2. Weight decay was applied at a rate of 1.0e-6, and gradient clipping was performed with a maximum norm of 1.0. The maximum sequence length was set to 8192. Each batch contained approximately 6 million tokens. Training was conducted using Fully Sharded Data Parallel (FSDP) with full shard/hybrid shard strategies. The setup achieved a throughput of 3000 tokens/sec/GPU. We achieved a 0.59 Model FLOPs Utilization (MFU).

Данные претрейна:

Stage 1 Massive continual pre-training 300B tokens * 0.3 epoch Proportion of data in Russian is 85%, as a trade-off between language adoptation and English language performance Styles and topics in Common Crawl (CC) data were downsampled Domains in book datasets were balanced Proportion of code data was increased Stage 2 Focuses on refining the quality of the dataset 20B tokens * 3 epochs Includes instructional sets of smaller volume Advertisements and news were aggressively downsampled Instructions and articles were upsampled Educational content was balanced

Детали обучения:

Лицензия:

WTFPL

Стратегия, генерация и параметры:

1 Nvidia A100 Context length: 8192 dtype: bfloat16 Pytorch==2.3.1 + Transformers 4.44.0 + CUDA 12.1

Комментарии об инференсе:

🚨 T-lite is designed for further fine-tuning and is not intended as a ready-to-use conversational assistant. Users are advised to exercise caution and are responsible for any additional training and oversight required to ensure the model's responses meet acceptable ethical and safety standards. The responsibility for incorporating this model into industrial or commercial solutions lies entirely with those who choose to deploy it.

Оценки по подкатегориям

Метрика: Grade Norm

Модель, команда	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	8_0	8_1	8_2	8_3	8_4
T-lite-0.1 T-Bank AI	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

Модель, команда	Честность	Помощь	Безопасность
T-lite-0.1 T-Bank AI	0.541	0.542	0.707

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
T-lite-0.1 T-Bank AI	0.8	0.813	0.9	0.771	0.762	1	0.8	0.824	0.8	1	0.818	0.9	0.7	0.654	0.5	0.5	0.7	0.815	0.7	1	0.4	0.808	0.8	0.765	0.7	0.909	0.688	0.714	0.9	0.818	0.6	0.889	0.6	0.8	0.818	1	1	0.81	0.5	0.6	0.835	0.9	0.9	0.9	0.938	0.7	0.9	0.5	0.5	1	0.5	0.813	0.912	0.867	0.333	0.515	0.704

Модель, команда	SIM	FL	STA
T-lite-0.1 T-Bank AI	0.511	0.727	0.419

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
T-lite-0.1 T-Bank AI	-0.076	-0.091	-0.092	-0.071	-0.11

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
T-lite-0.1 T-Bank AI	-0.187	-0.213	-0.193	-0.185	-0.153

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
T-lite-0.1 T-Bank AI	-0.225	-0.23	-0.222	-0.215	-0.231

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
T-lite-0.1 T-Bank AI	0.731	0.743	0.706	0.649	0.571	0.803

T-lite-0.1

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Комментарии об инференсе:

Оценки по подкатегориям

Подтвердите удаление сабмита