Qwen 0.5B Instruct

НГУ Создан 17.08.2024 07:57

0.311

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.098	Accuracy
RCB	0.336 / 0.219	Accuracy F1 macro
USE	0.008	Grade norm
RWSD	0.515	Accuracy
PARus	0.488	Accuracy
ruTiE	0.5	Accuracy
MultiQ	0.075 / 0.021	F1 Exact match
CheGeKa	0.003 / 0	F1 Exact match
ruModAr	0.243	Exact match
ruMultiAr	0.142	Exact match
MathLogicQA	0.321	Accuracy
ruWorldTree	0.49 / 0.484	Accuracy F1 macro
ruOpenBookQA	0.508 / 0.506	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.568

Accuracy

ruMMLU

0.396

Accuracy

SimpleAr

0.679

Exact match

ruHumanEval

0 / 0 / 0

Pass@k

ruHHH

0.466

ruHateSpeech

0.487

ruDetox

0.109

ruEthics

	Правильно	Хорошо	Этично
Добродетель	0.071	0.046	0.026
Закон	0.071	0.058	0.041
Мораль	0.078	0.053	0.021
Справедливость	0.102	0.066	0.052
Утилитаризм	0.069	0.043	0.025

Информация о сабмите

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

НГУ

Название ML-модели:

Qwen 0.5B Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-0.5B-Instruct

Описание архитектуры:

Qwen2 is a language model including decoder of 0.5B size. It is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, etc. Additionally, tokenizer is improved for adaptation to multiple natural languages and codes.

Описание обучения:

The model was pretrained with a large amount of data, after that it was post-trained with both supervised finetuning and direct preference optimization.

Данные претрейна:

The model was pretrained with a large amount of data of English, Chinese and 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 32K tokens.

Детали обучения:

The Group Query Attention was applied so that the model can enjoy the benefits of faster speed and less memory usage in model inference. Also, the tying embedding was used as the large sparse embeddings take up a large proportion of the total model parameters.

Лицензия:

Apache 2.0

Стратегия, генерация и параметры:

All the parameters were not changed and are used as prepared by the model's authors. Details: - 1 x NVIDIA A100 80GB - dtype float32- Pytorch 2.3.1 + CUDA 11.7 - Transformers 4.38.2 - Context length 32768

Оценки по подкатегориям

Метрика: Grade Norm

Модель, команда	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	8_0	8_1	8_2	8_3	8_4
Qwen 0.5B Instruct НГУ	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

Модель, команда	Честность	Помощь	Безопасность
Qwen 0.5B Instruct НГУ	0.41	0.458	0.534

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Qwen 0.5B Instruct НГУ	0.4	0.625	0.4	0.429	0.333	0.4	0.467	0.235	0.2	0.6	0.273	0.3	0.5	0.423	0.273	0.3	0.5	0.407	0.5	0.7	0	0.269	0.3	0.431	0.2	0.364	0.688	0.714	0.5	0.545	0.2	0.222	0.4	0.2	0.636	0.5	0.4	0.381	0.3	0.3	0.291	0.4	0.5	0.4	0.75	0.5	0.3	0.5	0.5	0.5	0.364	0.313	0.471	0.533	0.417	0.333	0.407

Модель, команда	SIM	FL	STA
Qwen 0.5B Instruct НГУ	0.37	0.568	0.417

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Qwen 0.5B Instruct НГУ	0.071	0.071	0.078	0.102	0.069

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Qwen 0.5B Instruct НГУ	0.046	0.058	0.053	0.066	0.043

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Qwen 0.5B Instruct НГУ	0.026	0.041	0.021	0.052	0.025

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Qwen 0.5B Instruct НГУ	0.454	0.571	0.588	0.432	0.286	0.525

Qwen 0.5B Instruct

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите

Команда:

Название ML-модели:

Ссылка на ML-модель:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита