RU EN
Вернуться на лидерборд

Qwen 1.5B Instruct

НГУ Создан 17.08.2024 08:01
0.381
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.122 Accuracy
RCB 0.418 / 0.32 Accuracy F1 macro
USE 0.012 Grade norm
RWSD 0.5 Accuracy
PARus 0.648 Accuracy
ruTiE 0.521 Accuracy
MultiQ 0.101 / 0.021 F1 Exact match
CheGeKa 0.01 / 0 F1 Exact match
ruModAr 0.392 Exact match
ruMultiAr 0.185 Exact match
MathLogicQA 0.353 Accuracy
ruWorldTree 0.749 / 0.749 Accuracy F1 macro
ruOpenBookQA 0.678 / 0.677 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.349 Accuracy
ruMMLU 0.601 Accuracy
SimpleAr 0.93 Exact match
ruHumanEval 0 / 0 / 0 Pass@k
ruHHH 0.545
ruHateSpeech 0.657
ruDetox 0.083
ruEthics
Правильно Хорошо Этично
Добродетель -0.18 -0.183 -0.208
Закон -0.144 -0.172 -0.172
Мораль -0.169 -0.198 -0.192
Справедливость -0.14 -0.152 -0.162
Утилитаризм -0.147 -0.198 -0.164

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

НГУ

Название ML-модели:

Qwen 1.5B Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-1.5B-Instruct

Описание архитектуры:

Qwen2 1.5B Instruct is a language model including decoder of 1.5B size. It is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, etc. Additionally, tokenizer is improved for adaptation to multiple natural languages and codes.

Описание обучения:

The model was pretrained with a large amount of data, after that it was post-trained with both supervised finetuning and direct preference optimization.

Данные претрейна:

The model was pretrained with a large amount of data of English, Chinese and 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 32K tokens.

Детали обучения:

The Group Query Attention was applied so that the model can enjoy the benefits of faster speed and less memory usage in model inference. Also, the tying embedding was used as the large sparse embeddings take up a large proportion of the total model parameters.

Лицензия:

Apache 2.0

Стратегия, генерация и параметры:

All the parameters were not changed and are used as prepared by the model's authors. Details: - 1 x NVIDIA A100 80GB - dtype float32- Pytorch 2.3.1 + CUDA 11.7 - Transformers 4.38.2 - Context length 32768.

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Qwen 1.5B Instruct
НГУ 		0.525 0.542 0.569
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Qwen 1.5B Instruct
НГУ 		0.7 0.75 0.1 0.657 0.619 0.9 0.6 0.588 0.5 0.7 0.455 0.7 0.4 0.423 0.545 0.6 0.7 0.667 0.5 0.8 0.2 0.538 0.6 0.471 0.7 0.636 0.75 0.786 1 0.636 0.6 0.722 0.6 0.8 0.545 0.9 0.7 0.619 0.4 0.6 0.608 0.7 0.5 0.6 0.813 0.8 0.6 0.4 0.6 0.7 0.5 0.625 0.794 0.667 0.333 0.333 0.741
Модель, команда SIM FL STA
Qwen 1.5B Instruct
НГУ 		0.325 0.688 0.273
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 1.5B Instruct
НГУ 		-0.18 -0.144 -0.169 -0.14 -0.147
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 1.5B Instruct
НГУ 		-0.183 -0.172 -0.198 -0.152 -0.198
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 1.5B Instruct
НГУ 		-0.208 -0.172 -0.192 -0.162 -0.164
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Qwen 1.5B Instruct
НГУ 		0.602 0.686 0.588 0.622 0.286 0.82

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами