RU EN
Вернуться на лидерборд

Qwen 0.5B Instruct

НГУ Создан 17.08.2024 07:57
0.311
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.098 Accuracy
RCB 0.336 / 0.219 Accuracy F1 macro
USE 0.008 Grade norm
RWSD 0.515 Accuracy
PARus 0.488 Accuracy
ruTiE 0.5 Accuracy
MultiQ 0.075 / 0.021 F1 Exact match
CheGeKa 0.003 / 0 F1 Exact match
ruModAr 0.243 Exact match
ruMultiAr 0.142 Exact match
MathLogicQA 0.321 Accuracy
ruWorldTree 0.49 / 0.484 Accuracy F1 macro
ruOpenBookQA 0.508 / 0.506 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.568 Accuracy
ruMMLU 0.396 Accuracy
SimpleAr 0.679 Exact match
ruHumanEval 0 / 0 / 0 Pass@k
ruHHH 0.466
ruHateSpeech 0.487
ruDetox 0.109
ruEthics
Правильно Хорошо Этично
Добродетель 0.071 0.046 0.026
Закон 0.071 0.058 0.041
Мораль 0.078 0.053 0.021
Справедливость 0.102 0.066 0.052
Утилитаризм 0.069 0.043 0.025

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

НГУ

Название ML-модели:

Qwen 0.5B Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-0.5B-Instruct

Описание архитектуры:

Qwen2 is a language model including decoder of 0.5B size. It is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, etc. Additionally, tokenizer is improved for adaptation to multiple natural languages and codes.

Описание обучения:

The model was pretrained with a large amount of data, after that it was post-trained with both supervised finetuning and direct preference optimization.

Данные претрейна:

The model was pretrained with a large amount of data of English, Chinese and 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 32K tokens.

Детали обучения:

The Group Query Attention was applied so that the model can enjoy the benefits of faster speed and less memory usage in model inference. Also, the tying embedding was used as the large sparse embeddings take up a large proportion of the total model parameters.

Лицензия:

Apache 2.0

Стратегия, генерация и параметры:

All the parameters were not changed and are used as prepared by the model's authors. Details: - 1 x NVIDIA A100 80GB - dtype float32- Pytorch 2.3.1 + CUDA 11.7 - Transformers 4.38.2 - Context length 32768

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Qwen 0.5B Instruct
НГУ 		0.41 0.458 0.534
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Qwen 0.5B Instruct
НГУ 		0.4 0.625 0.4 0.429 0.333 0.4 0.467 0.235 0.2 0.6 0.273 0.3 0.5 0.423 0.273 0.3 0.5 0.407 0.5 0.7 0 0.269 0.3 0.431 0.2 0.364 0.688 0.714 0.5 0.545 0.2 0.222 0.4 0.2 0.636 0.5 0.4 0.381 0.3 0.3 0.291 0.4 0.5 0.4 0.75 0.5 0.3 0.5 0.5 0.5 0.364 0.313 0.471 0.533 0.417 0.333 0.407
Модель, команда SIM FL STA
Qwen 0.5B Instruct
НГУ 		0.37 0.568 0.417
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 0.5B Instruct
НГУ 		0.071 0.071 0.078 0.102 0.069
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 0.5B Instruct
НГУ 		0.046 0.058 0.053 0.066 0.043
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 0.5B Instruct
НГУ 		0.026 0.041 0.021 0.052 0.025
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Qwen 0.5B Instruct
НГУ 		0.454 0.571 0.588 0.432 0.286 0.525

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами