RU EN
Вернуться на лидерборд

Qwen 7B Instruct

НГУ Создан 17.08.2024 08:05
0.443
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.094 Accuracy
RCB 0.505 / 0.417 Accuracy F1 macro
USE 0.023 Grade norm
RWSD 0.527 Accuracy
PARus 0.84 Accuracy
ruTiE 0.64 Accuracy
MultiQ 0.112 / 0.019 F1 Exact match
CheGeKa 0.022 / 0 F1 Exact match
ruModAr 0.381 Exact match
ruMultiAr 0.299 Exact match
MathLogicQA 0.5 Accuracy
ruWorldTree 0.933 / 0.933 Accuracy F1 macro
ruOpenBookQA 0.835 / 0.834 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.162 Accuracy
ruMMLU 0.777 Accuracy
SimpleAr 0.991 Exact match
ruHumanEval 0 / 0 / 0 Pass@k
ruHHH 0.635
ruHateSpeech 0.747
ruDetox 0.149
ruEthics
Правильно Хорошо Этично
Добродетель -0.37 -0.313 -0.316
Закон -0.369 -0.298 -0.292
Мораль -0.362 -0.312 -0.33
Справедливость -0.327 -0.268 -0.283
Утилитаризм -0.284 -0.25 -0.252

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

НГУ

Название ML-модели:

Qwen 7B Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-7B-Instruct

Описание архитектуры:

Qwen2 7B Instruct is a language model including decoder of 7B size. It is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, etc. Additionally, tokenizer is improved for adaptation to multiple natural languages and codes.

Описание обучения:

The model was pretrained with a large amount of data of English, Chinese and 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 128K tokens.

Данные претрейна:

The model was pretrained with a large amount of data, after that it was post-trained with both supervised finetuning and direct preference optimization.

Детали обучения:

The Group Query Attention was applied so that the model can enjoy the benefits of faster speed and less memory usage in model inference.

Лицензия:

Apache 2.0

Стратегия, генерация и параметры:

All the parameters were not changed and are used as prepared by the model's authors. Details: - 1 x NVIDIA A100 80GB - dtype float32- Pytorch 2.3.1 + CUDA 11.7 - Transformers 4.38.2 - Context length 32768.

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Qwen 7B Instruct
НГУ 		0.525 0.695 0.69
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Qwen 7B Instruct
НГУ 		0.7 0.875 0.8 0.657 0.81 1 0.8 0.706 0.7 1 0.818 0.7 0.6 0.615 0.682 0.6 0.8 0.741 0.6 0.9 0.4 0.788 1 0.804 0.8 0.818 0.875 0.786 1 0.636 0.5 0.667 0.8 1 0.909 0.9 1 0.762 0.6 0.7 0.886 1 0.9 0.9 0.938 0.7 1 0.8 0.7 1 0.636 0.875 0.912 0.867 0.583 0.515 0.704
Модель, команда SIM FL STA
Qwen 7B Instruct
НГУ 		0.38 0.714 0.43
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 7B Instruct
НГУ 		-0.37 -0.369 -0.362 -0.327 -0.284
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 7B Instruct
НГУ 		-0.313 -0.298 -0.312 -0.268 -0.25
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 7B Instruct
НГУ 		-0.316 -0.292 -0.33 -0.283 -0.252
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Qwen 7B Instruct
НГУ 		0.769 0.743 0.706 0.622 0.429 0.836

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами