RU EN
Вернуться на лидерборд

Qwen 72B Instruct GPTQ Int4

НГУ Создан 25.08.2024 08:52
0.524
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.15 Accuracy
RCB 0.543 / 0.507 Accuracy F1 macro
USE 0.257 Grade norm
RWSD 0.7 Accuracy
PARus 0.958 Accuracy
ruTiE 0.874 Accuracy
MultiQ 0.305 / 0.182 F1 Exact match
CheGeKa 0.08 / 0.002 F1 Exact match
ruModAr 0.194 Exact match
ruMultiAr 0.403 Exact match
MathLogicQA 0.681 Accuracy
ruWorldTree 0.989 / 0.989 Accuracy F1 macro
ruOpenBookQA 0.963 / 0.962 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.038 Accuracy
ruMMLU 0.871 Accuracy
SimpleAr 0.995 Exact match
ruHumanEval 0.005 / 0.024 / 0.049 Pass@k
ruHHH 0.848
ruHateSpeech 0.864
ruDetox 0.028
ruEthics
Правильно Хорошо Этично
Добродетель -0.582 -0.581 -0.675
Закон -0.551 -0.592 -0.679
Мораль -0.595 -0.634 -0.726
Справедливость -0.517 -0.529 -0.617
Утилитаризм -0.445 -0.492 -0.552

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

НГУ

Название ML-модели:

Qwen 72B Instruct GPTQ Int4

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-72B-Instruct-GPTQ-Int4

Описание архитектуры:

Qwen2 72B Instruct GPTQ Int4 is a language model including decoder of 72B size which quantized into Int4 using GPTQ method. It is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, etc. Additionally, tokenizer is improved for adaptation to multiple natural languages and codes.

Описание обучения:

The model was pretrained with a large amount of data of English, Chinese and 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 128K tokens. After pretraining, the model was quantized using the one-shot weight quantization based on approximate second-order information, which is known as GPTQ.

Данные претрейна:

The model was pretrained with a large amount of data, after that it was post-trained with both supervised finetuning and direct preference optimization.

Детали обучения:

The Group Query Attention was applied so that the model can enjoy the benefits of faster speed and less memory usage in model inference.

Лицензия:

Apache 2.0

Стратегия, генерация и параметры:

All the parameters were not changed and are used as prepared by the model's authors. Details: - 1 x NVIDIA A100 80GB - dtype auto- Pytorch 2.3.1 + CUDA 11.7 - Transformers 4.38.2 - Context length 128K.

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Qwen 72B Instruct GPTQ Int4
НГУ 		0.869 0.847 0.828
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Qwen 72B Instruct GPTQ Int4
НГУ 		0.8 0.875 0.8 0.8 0.952 1 0.867 0.765 0.9 1 0.818 0.8 0.8 0.846 0.727 0.5 0.8 0.889 0.9 1 0.7 0.962 1 0.922 0.8 0.909 0.875 0.857 1 0.818 0.5 0.833 1 1 0.909 0.9 1 0.81 0.8 0.9 0.949 1 0.9 0.9 0.938 0.9 1 1 0.9 1 0.864 1 0.941 0.867 0.667 0.667 0.778
Модель, команда SIM FL STA
Qwen 72B Instruct GPTQ Int4
НГУ 		0.301 0.798 0.103
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 72B Instruct GPTQ Int4
НГУ 		-0.582 -0.551 -0.595 -0.517 -0.445
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 72B Instruct GPTQ Int4
НГУ 		-0.581 -0.592 -0.634 -0.529 -0.492
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen 72B Instruct GPTQ Int4
НГУ 		-0.675 -0.679 -0.726 -0.617 -0.552
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Qwen 72B Instruct GPTQ Int4
НГУ 		0.861 0.743 0.941 0.892 0.714 0.918

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами