Qwen1.5-1.8B-Chat

MERA Создан 22.09.2024 21:21
0.262
Общий результат
528
Место в рейтинге
Слабые задачи:
240
RWSD
585
PARus
567
RCB
485
ruEthics
564
MultiQ
545
ruWorldTree
547
ruOpenBookQA
577
CheGeKa
539
ruMMLU
470
ruHateSpeech
623
ruDetox
546
ruHHH
576
ruTiE
343
ruHumanEval
546
USE
450
MathLogicQA
416
ruMultiAr
439
SimpleAr
437
LCS
575
BPS
414
ruModAr
541
MaMuRAMu
301
ruCodeEval
+19
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.082 Accuracy
RCB 0.342 / 0.287 Accuracy F1 macro
USE 0.043 Grade norm
RWSD 0.55 Accuracy
PARus 0.478 Accuracy
ruTiE 0.492 Accuracy
MultiQ 0.123 / 0.047 F1 Exact match
CheGeKa 0.006 / 0 F1 Exact match
ruModAr 0.292 Exact match
MaMuRAMu 0.343 Accuracy
ruMultiAr 0.155 Exact match
ruCodeEval 0.001 / 0.003 / 0.006 Pass@k
MathLogicQA 0.318 Accuracy
ruWorldTree 0.396 / 0.394 Accuracy F1 macro
ruOpenBookQA 0.385 / 0.381 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.481 Accuracy
ruMMLU 0.319 Accuracy
SimpleAr 0.732 Exact match
ruHumanEval 0.004 / 0.006 / 0.006 Pass@k
ruHHH 0.472
ruHateSpeech 0.536
ruDetox 0.036
ruEthics
Правильно Хорошо Этично
Добродетель 0.098 0.095 0.063
Закон 0.112 0.09 0.065
Мораль 0.096 0.082 0.066
Справедливость 0.096 0.069 0.034
Утилитаризм 0.087 0.055 0.045

Информация о сабмите

Версия MERA
v.1.2.0
Версия Torch
2.4.0
Версия кодовой базы
6ec745e0
Версия CUDA
12.1
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.43.2
Количество GPU и их тип
1 x NVIDIA H100 80GB HBM3
Архитектура
hf

Команда:

MERA

Название ML-модели:

Qwen1.5-1.8B-Chat

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat

Размер модели

1.8B

Тип модели:

Открытая

SFT

Дополнительные ссылки:

https://qwenlm.github.io/blog/qwen1.5/

Описание архитектуры:

Qwen1.5-1.8B-chat is based on the Transformer architecture with SwiGLU activation, attention QKV bias, group query attention, mixture of sliding window attention and full attention.

Описание обучения:

We pretrained the model with a large amount of data with next-token prediction task, and we post-trained the model with both Direct Policy Optimization (DPO) and Proximal Policy Optimization (PPO).

Данные претрейна:

Human conversations data formatted in ChatML-style and Qwen reward datasets, which are manually annotated Qwen models' answers.

Лицензия:

tongyi-qianwen-research

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=["\n"]; \nchegeka - do_sample=false;until=["\n"]; \nrudetox - do_sample=false;until=["\n"]; \nrumultiar - do_sample=false;until=["\n"]; \nuse - do_sample=false;until=["\n","."]; \nmultiq - do_sample=false;until=["\n"]; \nrumodar - do_sample=false;until=["\n"]; \nruhumaneval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6; \nrucodeeval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;

Размер контекста:
simplear, bps, lcs, chegeka, mathlogicqa, parus, rcb, rudetox, ruhatespeech, rummlu, ruworldtree, ruopenbookqa, rumultiar, use, rwsd, mamuramu, multiq, rumodar, ruethics, ruhhh, rutie, ruhumaneval, rucodeeval - 32768

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
Qwen1.5-1.8B-Chat
MERA
0.033 0.033 0.233 0.033 0.033 0.033 0 - 0.033 0 0.033 0 0 0 0.067 0.117 0.033 0 0.1 0.033 0 0 0 0.033 0.067 0 0.133 0.133 0.067 0 0.1
Модель, команда Честность Помощь Безопасность
Qwen1.5-1.8B-Chat
MERA
0.508 0.475 0.431
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Qwen1.5-1.8B-Chat
MERA
0.244 0.223 0.309 0.385 0.34 0.383 0.359 0.344 0.358 0.408 0.219 0.286 0.33 0.426 0.347 0.332 0.33 0.264 0.156 0.366 0.248 0.304 0.29 0.266 0.241 0.38 0.321 0.333 0.278 0.28 0.4 0.545 0.319 0.535 0.302 0.338 0.33 0.319 0.272 0.296 0.343 0.268 0.29 0.321 0.303 0.278 0.392 0.267 0.273 0.289 0.29 0.397 0.354 0.328 0.42 0.382 0.275
Модель, команда SIM FL STA
Qwen1.5-1.8B-Chat
MERA
0.635 0.339 0.266
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
Qwen1.5-1.8B-Chat
MERA
0.289 0.406 0.333 0.37 0.237 0.328 0.379 0.351 0.288 0.369 0.346 0.333 0.342 0.411 0.246 0.309 0.402 0.311 0.175 0.281 0.246 0.305 0.244 0.367 0.356 0.258 0.333 0.368 0.561 0.444 0.4 0.436 0.384 0.386 0.288 0.268 0.178 0.444 0.246 0.231 0.322 0.317 0.378 0.356 0.483 0.422 0.31 0.227 0.462 0.316 0.533 0.319 0.532 0.338 0.349 0.287 0.4
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen1.5-1.8B-Chat
MERA
0.098 0.112 0.096 0.096 0.087
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen1.5-1.8B-Chat
MERA
0.095 0.09 0.082 0.069 0.055
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Qwen1.5-1.8B-Chat
MERA
0.063 0.065 0.066 0.034 0.045
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Qwen1.5-1.8B-Chat
MERA
0.583 0.514 0.588 0.486 0.429 0.492