DeepSeek-R1-Distill-Qwen-14B

НГУ Создан 28.04.2025 07:08
0.446
Общий результат
247
Место в рейтинге
Слабые задачи:
293
RWSD
283
PARus
227
RCB
239
ruEthics
463
MultiQ
194
ruWorldTree
213
ruOpenBookQA
288
CheGeKa
186
ruMMLU
370
ruHateSpeech
149
ruDetox
223
ruHHH
371
ruTiE
258
ruHumanEval
180
USE
115
MathLogicQA
367
ruMultiAr
272
SimpleAr
313
LCS
203
BPS
158
ruModAr
159
MaMuRAMu
261
ruCodeEval
+19
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.1 Accuracy
RCB 0.537 / 0.485 Accuracy F1 macro
USE 0.199 Grade norm
RWSD 0.527 Accuracy
PARus 0.766 Accuracy
ruTiE 0.572 Accuracy
MultiQ 0.226 / 0.107 F1 Exact match
CheGeKa 0.1 / 0.072 F1 Exact match
ruModAr 0.55 Exact match
MaMuRAMu 0.74 Accuracy
ruMultiAr 0.19 Exact match
ruCodeEval 0.002 / 0.009 / 0.018 Pass@k
MathLogicQA 0.52 Accuracy
ruWorldTree 0.931 / 0.931 Accuracy F1 macro
ruOpenBookQA 0.828 / 0.827 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.956 Accuracy
ruMMLU 0.629 Accuracy
SimpleAr 0.945 Exact match
ruHumanEval 0.012 / 0.049 / 0.085 Pass@k
ruHHH 0.713
ruHateSpeech 0.611
ruDetox 0.236
ruEthics
Правильно Хорошо Этично
Добродетель 0.307 0.346 0.371
Закон 0.319 0.34 0.359
Мораль 0.34 0.367 0.389
Справедливость 0.265 0.277 0.333
Утилитаризм 0.23 0.281 0.333

Информация о сабмите

Версия MERA
v.1.2.0
Версия Torch
2.6.0
Версия кодовой базы
9e50515
Версия CUDA
12.4
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.51.1
Количество GPU и их тип
1 x NVIDIA A100 80GB PCIe
Архитектура
hf

Команда:

НГУ

Название ML-модели:

DeepSeek-R1-Distill-Qwen-14B

Размер модели

14.8B

Тип модели:

Открытая

SFT

Описание архитектуры:

Type: Causal Language Models Training Stage: Pretraining & Post-training Architecture: transformers with RoPE, SwiGLU, RMSNorm, Attention QKV bias

Описание обучения:

DeepSeek-R1-Distill-Qwen-14B is derived from Qwen-2.5 series, which are originally licensed under Apache 2.0 License, and now finetuned with 800k samples curated with DeepSeek-R1.

Данные претрейна:

The model was pretrained with a large amount of data of English, Chinese and over 27 additional languages including Russian. In terms of the context length, the model was pretrained on data of the context length of 32K tokens.

Лицензия:

MIT License

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=["\n"]; \nchegeka - do_sample=false;until=["\n"]; \nrudetox - do_sample=false;until=["\n"]; \nrumultiar - do_sample=false;until=["\n"]; \nuse - do_sample=false;until=["\n","."]; \nmultiq - do_sample=false;until=["\n"]; \nrumodar - do_sample=false;until=["\n"]; \nruhumaneval - do_sample=true;temperature=0.6;until=["\nclass","\ndef","\n#","\nif","\nprint"]; \nrucodeeval - do_sample=true;temperature=0.6;until=["\nclass","\ndef","\n#","\nif","\nprint"];

Размер контекста:
simplear, bps, lcs, chegeka, mathlogicqa, parus, rcb, rudetox, ruhatespeech, rummlu, ruworldtree, ruopenbookqa, rumultiar, use, rwsd, mamuramu, multiq, rumodar, ruethics, ruhhh, ruhumaneval, rucodeeval, rutie - 131072

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.467 0.233 0.767 0.167 0 0.167 0.033 - 0.033 0.033 0.033 0 0.133 0.067 0.1 0.233 0.1 0 0 0 0.033 0.567 0.2 0.133 0.1 0.433 0.233 0.267 0.367 0.133 0.2
Модель, команда Честность Помощь Безопасность
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.77 0.627 0.741
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.556 0.5 0.816 0.795 0.68 0.751 0.777 0.672 0.667 0.677 0.5 0.571 0.43 0.657 0.719 0.636 0.7 0.729 0.544 0.702 0.469 0.749 0.43 0.613 0.491 0.66 0.436 0.574 0.71 0.48 0.71 0.752 0.644 0.818 0.634 0.709 0.52 0.803 0.563 0.557 0.793 0.632 0.634 0.637 0.796 0.667 0.77 0.452 0.436 0.618 0.58 0.776 0.687 0.723 0.83 0.733 0.762
Модель, команда SIM FL STA
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.765 0.623 0.526
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.578 0.743 0.617 0.648 0.803 0.69 0.672 0.684 0.673 0.631 0.756 0.758 0.517 0.76 0.708 0.63 0.757 0.778 0.632 0.789 0.719 0.864 0.733 0.769 0.778 0.818 0.731 0.702 0.877 0.756 0.822 0.821 0.75 0.842 0.636 0.75 0.822 0.778 0.561 0.723 0.824 0.746 0.778 0.822 0.931 0.844 0.776 0.818 0.754 0.86 0.8 0.768 0.848 0.675 0.651 0.626 0.811
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.307 0.319 0.34 0.265 0.23
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.346 0.34 0.367 0.277 0.281
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.371 0.359 0.389 0.333 0.333
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
DeepSeek-R1-Distill-Qwen-14B
НГУ
0.556 0.629 0.588 0.622 0.286 0.738