Gamayun-1.5B

Gamayun Team Создан 30.10.2025 19:39
0.381
Общий результат
355
Место в рейтинге
Слабые задачи:
222
RWSD
341
PARus
325
RCB
457
ruEthics
384
MultiQ
410
ruWorldTree
335
ruOpenBookQA
347
CheGeKa
416
ruMMLU
390
ruHateSpeech
344
ruDetox
491
ruHHH
457
ruTiE
131
ruHumanEval
407
USE
410
MathLogicQA
424
ruMultiAr
429
SimpleAr
272
LCS
597
BPS
336
ruModAr
384
MaMuRAMu
149
ruCodeEval
+19
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.11 Accuracy
RCB 0.509 / 0.481 Accuracy F1 macro
USE 0.077 Grade norm
RWSD 0.554 Accuracy
PARus 0.708 Accuracy
ruTiE 0.516 Accuracy
MultiQ 0.275 / 0.122 F1 Exact match
CheGeKa 0.059 / 0.034 F1 Exact match
ruModAr 0.409 Exact match
MaMuRAMu 0.517 Accuracy
ruMultiAr 0.146 Exact match
ruCodeEval 0.099 / 0.23 / 0.305 Pass@k
MathLogicQA 0.338 Accuracy
ruWorldTree 0.701 / 0.7 Accuracy F1 macro
ruOpenBookQA 0.685 / 0.685 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.414 Accuracy
ruMMLU 0.425 Accuracy
SimpleAr 0.789 Exact match
ruHumanEval 0.157 / 0.272 / 0.311 Pass@k
ruHHH 0.489
ruHateSpeech 0.592
ruDetox 0.138
ruEthics
Правильно Хорошо Этично
Добродетель 0.105 0.203 0.137
Закон 0.095 0.21 0.156
Мораль 0.109 0.203 0.148
Справедливость 0.105 0.206 0.128
Утилитаризм 0.057 0.165 0.08

Информация о сабмите

Версия MERA
v1.2.0
Версия Torch
2.4.1
Версия кодовой базы
fea61e4
Версия CUDA
11.8
Precision весов модели
float32
Сид
1234
Батч
1
Версия transformers
4.55.0
Количество GPU и их тип
1 x Tesla V100-PCIE-32GB
Архитектура
hf

Команда:

Gamayun Team

Название ML-модели:

Gamayun-1.5B

Размер модели

1.5B

Тип модели:

Закрытая

SFT

Дополнительные ссылки:

https://www.arxiv.org/abs/2512.21580

Описание архитектуры:

We present Gamayun, a 1.5B-parameter multilingual language model trained entirely from scratch on 2.5T tokens. Designed for efficiency and deployment in resource-constrained environments, Gamayun addresses the lack of research on small non-English-centric LLMs by adopting a novel two-stage pre-training strategy: balanced multilingual training for cross-lingual alignment, followed by high-quality English enrichment to transfer performance gains across languages. Our model supports 12 languages, with special focus on Russian. Despite a significantly smaller training budget than comparable models, Gamayun outperforms LLaMA3.2-1B (9T tokens) on all considered benchmarks, and surpasses Qwen2.5-1.5B (18T tokens) on a wide range of English and multilingual tasks. It matches or exceeds Qwen3 (36T tokens) on most tasks outside advanced STEM, achieving state-of-the-art results in Russian, including the MERA benchmark, among the models of comparable size (1-2B parameters).

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=[" \n"]; \nchegeka - do_sample=false;until=[" \n"]; \nrudetox - do_sample=false;until=[" \n"]; \nrumultiar - do_sample=false;until=[" \n"]; \nuse - do_sample=false;until=[" \n","."]; \nmultiq - do_sample=false;until=[" \n"]; \nrumodar - do_sample=false;until=[" \n"]; \nruhumaneval - do_sample=true;until=[" \nclass"," \ndef"," \n#"," \nif"," \nprint"];temperature=0.6; \nrucodeeval - do_sample=true;until=[" \nclass"," \ndef"," \n#"," \nif"," \nprint"];temperature=0.6;

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
Gamayun-1.5B
Gamayun Team
0.067 0.067 0.467 0.233 0.033 0.133 0 - 0 0.067 0 0.033 0.033 0 0.067 0.267 0.033 0 0.033 0.033 0 0 0 0 0.067 0.075 0.1 0.133 0.033 0.033 0.133
Модель, команда Честность Помощь Безопасность
Gamayun-1.5B
Gamayun Team
0.459 0.475 0.534
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Gamayun-1.5B
Gamayun Team
0.43 0.392 0.493 0.675 0.49 0.532 0.592 0.479 0.444 0.422 0.211 0.278 0.29 0.472 0.53 0.483 0.41 0.34 0.244 0.527 0.25 0.55 0.28 0.457 0.205 0.47 0.331 0.454 0.465 0.36 0.61 0.603 0.442 0.586 0.472 0.325 0.28 0.471 0.377 0.399 0.581 0.375 0.476 0.321 0.562 0.398 0.525 0.307 0.376 0.393 0.35 0.612 0.415 0.466 0.43 0.6 0.477
Модель, команда SIM FL STA
Gamayun-1.5B
Gamayun Team
0.462 0.697 0.594
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
Gamayun-1.5B
Gamayun Team
0.511 0.545 0.367 0.472 0.539 0.414 0.448 0.579 0.519 0.446 0.59 0.5 0.35 0.55 0.474 0.42 0.561 0.444 0.386 0.632 0.263 0.525 0.356 0.604 0.556 0.545 0.526 0.421 0.789 0.533 0.8 0.577 0.429 0.491 0.47 0.5 0.4 0.756 0.421 0.462 0.637 0.571 0.578 0.511 0.793 0.622 0.69 0.5 0.492 0.667 0.533 0.464 0.557 0.519 0.279 0.357 0.6
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Gamayun-1.5B
Gamayun Team
0.105 0.095 0.109 0.105 0.057
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Gamayun-1.5B
Gamayun Team
0.203 0.21 0.203 0.206 0.165
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Gamayun-1.5B
Gamayun Team
0.137 0.156 0.148 0.128 0.08
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Gamayun-1.5B
Gamayun Team
0.63 0.543 0.471 0.703 0.286 0.557