Text Industrial Code Multi
Лидерборд Задачи Как работает MERA
Вернуться на лидерборд

Cotype (preview)

MTS AI Создан 10.12.2024 22:24
0.633
Общий результат
43
Место в рейтинге
В топе по задачам:
9
MultiQ
Задача входит в число основных
5
ruMMLU
Результат по задаче выше человеческого
Слабые задачи:
54
RWSD
52
PARus
90
RCB
72
ruEthics
56
ruWorldTree
34
ruOpenBookQA
143
CheGeKa
57
ruHateSpeech
38
ruDetox
70
ruHHH
41
ruTiE
116
ruHumanEval
50
USE
56
MathLogicQA
64
ruMultiAr
55
SimpleAr
30
LCS
24
BPS
36
ruModAr
62
MaMuRAMu
91
ruCodeEval
+17
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.322 Accuracy
RCB 0.568 / 0.555 Accuracy F1 macro
USE 0.362 Grade norm
RWSD 0.646 Accuracy
PARus 0.928 Accuracy
ruTiE 0.87 Accuracy
MultiQ 0.644 / 0.499 F1 Exact match
CheGeKa 0.202 / 0.156 F1 Exact match
ruModAr 0.898 Exact match
MaMuRAMu 0.827 Accuracy
ruMultiAr 0.414 Exact match
ruCodeEval 0.219 / 0.312 / 0.341 Pass@k
MathLogicQA 0.705 Accuracy
ruWorldTree 0.981 / 0.981 Accuracy F1 macro
ruOpenBookQA 0.94 / 0.94 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.997 Accuracy
ruMMLU 0.903 Accuracy
SimpleAr 0.995 Exact match
ruHumanEval 0.177 / 0.261 / 0.293 Pass@k
ruHHH 0.848
ruHateSpeech 0.838
ruDetox 0.339
ruEthics
Правильно Хорошо Этично
Добродетель 0.401 0.398 0.465
Закон 0.397 0.396 0.448
Мораль 0.421 0.428 0.497
Справедливость 0.357 0.357 0.419
Утилитаризм 0.35 0.345 0.416

Информация о сабмите

Версия MERA
v.1.2.0
Версия Torch
2.5.1
Версия кодовой базы
9cf05b2
Версия CUDA
12.4
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.46.3
Количество GPU и их тип
4 x NVIDIA A100-SXM4-40GB
Архитектура
vllm

Команда:

MTS AI

Название ML-модели:

Cotype (preview)

Ссылка на ML-модель:

https://mts.ai/ru/product/generative-ai-solutions/

Тип модели:

Закрытая

Описание архитектуры:

Cotype (preview) — это экспериментальная языковая модель от команды MTS AI, ориентированная на потребности корпоративного сегмента. На данный момент модель ещё не доступна широкой аудитории, однако вы можете получить дополнительную информацию о продуктах MTS AI и обсудить возможности сотрудничества на сайте: https://mts.ai/ru/product/generative-ai-solutions/.

Описание обучения:

-

Данные претрейна:

-

Лицензия:

MTS AI Cotype

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=["\n"]; \nchegeka - do_sample=false;until=["\n"]; \nrudetox - do_sample=false;until=["\n"]; \nrumultiar - do_sample=false;until=["\n"]; \nmultiq - do_sample=false;until=["\n"]; \nrumodar - do_sample=false;until=["\n"]; \nruhumaneval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6; \nrucodeeval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6; \nuse - do_sample=false;until=["\n","."];

Размер контекста:
32768

Системный промпт:
Решай задачу строго по инструкции. Только ответ, без объяснений. Числовой ответ — только число. Буква, цифра или слово — только их. Выбор варианта ответа — одна буква или цифра. Ответ должен быть точным, без лишних символов или слов. В случае, если нужно сгенерировать код на Python — твоим ответом должен быть только код (продолжения кода из инструкции), не повторяй имя функции, не давай пояснений, не пиши комментариев, не используй input, пиши код так, чтобы он дополнял функцию из инструкции (с соответствующими отступами) и всегда начинай написание кода с переноса строки!

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
Cotype (preview)
MTS AI 		0.567 0.533 0.867 0.167 0.267 0.567 0.167 - 0.067 0.067 0.1 0.067 0.3 0.1 0.2 0.333 0.033 0.033 0 0.067 0.1 0.7 0.533 0.333 0.267 0.767 0.3 0.3 0.633 0.6 0.633
Модель, команда Честность Помощь Безопасность
Cotype (preview)
MTS AI 		0.852 0.797 0.897
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Cotype (preview)
MTS AI 		0.904 0.753 0.987 0.966 0.954 0.945 0.893 0.923 0.96 0.915 0.877 0.841 0.87 0.935 0.934 0.899 0.87 0.965 0.867 0.939 0.848 0.936 0.9 0.936 0.92 0.97 0.738 0.907 0.935 0.78 0.92 0.95 0.902 0.98 0.943 0.953 0.92 0.981 0.907 0.897 0.955 0.963 0.855 0.939 0.961 0.917 0.99 0.893 0.858 0.921 0.9 0.962 0.938 0.966 0.99 0.952 0.943
Модель, команда SIM FL STA
Cotype (preview)
MTS AI 		0.671 0.696 0.759
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
Cotype (preview)
MTS AI 		0.622 0.921 0.783 0.694 0.908 0.828 0.759 0.737 0.827 0.785 0.808 0.817 0.575 0.791 0.789 0.753 0.804 0.822 0.754 0.877 0.895 0.915 0.911 0.87 0.867 0.864 0.808 0.667 0.947 0.822 0.844 0.936 0.893 0.93 0.742 0.821 0.889 0.867 0.737 0.785 0.873 0.889 0.822 1 0.914 0.911 0.897 0.955 0.892 0.93 0.911 0.855 0.861 0.805 0.628 0.766 0.878
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Cotype (preview)
MTS AI 		0.401 0.397 0.421 0.357 0.35
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Cotype (preview)
MTS AI 		0.398 0.396 0.428 0.357 0.345
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Cotype (preview)
MTS AI 		0.465 0.448 0.497 0.419 0.416
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Cotype (preview)
MTS AI 		0.87 0.686 0.882 0.757 0.857 0.902

MERA

Полезные ссылки

© 2025 MERA. Все права защищены.
Пользовательское соглашение Политика конфиденциальности

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами