Zero-Mistral-24B

ZeroAgency Создан 21.04.2025 18:20
0.623
Общий результат
52
Место в рейтинге
В топе по задачам:
6
RCB
Результат по задаче выше человеческого
Задача входит в число основных
2
MultiQ
Задача входит в число основных
7
ruHHH
Результат по задаче выше человеческого
Слабые задачи:
228
RWSD
20
PARus
96
ruEthics
42
ruWorldTree
80
ruOpenBookQA
50
CheGeKa
47
ruMMLU
65
ruHateSpeech
38
ruDetox
44
ruTiE
290
ruHumanEval
33
USE
92
MathLogicQA
99
ruMultiAr
42
SimpleAr
47
LCS
97
BPS
26
ruModAr
61
MaMuRAMu
+15
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.194 Accuracy
RCB 0.607 / 0.592 Accuracy F1 macro
USE 0.452 Grade norm
RWSD 0.55 Accuracy
PARus 0.942 Accuracy
ruTiE 0.868 Accuracy
MultiQ 0.781 / 0.629 F1 Exact match
CheGeKa 0.397 / 0.322 F1 Exact match
ruModAr 0.971 Exact match
MaMuRAMu 0.832 Accuracy
ruMultiAr 0.354 Exact match
ruCodeEval 0 / 0 / 0 Pass@k
MathLogicQA 0.613 Accuracy
ruWorldTree 0.987 / 0.987 Accuracy F1 macro
ruOpenBookQA 0.913 / 0.913 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.981 Accuracy
ruMMLU 0.778 Accuracy
SimpleAr 0.997 Exact match
ruHumanEval 0.006 / 0.006 / 0.006 Pass@k
ruHHH 0.916
ruHateSpeech 0.834
ruDetox 0.341
ruEthics
Правильно Хорошо Этично
Добродетель 0.386 0.421 0.653
Закон 0.399 0.427 0.65
Мораль 0.41 0.452 0.697
Справедливость 0.333 0.375 0.596
Утилитаризм 0.327 0.363 0.573

Информация о сабмите

Версия MERA
v.1.2.0
Версия Torch
2.5.1
Версия кодовой базы
4ebdda5
Версия CUDA
12.4
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.51.0
Количество GPU и их тип
8 x NVIDIA H200
Архитектура
local-chat-completions

Команда:

ZeroAgency

Название ML-модели:

Zero-Mistral-24B

Ссылка на ML-модель:

https://huggingface.co/ZeroAgency/Zero-Mistral-24B

Размер модели

23.6B

Тип модели:

Открытая

SFT

Описание архитектуры:

Zero-Mistral is an improved TEXT-only version of mistralai/Mistral-Small-3.1-24B-Instruct-2503, primarily adapted for Russian and English languages. The original Mistral model contains vision features which were removed from this model. The training involved SFT stage primarily on Big Russian Dataset dataset and proprietary dataset from Shkolkovo.online.

Описание обучения:

LoRa fine-tune with 256 rank.

Данные претрейна:

ZeroAgency/ru-big-russian-dataset

Лицензия:

MIT

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=[" \n"]; \nchegeka - do_sample=false;until=[" \n"]; \nrudetox - do_sample=false;until=[" \n"]; \nrumultiar - do_sample=false;until=[" \n"]; \nuse - do_sample=false;until=[" \n","."]; \nmultiq - do_sample=false;until=[" \n"]; \nrumodar - do_sample=false;until=[" \n"]; \nruhumaneval - do_sample=true;temperature=0.6;until=[" \nclass"," \ndef"," \n#"," \nif"," \nprint"]; \nrucodeeval - do_sample=true;temperature=0.6;until=[" \nclass"," \ndef"," \n#"," \nif"," \nprint"];

Размер контекста:
128k

Системный промпт:
Реши задачу по инструкции ниже. Не давай никаких объяснений и пояснений к своему ответу. Не пиши ничего лишнего. Пиши только то, что указано в инструкции. Если по инструкции нужно решить пример, то напиши только числовой ответ без хода решения и пояснений. Если по инструкции нужно вывести букву, цифру или слово, выведи только его. Если по инструкции нужно выбрать один из вариантов ответа и вывести букву или цифру, которая ему соответствует, то выведи только эту букву или цифру, не давай никаких пояснений, не добавляй знаки препинания, только 1 символ в ответе. Если по инструкции нужно дописать код функции на языке Python, пиши сразу код, соблюдая отступы так, будто ты продолжаешь функцию из инструкции, не давай пояснений, не пиши комментарии, используй только аргументы из сигнатуры функции в инструкции, не пробуй считывать данные через функцию input. Не извиняйся, не строй диалог. Выдавай только ответ и ничего больше.

Описание темплейта:
{%- set today = strftime_now("%Y-%m-%d") %} {%- set default_system_message = "You are Mistral Small 3, a Large Language Model (LLM) created by Mistral AI, a French startup headquartered in Paris. \nYour knowledge base was last updated on 2023-10-01. The current date is " + today + ". \n \nWhen you're not sure about some information, you say that you don't have the information and don't make up anything. \nIf the user's question is not clear, ambiguous, or does not provide enough context for you to accurately answer the question, you do not try to answer it right away and you rather ask the user to clarify their request (e.g. "What are some good restaurants around me?" => "Where are you?" or "When is the next flight to Tokyo" => "Where do you travel from?")" %} {{- bos_token }} {%- if messages[0]['role'] == 'system' %} {%- if messages[0]['content'] is string %} {%- set system_message = messages[0]['content'] %} {%- else %} {%- set system_message = messages[0]['content'][0]['text'] %} {%- endif %} {%- set loop_messages = messages[1:] %} {%- else %} {%- set system_message = default_system_message %} {%- set loop_messages = messages %} {%- endif %} {{- '[SYSTEM_PROMPT]' + system_message + '[/SYSTEM_PROMPT]' }} {%- for message in loop_messages %} {%- if message['role'] == 'user' %} {%- if message['content'] is string %} {{- '[INST]' + message['content'] + '[/INST]' }} {%- else %} {{- '[INST]' }} {%- for block in message['content'] %} {%- if block['type'] == 'text' %} {{- block['text'] }} {%- elif block['type'] in ['image', 'image_url'] %} {{- '[IMG]' }} {%- else %} {{- raise_exception('Only text and image blocks are supported in message content!') }} {%- endif %} {%- endfor %} {{- '[/INST]' }} {%- endif %} {%- elif message['role'] == 'system' %} {%- if message['content'] is string %} {{- '[SYSTEM_PROMPT]' + message['content'] + '[/SYSTEM_PROMPT]' }} {%- else %} {{- '[SYSTEM_PROMPT]' + message['content'][0]['text'] + '[/SYSTEM_PROMPT]' }} {%- endif %} {%- elif message['role'] == 'assistant' %} {%- if message['content'] is string %} {{- message['content'] + eos_token }} {%- else %} {{- message['content'][0]['text'] + eos_token }} {%- endif %} {%- else %} {{- raise_exception('Only user, system and assistant roles are supported!') }} {%- endif %} {%- endfor %}

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
Zero-Mistral-24B
ZeroAgency
0.867 0.533 0.767 0.133 0.1 0.7 0.233 - 0.267 0.033 0.067 0.033 0.5 0.3 0 0.617 0.167 0.167 0.3 0.133 0.267 0.733 0.567 0.433 0.333 0.758 0.733 0.7 0.767 0.567 0.7
Модель, команда Честность Помощь Безопасность
Zero-Mistral-24B
ZeroAgency
0.902 0.881 0.966
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Zero-Mistral-24B
ZeroAgency
0.726 0.554 0.914 0.893 0.869 0.876 0.845 0.781 0.855 0.758 0.579 0.587 0.66 0.815 0.875 0.757 0.78 0.938 0.667 0.863 0.737 0.901 0.53 0.757 0.688 0.91 0.602 0.704 0.8 0.55 0.84 0.868 0.773 0.889 0.826 0.825 0.61 0.919 0.702 0.768 0.874 0.89 0.724 0.817 0.919 0.736 0.931 0.5 0.606 0.772 0.73 0.882 0.841 0.903 0.91 0.848 0.896
Модель, команда SIM FL STA
Zero-Mistral-24B
ZeroAgency
0.843 0.624 0.66
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
Zero-Mistral-24B
ZeroAgency
0.711 0.911 0.767 0.694 0.908 0.776 0.759 0.737 0.885 0.815 0.808 0.8 0.508 0.86 0.83 0.753 0.785 0.844 0.772 0.895 0.895 0.915 0.911 0.899 0.867 0.939 0.846 0.754 0.93 0.867 0.822 0.897 0.83 0.947 0.727 0.857 0.867 0.889 0.649 0.8 0.894 0.889 0.889 1 0.948 0.911 0.948 0.932 0.877 0.93 0.889 0.913 0.823 0.727 0.558 0.772 0.9
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Zero-Mistral-24B
ZeroAgency
0.386 0.399 0.41 0.333 0.327
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Zero-Mistral-24B
ZeroAgency
0.421 0.427 0.452 0.375 0.363
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Zero-Mistral-24B
ZeroAgency
0.653 0.65 0.697 0.596 0.573
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Zero-Mistral-24B
ZeroAgency
0.87 0.743 0.824 0.703 0.857 0.902