BerryLM

Wildberries & Russ Создан 30.01.2026 08:56
0.739
Общий результат
20
Место в рейтинге
В топе по задачам:
7
ruHumanEval
8
LCS
Результат по задаче выше человеческого
Задача входит в число основных
9
ruModAr
Задача входит в число основных
6
ruCodeEval
Задача входит в число основных
Слабые задачи:
78
RWSD
256
PARus
155
RCB
79
ruEthics
83
MultiQ
69
ruWorldTree
102
ruOpenBookQA
145
CheGeKa
70
ruMMLU
86
ruHateSpeech
119
ruDetox
53
ruHHH
63
ruTiE
48
USE
30
MathLogicQA
81
SimpleAr
34
BPS
118
MaMuRAMu
+14
Скрыть
Здравствуйте! Сабмит был проверен и удовлетворяет всем критериям для публикации. Единственное, что хотелось бы отметить, что ввиду оценки модели без использования режима fewshot_as_multiturn, она появится не на основном лидерборде.

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.774 Accuracy
RCB 0.553 / 0.535 Accuracy F1 macro
USE 0.381 Grade norm
RWSD 0.615 Accuracy
PARus 0.806 Accuracy
ruTiE 0.859 Accuracy
MultiQ 0.547 / 0.357 F1 Exact match
CheGeKa 0.206 / 0.156 F1 Exact match
ruModAr 0.999 Exact match
MaMuRAMu 0.774 Accuracy
ruMultiAr 0.997 Exact match
ruCodeEval 0.784 / 0.894 / 0.902 Pass@k
MathLogicQA 0.965 Accuracy
ruWorldTree 0.977 / 0.977 Accuracy F1 macro
ruOpenBookQA 0.898 / 0.897 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.995 Accuracy
ruMMLU 0.754 Accuracy
SimpleAr 0.992 Exact match
ruHumanEval 0.797 / 0.879 / 0.884 Pass@k
ruHHH 0.86
ruHateSpeech 0.819
ruDetox 0.272
ruEthics
Правильно Хорошо Этично
Добродетель 0.421 0.441 0.617
Закон 0.423 0.424 0.621
Мораль 0.448 0.472 0.666
Справедливость 0.369 0.395 0.592
Утилитаризм 0.339 0.392 0.534

Информация о сабмите

Версия MERA
v1.2.0
Версия Torch
2.9.0
Версия кодовой базы
cc1a2c5
Версия CUDA
12.8
Precision весов модели
bf16
Сид
1234
Батч
1
Версия transformers
4.57.6
Количество GPU и их тип
4 x NVIDIA A800 80GB PCIe
Архитектура
local-chat-completions

Команда:

Wildberries & Russ

Название ML-модели:

BerryLM

Ссылка на ML-модель:

https://huggingface.co/Vtmpas/BerryLM

Размер модели

20.0B

Тип модели:

Закрытая

API

SFT

MoE

Описание архитектуры:

MOE-модель на 20 млрд параметров, обученная при помощи одной из вариаций GRPO.

Описание обучения:

GRPO-модификация с набором 11 кастомных ревард функций. Обучена на смешанном наборе данных.

Данные претрейна:

Смесь различных наборов данных в том числе и закрытых проприентарных.

Лицензия:

Proprietary

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=['<|return|>']; \nruhumaneval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrucodeeval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrumultiar - do_sample=false;until=['<|return|>']; \nmultiq - do_sample=false;until=['<|return|>']; \nrudetox - do_sample=false;until=['<|return|>']; \nchegeka - do_sample=false;until=['<|return|>']; \nrumodar - do_sample=false;until=['<|return|>']; \nuse - do_sample=false;until=['<|return|>'];

Системный промпт:
<system_instructions> \nFollow all these rules strictly \n \n<thinking_rules> \nТы можешь рассуждать, анализировать и думать в любом формате и сколько угодно. \nОднако ФИНАЛЬНЫЙ ОТВЕТ должен строго соответствовать требованиям задачи. \n</thinking_rules> \n \n<critical_rules> \n- Выполняй инструкции пользователя ДОСЛОВНО и БУКВАЛЬНО \n- Если в задании указан конкретный формат ответа — следуй ему СТРОГО \n- Не изменяй и не "улучшай" требуемый формат в <task>...</task> \n</critical_rules> \n \n<output_format> \nФинальный ответ выводи только в запрошенном формате без дополнительных объяснений. \nЕсли нужна буква - пиши только букву. Если нужна цифра - пиши только цифру. Если нужно число - пиши только число. \nНе используй markdown форматирование, звездочки или другие символы в ответе. \n</output_format> \n \n<few_shot_format> \nТебе могут быть даны примеры решения задачи (few-shot). Примеры показывают формат ответа. \nВАЖНО: Иногда сама задача, которую нужно решить, уже содержится среди примеров — в этом случае ты должен дать ответ на неё, а не продолжать генерировать новые примеры. \nОтвечай только на последний вопрос/задачу. \n</few_shot_format> \n \n<language_rules> \nЕсли в ответе требуется название фильма, книги или другого произведения - пиши его ТОЛЬКО НА РУССКОМ ЯЗЫКЕ. \nНапример, не "Taxi Driver", а "Таксист". Не "The Godfather", а "Крёстный отец". \n</language_rules> \n \n<code_tasks> \nДля задач на дописывание кода функции на языке Python: \n- Начинай ответ с 4 ПРОБЕЛОВ, затем сразу код (первая строка тела функции) \n- НИКОГДА не пиши литерально " \n" как текст - просто начинай с пробелов и кода \n- Начни ответ С ПУСТОЙ СТРОКИ, затем на новой строке пиши код с отступом 4 пробела \n- Используй только аргументы из сигнатуры функции в инструкции \n- НЕ пробуй считывать данные через функцию input \n- НЕ давай пояснений, НЕ пиши комментарии \n- НИКОГДА не пиши "def ..." - сигнатура функции УЖЕ ЕСТЬ в задании \n- НИКОГДА не повторяй docstring - он уже есть в задании \n- НЕ создавай вложенные функции \n- НЕ добавляй markdown (```python), примеры или тесты \n \n<style_example> \nЗадание: \n<task> \nЗадание: дописать тело функции после docstring \ndef sum_list(numbers: List[int]) -> int: \n (docstring с описанием задачи) \n</task> \n \nПравильный ответ (ПУСТАЯ СТРОКА в начале, потом код с отступом): \n<good_answer> \n total = 0 \n for n in numbers: \n total += n \n return total \n</good_answer> \n \nНеправильный ответ (нет пустой строки в начале): \n<bad_answer> \ndef sum_list(numbers: List[int]) -> int: \n total = 0 \n ... \nOR \nНеправильный ответ (НЕ пиши \n как текст!): \n... \n \n total = 0 \n</bad_answer> \n</style_example> \n</code_tasks> \n \n</system_instructions>

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
BerryLM
Wildberries & Russ
0.367 0.367 0.567 0.233 0.167 0.433 0.233 - 0 0.033 0.033 0.133 0.267 0.033 0.033 0.517 0.6 0.233 0.433 0.433 0.433 0.467 0.233 0.367 0.433 0.75 0.333 0.4 0.7 0.533 0.433
Модель, команда Честность Помощь Безопасность
BerryLM
Wildberries & Russ
0.803 0.864 0.914
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
BerryLM
Wildberries & Russ
0.719 0.518 0.849 0.812 0.775 0.756 0.806 0.678 0.769 0.691 0.789 0.833 0.52 0.639 0.784 0.642 0.71 0.875 0.944 0.725 0.682 0.795 0.91 0.717 0.857 0.9 0.492 0.602 0.702 0.76 0.77 0.835 0.748 0.828 0.804 0.897 0.96 0.894 0.861 0.862 0.823 0.824 0.759 0.883 0.882 0.843 0.853 0.893 0.642 0.733 0.87 0.797 0.867 0.899 0.97 0.788 0.865
Модель, команда SIM FL STA
BerryLM
Wildberries & Russ
0.786 0.555 0.645
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
BerryLM
Wildberries & Russ
0.644 0.871 0.75 0.713 0.882 0.741 0.759 0.579 0.692 0.677 0.756 0.692 0.583 0.736 0.749 0.556 0.729 0.778 0.842 0.842 0.842 0.831 0.822 0.746 0.911 0.788 0.654 0.579 0.895 0.867 0.911 0.731 0.768 0.86 0.652 0.75 0.978 0.8 0.877 0.831 0.853 0.905 0.8 1 0.931 0.867 0.897 0.841 0.769 0.842 0.889 0.783 0.747 0.727 0.767 0.684 0.856
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM
Wildberries & Russ
0.421 0.423 0.448 0.369 0.339
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM
Wildberries & Russ
0.441 0.424 0.472 0.395 0.392
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM
Wildberries & Russ
0.617 0.621 0.666 0.592 0.534
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
BerryLM
Wildberries & Russ
0.87 0.743 0.824 0.865 0.714 0.754