BerryLM-L

Wildberries & Russ Создан 02.02.2026 22:57
0.775
Общий результат
14
Место в рейтинге
В топе по задачам:
6
ruHumanEval
7
SimpleAr
7
LCS
Результат по задаче выше человеческого
Задача входит в число основных
5
ruCodeEval
Задача входит в число основных
Слабые задачи:
42
RWSD
278
PARus
118
RCB
28
ruEthics
58
MultiQ
32
ruWorldTree
51
ruOpenBookQA
59
CheGeKa
23
ruMMLU
29
ruHateSpeech
54
ruDetox
84
ruHHH
23
USE
24
BPS
42
MaMuRAMu
+11
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.776 Accuracy
RCB 0.564 / 0.548 Accuracy F1 macro
USE 0.56 Grade norm
RWSD 0.681 Accuracy
PARus 0.778 Accuracy
ruTiE 0.905 Accuracy
MultiQ 0.578 / 0.413 F1 Exact match
CheGeKa 0.372 / 0.305 F1 Exact match
ruModAr 0.998 Exact match
MaMuRAMu 0.847 Accuracy
ruMultiAr 0.994 Exact match
ruCodeEval 0.81 / 0.903 / 0.915 Pass@k
MathLogicQA 0.991 Accuracy
ruWorldTree 0.989 / 0.989 Accuracy F1 macro
ruOpenBookQA 0.93 / 0.745 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.997 Accuracy
ruMMLU 0.825 Accuracy
SimpleAr 1.0 Exact match
ruHumanEval 0.801 / 0.868 / 0.884 Pass@k
ruHHH 0.843
ruHateSpeech 0.868
ruDetox 0.331
ruEthics
Правильно Хорошо Этично
Добродетель 0.477 0.433 0.658
Закон 0.454 0.409 0.653
Мораль 0.513 0.461 0.703
Справедливость 0.433 0.383 0.598
Утилитаризм 0.399 0.385 0.568

Информация о сабмите

Версия MERA
v1.2.0
Версия Torch
2.9.0
Версия кодовой базы
0cabf9d
Версия CUDA
12.8
Precision весов модели
mxfp4
Сид
1234
Батч
1
Версия transformers
4.57.6
Количество GPU и их тип
4xH100
Архитектура
local-chat-completions

Команда:

Wildberries & Russ

Название ML-модели:

BerryLM-L

Ссылка на ML-модель:

https://huggingface.co/Vtmpas/BerryLM-L

Размер модели

120.0B

Тип модели:

Закрытая

SFT

MoE

Описание архитектуры:

120b Версия модели BerryLM. Рецепт alignment остался как и в младшей модели

Описание обучения:

DAPO. 11 reward функций. Instruct Model as is

Данные претрейна:

микс открытых и закрытых данных

Лицензия:

Proprietary

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=['<|return|>']; \nchegeka - do_sample=false;until=['<|return|>']; \nrumultiar - do_sample=false;until=['<|return|>']; \nuse - do_sample=false;until=['<|return|>']; \nmultiq - do_sample=false;until=['<|return|>']; \nruhumaneval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrucodeeval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrumodar - do_sample=false;until=['<|return|>']; \nrudetox - do_sample=false;until=['<|return|>'];

Системный промпт:
<system_instructions> \nFollow all these rules strictly \n \n<thinking_rules> \nТы можешь рассуждать, анализировать и думать в любом формате и сколько угодно. \nОднако ФИНАЛЬНЫЙ ОТВЕТ должен строго соответствовать требованиям задачи. \n</thinking_rules> \n \n<critical_rules> \n- Выполняй инструкции пользователя ДОСЛОВНО и БУКВАЛЬНО \n- Если в задании указан конкретный формат ответа — следуй ему СТРОГО \n- Не изменяй и не "улучшай" требуемый формат в <task>...</task> \n</critical_rules> \n \n<output_format> \nФинальный ответ выводи только в запрошенном формате без дополнительных объяснений. \nЕсли нужна буква - пиши только букву. Если нужна цифра - пиши только цифру. Если нужно число - пиши только число. \nНе используй markdown форматирование, звездочки или другие символы в ответе. \n</output_format> \n \n<few_shot_format> \nТебе могут быть даны примеры решения задачи (few-shot). Примеры показывают формат ответа. \nВАЖНО: Иногда сама задача, которую нужно решить, уже содержится среди примеров — в этом случае ты должен дать ответ на неё, а не продолжать генерировать новые примеры. \nОтвечай только на последний вопрос/задачу. \n</few_shot_format> \n \n<language_rules> \nЕсли в ответе требуется название фильма, книги или другого произведения - пиши его ТОЛЬКО НА РУССКОМ ЯЗЫКЕ. \nНапример, не "Taxi Driver", а "Таксист". Не "The Godfather", а "Крёстный отец". \n</language_rules> \n \n<code_tasks> \nДля задач на дописывание кода функции на языке Python: \n- Начинай ответ с 4 ПРОБЕЛОВ, затем сразу код (первая строка тела функции) \n- НИКОГДА не пиши литерально " \n" как текст - просто начинай с пробелов и кода \n- Начни ответ С ПУСТОЙ СТРОКИ, затем на новой строке пиши код с отступом 4 пробела \n- Используй только аргументы из сигнатуры функции в инструкции \n- НЕ пробуй считывать данные через функцию input \n- НЕ давай пояснений, НЕ пиши комментарии \n- НИКОГДА не пиши "def ..." - сигнатура функции УЖЕ ЕСТЬ в задании \n- НИКОГДА не повторяй docstring - он уже есть в задании \n- НЕ создавай вложенные функции \n- НЕ добавляй markdown (```python), примеры или тесты \n \n<style_example> \nЗадание: \n<task> \nЗадание: дописать тело функции после docstring \ndef sum_list(numbers: List[int]) -> int: \n (docstring с описанием задачи) \n</task> \n \nПравильный ответ (ПУСТАЯ СТРОКА в начале, потом код с отступом): \n<good_answer> \n total = 0 \n for n in numbers: \n total += n \n return total \n</good_answer> \n \nНеправильный ответ (нет пустой строки в начале): \n<bad_answer> \ndef sum_list(numbers: List[int]) -> int: \n total = 0 \n ... \nOR \nНеправильный ответ (НЕ пиши \n как текст!): \n... \n \n total = 0 \n</bad_answer> \n</style_example> \n</code_tasks> \n \n</system_instructions>

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
BerryLM-L
Wildberries & Russ
0.467 0.667 0.833 0.233 0.333 0.7 0.5 - 0.067 0.133 0.367 0.4 0.667 0.4 0.367 0.6 0.7 0.367 0.633 0.3 0.633 0.667 0.533 0.6 0.533 0.875 0.5 0.633 0.733 0.6 0.767
Модель, команда Честность Помощь Безопасность
BerryLM-L
Wildberries & Russ
0.787 0.831 0.914
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
BerryLM-L
Wildberries & Russ
0.844 0.554 0.941 0.885 0.882 0.841 0.854 0.765 0.818 0.749 0.807 0.897 0.6 0.778 0.889 0.734 0.74 0.944 0.967 0.855 0.773 0.848 0.95 0.792 0.875 0.97 0.61 0.667 0.759 0.73 0.86 0.826 0.785 0.838 0.849 0.91 0.95 0.935 0.94 0.921 0.838 0.893 0.793 0.955 0.927 0.88 0.858 0.974 0.801 0.8 0.92 0.865 0.918 0.933 0.98 0.873 0.917
Модель, команда SIM FL STA
BerryLM-L
Wildberries & Russ
0.771 0.63 0.706
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
BerryLM-L
Wildberries & Russ
0.733 0.931 0.817 0.769 0.868 0.828 0.776 0.684 0.827 0.769 0.821 0.783 0.608 0.853 0.877 0.741 0.757 0.778 0.842 0.86 0.842 0.949 0.911 0.899 0.911 0.909 0.782 0.632 0.947 0.933 0.889 0.872 0.821 0.912 0.818 0.804 0.956 0.889 0.895 0.938 0.902 0.873 0.844 0.978 0.948 0.889 0.948 0.932 0.8 0.947 0.911 0.899 0.823 0.805 0.814 0.836 0.933
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM-L
Wildberries & Russ
0.477 0.454 0.513 0.433 0.399
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM-L
Wildberries & Russ
0.433 0.409 0.461 0.383 0.385
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
BerryLM-L
Wildberries & Russ
0.658 0.653 0.703 0.598 0.568
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
BerryLM-L
Wildberries & Russ
0.889 0.743 0.941 0.919 0.857 0.852