BerryLM-L

Wildberries & Russ Created at 02.02.2026 22:57
0.775
The overall result
14
Place in the rating
In the top by tasks:
6
ruHumanEval
7
SimpleAr
7
LCS
The result on the task is higher than human
The task is one of the main ones
5
ruCodeEval
The task is one of the main ones
Weak tasks:
42
RWSD
278
PARus
118
RCB
28
ruEthics
58
MultiQ
32
ruWorldTree
51
ruOpenBookQA
59
CheGeKa
23
ruMMLU
29
ruHateSpeech
54
ruDetox
84
ruHHH
23
USE
24
BPS
42
MaMuRAMu
+11
Hide

Ratings for leaderboard tasks

The table will scroll to the left

Task name Result Metric
LCS 0.776 Accuracy
RCB 0.564 / 0.548 Accuracy F1 macro
USE 0.56 Grade norm
RWSD 0.681 Accuracy
PARus 0.778 Accuracy
ruTiE 0.905 Accuracy
MultiQ 0.578 / 0.413 F1 Exact match
CheGeKa 0.372 / 0.305 F1 Exact match
ruModAr 0.998 Exact match
MaMuRAMu 0.847 Accuracy
ruMultiAr 0.994 Exact match
ruCodeEval 0.81 / 0.903 / 0.915 Pass@k
MathLogicQA 0.991 Accuracy
ruWorldTree 0.989 / 0.989 Accuracy F1 macro
ruOpenBookQA 0.93 / 0.745 Accuracy F1 macro

Evaluation on open tasks:

Go to the ratings by subcategory

The table will scroll to the left

Task name Result Metric
BPS 0.997 Accuracy
ruMMLU 0.825 Accuracy
SimpleAr 1.0 Exact match
ruHumanEval 0.801 / 0.868 / 0.884 Pass@k
ruHHH 0.843
ruHateSpeech 0.868
ruDetox 0.331
ruEthics
Correct God Ethical
Virtue 0.477 0.433 0.658
Law 0.454 0.409 0.653
Moral 0.513 0.461 0.703
Justice 0.433 0.383 0.598
Utilitarianism 0.399 0.385 0.568

Information about the submission

Mera version
v1.2.0
Torch Version
2.9.0
The version of the codebase
0cabf9d
CUDA version
12.8
Precision of the model weights
mxfp4
Seed
1234
Batch
1
Transformers version
4.57.6
The number of GPUs and their type
4xH100
Architecture
local-chat-completions

Team:

Wildberries & Russ

Name of the ML model:

BerryLM-L

Model size

120.0B

Model type:

Closed

SFT

MoE

Architecture description:

120b Версия модели BerryLM. Рецепт alignment остался как и в младшей модели

Description of the training:

DAPO. 11 reward функций. Instruct Model as is

Pretrain data:

микс открытых и закрытых данных

License:

Proprietary

Inference parameters

Generation Parameters:
simplear - do_sample=false;until=['<|return|>']; \nchegeka - do_sample=false;until=['<|return|>']; \nrumultiar - do_sample=false;until=['<|return|>']; \nuse - do_sample=false;until=['<|return|>']; \nmultiq - do_sample=false;until=['<|return|>']; \nruhumaneval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrucodeeval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrumodar - do_sample=false;until=['<|return|>']; \nrudetox - do_sample=false;until=['<|return|>'];

System prompt:
<system_instructions> \nFollow all these rules strictly \n \n<thinking_rules> \nТы можешь рассуждать, анализировать и думать в любом формате и сколько угодно. \nОднако ФИНАЛЬНЫЙ ОТВЕТ должен строго соответствовать требованиям задачи. \n</thinking_rules> \n \n<critical_rules> \n- Выполняй инструкции пользователя ДОСЛОВНО и БУКВАЛЬНО \n- Если в задании указан конкретный формат ответа — следуй ему СТРОГО \n- Не изменяй и не "улучшай" требуемый формат в <task>...</task> \n</critical_rules> \n \n<output_format> \nФинальный ответ выводи только в запрошенном формате без дополнительных объяснений. \nЕсли нужна буква - пиши только букву. Если нужна цифра - пиши только цифру. Если нужно число - пиши только число. \nНе используй markdown форматирование, звездочки или другие символы в ответе. \n</output_format> \n \n<few_shot_format> \nТебе могут быть даны примеры решения задачи (few-shot). Примеры показывают формат ответа. \nВАЖНО: Иногда сама задача, которую нужно решить, уже содержится среди примеров — в этом случае ты должен дать ответ на неё, а не продолжать генерировать новые примеры. \nОтвечай только на последний вопрос/задачу. \n</few_shot_format> \n \n<language_rules> \nЕсли в ответе требуется название фильма, книги или другого произведения - пиши его ТОЛЬКО НА РУССКОМ ЯЗЫКЕ. \nНапример, не "Taxi Driver", а "Таксист". Не "The Godfather", а "Крёстный отец". \n</language_rules> \n \n<code_tasks> \nДля задач на дописывание кода функции на языке Python: \n- Начинай ответ с 4 ПРОБЕЛОВ, затем сразу код (первая строка тела функции) \n- НИКОГДА не пиши литерально " \n" как текст - просто начинай с пробелов и кода \n- Начни ответ С ПУСТОЙ СТРОКИ, затем на новой строке пиши код с отступом 4 пробела \n- Используй только аргументы из сигнатуры функции в инструкции \n- НЕ пробуй считывать данные через функцию input \n- НЕ давай пояснений, НЕ пиши комментарии \n- НИКОГДА не пиши "def ..." - сигнатура функции УЖЕ ЕСТЬ в задании \n- НИКОГДА не повторяй docstring - он уже есть в задании \n- НЕ создавай вложенные функции \n- НЕ добавляй markdown (```python), примеры или тесты \n \n<style_example> \nЗадание: \n<task> \nЗадание: дописать тело функции после docstring \ndef sum_list(numbers: List[int]) -> int: \n (docstring с описанием задачи) \n</task> \n \nПравильный ответ (ПУСТАЯ СТРОКА в начале, потом код с отступом): \n<good_answer> \n total = 0 \n for n in numbers: \n total += n \n return total \n</good_answer> \n \nНеправильный ответ (нет пустой строки в начале): \n<bad_answer> \ndef sum_list(numbers: List[int]) -> int: \n total = 0 \n ... \nOR \nНеправильный ответ (НЕ пиши \n как текст!): \n... \n \n total = 0 \n</bad_answer> \n</style_example> \n</code_tasks> \n \n</system_instructions>

Ratings by subcategory

Metric: Grade Norm
Model, team 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
BerryLM-L
Wildberries & Russ
0.467 0.667 0.833 0.233 0.333 0.7 0.5 - 0.067 0.133 0.367 0.4 0.667 0.4 0.367 0.6 0.7 0.367 0.633 0.3 0.633 0.667 0.533 0.6 0.533 0.875 0.5 0.633 0.733 0.6 0.767
Model, team Honest Helpful Harmless
BerryLM-L
Wildberries & Russ
0.787 0.831 0.914
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Management Philosophy Prehistory Human aging Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Biology (college) Physics (college) Human Sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine learning Medical genetics Professional law PR Security studies Chemistry (школьная) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual_physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) European history Government and politics
BerryLM-L
Wildberries & Russ
0.844 0.554 0.941 0.885 0.882 0.841 0.854 0.765 0.818 0.749 0.807 0.897 0.6 0.778 0.889 0.734 0.74 0.944 0.967 0.855 0.773 0.848 0.95 0.792 0.875 0.97 0.61 0.667 0.759 0.73 0.86 0.826 0.785 0.838 0.849 0.91 0.95 0.935 0.94 0.921 0.838 0.893 0.793 0.955 0.927 0.88 0.858 0.974 0.801 0.8 0.92 0.865 0.918 0.933 0.98 0.873 0.917
Model, team SIM FL STA
BerryLM-L
Wildberries & Russ
0.771 0.63 0.706
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Managment Philosophy Pre-History Gerontology Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Bilology (college) Physics (college) Human sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine Learning Genetics Professional law PR Security Chemistry (college) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical Engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional Accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) Europe History Government and politics
BerryLM-L
Wildberries & Russ
0.733 0.931 0.817 0.769 0.868 0.828 0.776 0.684 0.827 0.769 0.821 0.783 0.608 0.853 0.877 0.741 0.757 0.778 0.842 0.86 0.842 0.949 0.911 0.899 0.911 0.909 0.782 0.632 0.947 0.933 0.889 0.872 0.821 0.912 0.818 0.804 0.956 0.889 0.895 0.938 0.902 0.873 0.844 0.978 0.948 0.889 0.948 0.932 0.8 0.947 0.911 0.899 0.823 0.805 0.814 0.836 0.933
Coorect
Good
Ethical
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-L
Wildberries & Russ
0.477 0.454 0.513 0.433 0.399
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-L
Wildberries & Russ
0.433 0.409 0.461 0.383 0.385
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-L
Wildberries & Russ
0.658 0.653 0.703 0.598 0.568
Model, team Women Men LGBT Nationalities Migrants Other
BerryLM-L
Wildberries & Russ
0.889 0.743 0.941 0.919 0.857 0.852