BerryLM

Wildberries & Russ Created at 30.01.2026 08:56
0.739
The overall result
20
Place in the rating
In the top by tasks:
7
ruHumanEval
8
LCS
The result on the task is higher than human
The task is one of the main ones
9
ruModAr
The task is one of the main ones
6
ruCodeEval
The task is one of the main ones
Weak tasks:
78
RWSD
256
PARus
155
RCB
79
ruEthics
83
MultiQ
69
ruWorldTree
102
ruOpenBookQA
145
CheGeKa
70
ruMMLU
86
ruHateSpeech
119
ruDetox
53
ruHHH
63
ruTiE
48
USE
30
MathLogicQA
81
SimpleAr
34
BPS
118
MaMuRAMu
+14
Hide
Здравствуйте! Сабмит был проверен и удовлетворяет всем критериям для публикации. Единственное, что хотелось бы отметить, что ввиду оценки модели без использования режима fewshot_as_multiturn, она появится не на основном лидерборде.

Ratings for leaderboard tasks

The table will scroll to the left

Task name Result Metric
LCS 0.774 Accuracy
RCB 0.553 / 0.535 Accuracy F1 macro
USE 0.381 Grade norm
RWSD 0.615 Accuracy
PARus 0.806 Accuracy
ruTiE 0.859 Accuracy
MultiQ 0.547 / 0.357 F1 Exact match
CheGeKa 0.206 / 0.156 F1 Exact match
ruModAr 0.999 Exact match
MaMuRAMu 0.774 Accuracy
ruMultiAr 0.997 Exact match
ruCodeEval 0.784 / 0.894 / 0.902 Pass@k
MathLogicQA 0.965 Accuracy
ruWorldTree 0.977 / 0.977 Accuracy F1 macro
ruOpenBookQA 0.898 / 0.897 Accuracy F1 macro

Evaluation on open tasks:

Go to the ratings by subcategory

The table will scroll to the left

Task name Result Metric
BPS 0.995 Accuracy
ruMMLU 0.754 Accuracy
SimpleAr 0.992 Exact match
ruHumanEval 0.797 / 0.879 / 0.884 Pass@k
ruHHH 0.86
ruHateSpeech 0.819
ruDetox 0.272
ruEthics
Correct God Ethical
Virtue 0.421 0.441 0.617
Law 0.423 0.424 0.621
Moral 0.448 0.472 0.666
Justice 0.369 0.395 0.592
Utilitarianism 0.339 0.392 0.534

Information about the submission

Mera version
v1.2.0
Torch Version
2.9.0
The version of the codebase
cc1a2c5
CUDA version
12.8
Precision of the model weights
bf16
Seed
1234
Batch
1
Transformers version
4.57.6
The number of GPUs and their type
4 x NVIDIA A800 80GB PCIe
Architecture
local-chat-completions

Team:

Wildberries & Russ

Name of the ML model:

BerryLM

Model size

20.0B

Model type:

Closed

API

SFT

MoE

Architecture description:

MOE-модель на 20 млрд параметров, обученная при помощи одной из вариаций GRPO.

Description of the training:

GRPO-модификация с набором 11 кастомных ревард функций. Обучена на смешанном наборе данных.

Pretrain data:

Смесь различных наборов данных в том числе и закрытых проприентарных.

License:

Proprietary

Inference parameters

Generation Parameters:
simplear - do_sample=false;until=['<|return|>']; \nruhumaneval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrucodeeval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrumultiar - do_sample=false;until=['<|return|>']; \nmultiq - do_sample=false;until=['<|return|>']; \nrudetox - do_sample=false;until=['<|return|>']; \nchegeka - do_sample=false;until=['<|return|>']; \nrumodar - do_sample=false;until=['<|return|>']; \nuse - do_sample=false;until=['<|return|>'];

System prompt:
<system_instructions> \nFollow all these rules strictly \n \n<thinking_rules> \nТы можешь рассуждать, анализировать и думать в любом формате и сколько угодно. \nОднако ФИНАЛЬНЫЙ ОТВЕТ должен строго соответствовать требованиям задачи. \n</thinking_rules> \n \n<critical_rules> \n- Выполняй инструкции пользователя ДОСЛОВНО и БУКВАЛЬНО \n- Если в задании указан конкретный формат ответа — следуй ему СТРОГО \n- Не изменяй и не "улучшай" требуемый формат в <task>...</task> \n</critical_rules> \n \n<output_format> \nФинальный ответ выводи только в запрошенном формате без дополнительных объяснений. \nЕсли нужна буква - пиши только букву. Если нужна цифра - пиши только цифру. Если нужно число - пиши только число. \nНе используй markdown форматирование, звездочки или другие символы в ответе. \n</output_format> \n \n<few_shot_format> \nТебе могут быть даны примеры решения задачи (few-shot). Примеры показывают формат ответа. \nВАЖНО: Иногда сама задача, которую нужно решить, уже содержится среди примеров — в этом случае ты должен дать ответ на неё, а не продолжать генерировать новые примеры. \nОтвечай только на последний вопрос/задачу. \n</few_shot_format> \n \n<language_rules> \nЕсли в ответе требуется название фильма, книги или другого произведения - пиши его ТОЛЬКО НА РУССКОМ ЯЗЫКЕ. \nНапример, не "Taxi Driver", а "Таксист". Не "The Godfather", а "Крёстный отец". \n</language_rules> \n \n<code_tasks> \nДля задач на дописывание кода функции на языке Python: \n- Начинай ответ с 4 ПРОБЕЛОВ, затем сразу код (первая строка тела функции) \n- НИКОГДА не пиши литерально " \n" как текст - просто начинай с пробелов и кода \n- Начни ответ С ПУСТОЙ СТРОКИ, затем на новой строке пиши код с отступом 4 пробела \n- Используй только аргументы из сигнатуры функции в инструкции \n- НЕ пробуй считывать данные через функцию input \n- НЕ давай пояснений, НЕ пиши комментарии \n- НИКОГДА не пиши "def ..." - сигнатура функции УЖЕ ЕСТЬ в задании \n- НИКОГДА не повторяй docstring - он уже есть в задании \n- НЕ создавай вложенные функции \n- НЕ добавляй markdown (```python), примеры или тесты \n \n<style_example> \nЗадание: \n<task> \nЗадание: дописать тело функции после docstring \ndef sum_list(numbers: List[int]) -> int: \n (docstring с описанием задачи) \n</task> \n \nПравильный ответ (ПУСТАЯ СТРОКА в начале, потом код с отступом): \n<good_answer> \n total = 0 \n for n in numbers: \n total += n \n return total \n</good_answer> \n \nНеправильный ответ (нет пустой строки в начале): \n<bad_answer> \ndef sum_list(numbers: List[int]) -> int: \n total = 0 \n ... \nOR \nНеправильный ответ (НЕ пиши \n как текст!): \n... \n \n total = 0 \n</bad_answer> \n</style_example> \n</code_tasks> \n \n</system_instructions>

Ratings by subcategory

Metric: Grade Norm
Model, team 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
BerryLM
Wildberries & Russ
0.367 0.367 0.567 0.233 0.167 0.433 0.233 - 0 0.033 0.033 0.133 0.267 0.033 0.033 0.517 0.6 0.233 0.433 0.433 0.433 0.467 0.233 0.367 0.433 0.75 0.333 0.4 0.7 0.533 0.433
Model, team Honest Helpful Harmless
BerryLM
Wildberries & Russ
0.803 0.864 0.914
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Management Philosophy Prehistory Human aging Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Biology (college) Physics (college) Human Sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine learning Medical genetics Professional law PR Security studies Chemistry (школьная) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual_physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) European history Government and politics
BerryLM
Wildberries & Russ
0.719 0.518 0.849 0.812 0.775 0.756 0.806 0.678 0.769 0.691 0.789 0.833 0.52 0.639 0.784 0.642 0.71 0.875 0.944 0.725 0.682 0.795 0.91 0.717 0.857 0.9 0.492 0.602 0.702 0.76 0.77 0.835 0.748 0.828 0.804 0.897 0.96 0.894 0.861 0.862 0.823 0.824 0.759 0.883 0.882 0.843 0.853 0.893 0.642 0.733 0.87 0.797 0.867 0.899 0.97 0.788 0.865
Model, team SIM FL STA
BerryLM
Wildberries & Russ
0.786 0.555 0.645
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Managment Philosophy Pre-History Gerontology Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Bilology (college) Physics (college) Human sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine Learning Genetics Professional law PR Security Chemistry (college) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical Engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional Accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) Europe History Government and politics
BerryLM
Wildberries & Russ
0.644 0.871 0.75 0.713 0.882 0.741 0.759 0.579 0.692 0.677 0.756 0.692 0.583 0.736 0.749 0.556 0.729 0.778 0.842 0.842 0.842 0.831 0.822 0.746 0.911 0.788 0.654 0.579 0.895 0.867 0.911 0.731 0.768 0.86 0.652 0.75 0.978 0.8 0.877 0.831 0.853 0.905 0.8 1 0.931 0.867 0.897 0.841 0.769 0.842 0.889 0.783 0.747 0.727 0.767 0.684 0.856
Coorect
Good
Ethical
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM
Wildberries & Russ
0.421 0.423 0.448 0.369 0.339
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM
Wildberries & Russ
0.441 0.424 0.472 0.395 0.392
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM
Wildberries & Russ
0.617 0.621 0.666 0.592 0.534
Model, team Women Men LGBT Nationalities Migrants Other
BerryLM
Wildberries & Russ
0.87 0.743 0.824 0.865 0.714 0.754