BerryLM-MT

Wildberries & Russ Created at 31.01.2026 15:30
0.745
The overall result
19
Place in the rating
In the top by tasks:
5
ruHumanEval
5
ruMultiAr
The result on the task is higher than human
The task is one of the main ones
5
LCS
The result on the task is higher than human
The task is one of the main ones
8
ruModAr
The task is one of the main ones
7
ruCodeEval
The task is one of the main ones
+1
Hide
Weak tasks:
102
RWSD
271
PARus
139
RCB
44
ruEthics
82
MultiQ
68
ruWorldTree
74
ruOpenBookQA
190
CheGeKa
48
ruMMLU
64
ruHateSpeech
124
ruDetox
67
ruHHH
36
ruTiE
45
USE
24
MathLogicQA
56
SimpleAr
41
BPS
105
MaMuRAMu
+14
Hide

Ratings for leaderboard tasks

The table will scroll to the left

Task name Result Metric
LCS 0.824 Accuracy
RCB 0.557 / 0.539 Accuracy F1 macro
USE 0.389 Grade norm
RWSD 0.596 Accuracy
PARus 0.79 Accuracy
ruTiE 0.874 Accuracy
MultiQ 0.548 / 0.36 F1 Exact match
CheGeKa 0.172 / 0.132 F1 Exact match
ruModAr 0.999 Exact match
MaMuRAMu 0.793 Accuracy
ruMultiAr 1.0 Exact match
ruCodeEval 0.777 / 0.899 / 0.927 Pass@k
MathLogicQA 0.989 Accuracy
ruWorldTree 0.977 / 0.977 Accuracy F1 macro
ruOpenBookQA 0.915 / 0.915 Accuracy F1 macro

Evaluation on open tasks:

Go to the ratings by subcategory

The table will scroll to the left

Task name Result Metric
BPS 0.994 Accuracy
ruMMLU 0.777 Accuracy
SimpleAr 0.995 Exact match
ruHumanEval 0.811 / 0.881 / 0.884 Pass@k
ruHHH 0.854
ruHateSpeech 0.834
ruDetox 0.265
ruEthics
Correct God Ethical
Virtue 0.457 0.43 0.645
Law 0.455 0.425 0.653
Moral 0.495 0.461 0.677
Justice 0.408 0.385 0.597
Utilitarianism 0.362 0.361 0.544

Information about the submission

Mera version
v1.2.0
Torch Version
2.9.0
The version of the codebase
e7523a9
CUDA version
12.8
Precision of the model weights
bf16
Seed
1234
Batch
1
Transformers version
4.57.6
The number of GPUs and their type
4 x NVIDIA A800 80GB PCIe
Architecture
local-chat-completions

Team:

Wildberries & Russ

Name of the ML model:

BerryLM-MT

Model size

20.0B

Model type:

Closed

API

SFT

MoE

Architecture description:

MOE-модель на 20 млрд параметров, обученная при помощи одной из вариаций GRPO.

Description of the training:

GRPO-модификация с набором 11 кастомных ревард функций. Обучена на смешанном наборе данных.

Pretrain data:

Смесь различных наборов данных в том числе и закрытых проприентарных.

License:

Proprietary

Inference parameters

Generation Parameters:
simplear - do_sample=false;until=['<|return|>']; \nruhumaneval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrumultiar - do_sample=false;until=['<|return|>']; \nrucodeeval - do_sample=true;temperature=0.4;until=["<|return|>"];repetition_penalty=1.1; \nrudetox - do_sample=false;until=['<|return|>']; \nmultiq - do_sample=false;until=['<|return|>']; \nchegeka - do_sample=false;until=['<|return|>']; \nrumodar - do_sample=false;until=['<|return|>']; \nuse - do_sample=false;until=['<|return|>'];

System prompt:
<system_instructions> \nFollow all these rules strictly \n \n<thinking_rules> \nТы можешь рассуждать, анализировать и думать в любом формате и сколько угодно. \nОднако ФИНАЛЬНЫЙ ОТВЕТ должен строго соответствовать требованиям задачи. \n</thinking_rules> \n \n<critical_rules> \n- Выполняй инструкции пользователя ДОСЛОВНО и БУКВАЛЬНО \n- Если в задании указан конкретный формат ответа — следуй ему СТРОГО \n- Не изменяй и не "улучшай" требуемый формат в <task>...</task> \n</critical_rules> \n \n<output_format> \nФинальный ответ выводи только в запрошенном формате без дополнительных объяснений. \nЕсли нужна буква - пиши только букву. Если нужна цифра - пиши только цифру. Если нужно число - пиши только число. \nНе используй markdown форматирование, звездочки или другие символы в ответе. \n</output_format> \n \n<few_shot_format> \nТебе могут быть даны примеры решения задачи (few-shot). Примеры показывают формат ответа. \nВАЖНО: Иногда сама задача, которую нужно решить, уже содержится среди примеров — в этом случае ты должен дать ответ на неё, а не продолжать генерировать новые примеры. \nОтвечай только на последний вопрос/задачу. \n</few_shot_format> \n \n<language_rules> \nЕсли в ответе требуется название фильма, книги или другого произведения - пиши его ТОЛЬКО НА РУССКОМ ЯЗЫКЕ. \nНапример, не "Taxi Driver", а "Таксист". Не "The Godfather", а "Крёстный отец". \n</language_rules> \n \n<code_tasks> \nДля задач на дописывание кода функции на языке Python: \n- Начинай ответ с 4 ПРОБЕЛОВ, затем сразу код (первая строка тела функции) \n- НИКОГДА не пиши литерально " \n" как текст - просто начинай с пробелов и кода \n- Начни ответ С ПУСТОЙ СТРОКИ, затем на новой строке пиши код с отступом 4 пробела \n- Используй только аргументы из сигнатуры функции в инструкции \n- НЕ пробуй считывать данные через функцию input \n- НЕ давай пояснений, НЕ пиши комментарии \n- НИКОГДА не пиши "def ..." - сигнатура функции УЖЕ ЕСТЬ в задании \n- НИКОГДА не повторяй docstring - он уже есть в задании \n- НЕ создавай вложенные функции \n- НЕ добавляй markdown (```python), примеры или тесты \n \n<style_example> \nЗадание: \n<task> \nЗадание: дописать тело функции после docstring \ndef sum_list(numbers: List[int]) -> int: \n (docstring с описанием задачи) \n</task> \n \nПравильный ответ (ПУСТАЯ СТРОКА в начале, потом код с отступом): \n<good_answer> \n total = 0 \n for n in numbers: \n total += n \n return total \n</good_answer> \n \nНеправильный ответ (нет пустой строки в начале): \n<bad_answer> \ndef sum_list(numbers: List[int]) -> int: \n total = 0 \n ... \nOR \nНеправильный ответ (НЕ пиши \n как текст!): \n... \n \n total = 0 \n</bad_answer> \n</style_example> \n</code_tasks> \n \n</system_instructions>

Ratings by subcategory

Metric: Grade Norm
Model, team 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
BerryLM-MT
Wildberries & Russ
0.367 0.533 0.767 0.233 0.2 0.5 0.167 - 0.033 0 0.067 0.2 0.267 0.067 0.067 0.5 0.467 0.167 0.3 0.333 0.433 0.5 0.333 0.467 0.533 0.683 0.367 0.433 0.7 0.4 0.6
Model, team Honest Helpful Harmless
BerryLM-MT
Wildberries & Russ
0.77 0.898 0.897
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Management Philosophy Prehistory Human aging Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Biology (college) Physics (college) Human Sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine learning Medical genetics Professional law PR Security studies Chemistry (школьная) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual_physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) European history Government and politics
BerryLM-MT
Wildberries & Russ
0.763 0.5 0.868 0.863 0.843 0.806 0.816 0.698 0.806 0.713 0.754 0.857 0.54 0.704 0.843 0.665 0.77 0.91 0.956 0.779 0.702 0.766 0.94 0.792 0.902 0.92 0.509 0.602 0.694 0.72 0.85 0.843 0.779 0.838 0.808 0.897 0.95 0.89 0.874 0.872 0.813 0.89 0.766 0.92 0.891 0.824 0.858 0.911 0.645 0.744 0.9 0.84 0.89 0.95 0.96 0.836 0.896
Model, team SIM FL STA
BerryLM-MT
Wildberries & Russ
0.8 0.546 0.638
Model, team Anatomy Virology Astronomy Marketing Nutrition Sociology Managment Philosophy Pre-History Gerontology Econometrics Formal logic Global facts Jurisprudence Miscellaneous Moral disputes Business ethics Bilology (college) Physics (college) Human sexuality Moral scenarios World religions Abstract algebra Medicine (college) Machine Learning Genetics Professional law PR Security Chemistry (college) Computer security International law Logical fallacies Politics Clinical knowledge Conceptual physics Math (college) Biology (high school) Physics (high school) Chemistry (high school) Geography (high school) Professional medicine Electrical Engineering Elementary mathematics Psychology (high school) Statistics (high school) History (high school) Math (high school) Professional Accounting Professional psychology Computer science (college) World history (high school) Macroeconomics Microeconomics Computer science (high school) Europe History Government and politics
BerryLM-MT
Wildberries & Russ
0.622 0.871 0.75 0.704 0.868 0.759 0.724 0.632 0.808 0.723 0.769 0.758 0.525 0.705 0.772 0.704 0.748 0.778 0.825 0.86 0.825 0.831 0.911 0.852 0.956 0.818 0.641 0.579 0.895 0.822 0.867 0.821 0.759 0.825 0.742 0.839 0.911 0.822 0.877 0.846 0.853 0.857 0.889 1 0.897 0.889 0.931 0.886 0.754 0.947 0.889 0.826 0.835 0.766 0.791 0.667 0.878
Coorect
Good
Ethical
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-MT
Wildberries & Russ
0.457 0.455 0.495 0.408 0.362
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-MT
Wildberries & Russ
0.43 0.425 0.461 0.385 0.361
Model, team Virtue Law Moral Justice Utilitarianism
BerryLM-MT
Wildberries & Russ
0.645 0.653 0.677 0.597 0.544
Model, team Women Men LGBT Nationalities Migrants Other
BerryLM-MT
Wildberries & Russ
0.861 0.743 0.824 0.892 1 0.787