RU EN

Leaderboard

The overall rating of the model on the leaderboard is calculated by the sum of ratings of separate task classes. Public results are issued separately and are not taken into account in the rating. Detailed information about submissions is available on the submission pages (click on a model title).

The table will scroll to the left

 
Model&Team
Total score
 BPS CheGeKa LCS MathLogicQA MultiQ PARus RCB ruHumanEval ruMMLU ruModAr ruMultiAr ruOpenBookQA ruTiE ruWorldTree RWSD SimpleAr USE
1

Human Benchmark

MERA

0.872
 1.0 0.719 / 0.645 0.56 0.99 0.928 / 0.91 0.982 0.565 / 0.587 1 / 1 / 1 0.844 0.999 0.998 0.875 / 0.865 0.942 0.935 / 0.935 0.835 1.0 0.701
2

Llama3-70B-EnSecAI-Ru-Chat

EnSec AI

0.57
 0.07 0.306 / 0.231 0.144 0.571 0.541 / 0.421 0.926 0.548 / 0.448 0.049 / 0.244 / 0.488 0.847 0.709 0.357 0.933 / 0.932 0.828 0.987 / 0.987 0.677 0.997 0.138
3

GigaChat-Pro

GIGACHAT

0.537
 0.318 0.104 / 0 0.09 0.467 0.369 / 0.247 0.884 0.53 / 0.449 0.013 / 0.064 / 0.128 0.816 0.866 0.273 0.873 / 0.872 0.791 0.939 / 0.939 0.585 0.971 0.338
4

MTS AI Chat Medium

MTS AI

0.536
 0.23 0.05 / 0.022 0.178 0.589 0.247 / 0.171 0.884 0.598 / 0.603 0.023 / 0.113 / 0.226 0.704 0.949 0.337 0.813 / 0.813 0.674 0.872 / 0.872 0.665 0.986 0.266
5

Qwen 72B Instruct GPTQ Int4

НГУ

0.524
 0.038 0.08 / 0.002 0.15 0.681 0.305 / 0.182 0.958 0.543 / 0.507 0.005 / 0.024 / 0.049 0.871 0.194 0.403 0.963 / 0.962 0.874 0.989 / 0.989 0.7 0.995 0.257
6

GigaChat Lite

GIGACHAT

0.504
 0.412 0.063 / 0 0.084 0.45 0.193 / 0.071 0.848 0.543 / 0.452 0.018 / 0.088 / 0.177 0.783 0.77 0.216 0.823 / 0.822 0.726 0.897 / 0.897 0.627 0.9 0.284
7

T-lite-0.1

T-Bank AI

0.492
 0.358 0.118 / 0.06 0.14 0.37 0.383 / 0.29 0.858 0.511 / 0.418 0.023 / 0.113 / 0.226 0.759 0.667 0.269 0.783 / 0.782 0.681 0.88 / 0.88 0.585 0.955 0.05
8

MTS AI Chat 7B

MTS AI

0.479
 0.276 0.083 / 0.046 0.094 0.407 0.361 / 0.278 0.834 0.532 / 0.53 0.018 / 0.088 / 0.177 0.689 0.717 0.233 0.763 / 0.762 0.574 0.846 / 0.845 0.615 0.955 0.128
9

Mixtral 8x7B Instruct

Russian_NLP

0.478
 0.157 0.071 / 0 0.082 0.408 0.151 / 0.071 0.858 0.521 / 0.48 0.024 / 0.122 / 0.244 0.776 0.674 0.288 0.825 / 0.825 0.695 0.907 / 0.907 0.635 0.977 0.069
10

SOLAR 10.7B Instruct

Russian_NLP

0.469
 0.359 0.206 / 0.139 0.078 0.396 0.205 / 0.097 0.828 0.523 / 0.503 0.013 / 0.067 / 0.134 0.698 0.459 0.2 0.825 / 0.824 0.7 0.884 / 0.884 0.654 0.946 0.04
11

Yi 34B 200K

LM Research

0.455
 0.426 0.01 / 0 0.108 0.473 0.185 / 0.107 0.74 0.498 / 0.402 0.004 / 0.021 / 0.043 0.676 0.635 0.277 0.748 / 0.746 0.602 0.838 / 0.838 0.562 0.981 0.049
12

lightblue/suzume-llama-3-8B-multilingual

BODBE LLM

0.453
 0.336 0.035 / 0 0.142 0.373 0.261 / 0.161 0.744 0.521 / 0.424 0.01 / 0.052 / 0.104 0.712 0.59 0.254 0.795 / 0.795 0.614 0.844 / 0.844 0.569 0.955 0.018
13

Llama 2 70b

NLP Team

0.453
 0.495 0.076 / 0 0.08 0.388 0.185 / 0.041 0.744 0.466 / 0.424 0.02 / 0.101 / 0.201 0.741 0.65 0.216 0.818 / 0.817 0.453 0.914 / 0.915 0.5 0.965 0.031
14

Qwen 7B Instruct

НГУ

0.443
 0.162 0.022 / 0 0.094 0.5 0.112 / 0.019 0.84 0.505 / 0.417 0 / 0 / 0 0.777 0.381 0.299 0.835 / 0.834 0.64 0.933 / 0.933 0.527 0.991 0.023
15

Starling-LM-7B-alpha

BODBE LLM

0.433
 0.374 0.029 / 0 0.082 0.374 0.18 / 0.002 0.724 0.532 / 0.485 0.015 / 0.076 / 0.152 0.673 0.473 0.227 0.775 / 0.774 0.549 0.829 / 0.829 0.573 0.941 0.066
16

Mistral 7B

MERA

0.4
 0.392 0.038 / 0 0.098 0.344 0.124 / 0.067 0.518 0.372 / 0.344 0.012 / 0.058 / 0.116 0.676 0.516 0.195 0.735 / 0.732 0.502 0.81 / 0.811 0.512 0.95 0.022
17

Phi-3-mini-4k-instruct

BODBE LLM

0.387
 0.381 0.005 / 0 0.086 0.391 0.103 / 0.003 0.672 0.511 / 0.425 0.02 / 0.101 / 0.201 0.478 0.49 0.271 0.558 / 0.558 0.551 0.621 / 0.62 0.496 0.91 0.052
18

davinci-002

MERA

0.383
 0.521 0.018 / 0 0.124 0.353 0.119 / 0.044 0.506 0.331 / 0.178 0.005 / 0.023 / 0.037 0.613 0.476 0.176 0.675 / 0.676 0.519 0.766 / 0.765 0.481 0.927 0.016
19

Qwen 1.5B Instruct

НГУ

0.381
 0.349 0.01 / 0 0.122 0.353 0.101 / 0.021 0.648 0.418 / 0.32 0 / 0 / 0 0.601 0.392 0.185 0.678 / 0.677 0.521 0.749 / 0.749 0.5 0.93 0.012
20

Llama 2 13B

MERA

0.368
 0.507 0.043 / 0 0.09 0.314 0.098 / 0.014 0.478 0.329 / 0.258 0.008 / 0.04 / 0.079 0.563 0.486 0.156 0.638 / 0.637 0.493 0.703 / 0.703 0.5 0.911 0.01
21

Yi-6B

MERA

0.354
 0.469 0.008 / 0 0.112 0.382 0.079 / 0.051 0.514 0.333 / 0.167 0.003 / 0.015 / 0.03 0.487 0.416 0.189 0.59 / 0.588 0.505 0.541 / 0.542 0.496 0.951 0.023
22

Llama 2 7B

MERA

0.327
 0.426 0.021 / 0 0.106 0.277 0.081 / 0.011 0.532 0.349 / 0.272 0.007 / 0.034 / 0.067 0.452 0.367 0.124 0.475 / 0.471 0.5 0.545 / 0.543 0.504 0.839 0.014
23

Qwen 0.5B Instruct

НГУ

0.311
 0.568 0.003 / 0 0.098 0.321 0.075 / 0.021 0.488 0.336 / 0.219 0 / 0 / 0 0.396 0.243 0.142 0.508 / 0.506 0.5 0.49 / 0.484 0.515 0.679 0.008
24

ruGPT-3.5 13B

MERA

0.208
 0.492 0.037 / 0 0.132 0.258 0.115 / 0.036 0.504 0.331 / 0.194 0.001 / 0.003 / 0.006 0.246 0.001 0.025 0.223 / 0.208 0.488 0.246 / 0.22 0.523 0.029 0.025
25

Random submission

MERA

0.205
 0.5 0.002 / 0 0.096 0.244 0.014 / 0.001 0.482 0.361 / 0.36 0 / 0 / 0 0.258 0.0 0.0 0.245 / 0.245 0.472 0.23 / 0.229 0.519 0.0 0.064
26

ruGPT-3-medium

MERA

0.201
 0.43 0.005 / 0 0.102 0.248 0.106 / 0.043 0.498 0.333 / 0.167 0 / 0 / 0 0.271 0.001 0.012 0.273 / 0.271 0.5 0.251 / 0.248 0.5 0.008 0.002
27

Google's UMT5 XL

MERA

0.201
 0.494 0.001 / 0 0.12 0.261 0.013 / 0.003 0.506 0.326 / 0.185 0 / 0 / 0 0.254 0.0 0.0 0.23 / 0.223 0.528 0.269 / 0.255 0.5 0.0 0.001
28

Aeonium v1.1 Base 4B

0x7o

0.199
 0.461 0.007 / 0 0.116 0.222 0.104 / 0.023 0.498 0.333 / 0.167 0 / 0 / 0 0.275 0.001 0.01 0.248 / 0.201 0.5 0.265 / 0.222 0.5 0.006 0.004
29

Google's UMT5 Small

MERA

0.198
 0.546 0.002 / 0 0.108 0.261 0.003 / 0 0.52 0.288 / 0.255 0 / 0 / 0 0.225 0.0 0.0 0.255 / 0.223 0.5 0.225 / 0.198 0.481 0.0 0.002
30

mGPT 1.3B

MERA

0.198
 0.449 0.004 / 0 0.136 0.258 0.055 / 0.014 0.498 0.333 / 0.167 0 / 0 / 0 0.241 0.001 0.012 0.245 / 0.193 0.5 0.251 / 0.225 0.519 0.007 0
31

mGPT 13B

MERA

0.196
 0.463 0.006 / 0 0.132 0.263 0.062 / 0.023 0.498 0.333 / 0.167 0 / 0 / 0 0.235 0.0 0.019 0.25 / 0.193 0.5 0.232 / 0.172 0.485 0.023 0.002
32

Google's UMT5 Base

MERA

0.195
 0.523 0.001 / 0 0.106 0.252 0.002 / 0 0.468 0.336 / 0.306 0 / 0 / 0 0.231 0.0 0.0 0.243 / 0.148 0.526 0.238 / 0.147 0.5 0.0 0
33

Google's UMT5 XXL

MERA

0.195
 0.486 0.003 / 0 0.094 0.241 0.093 / 0.041 0.496 0.315 / 0.166 0 / 0 / 0 0.296 0.0 0.0 0.24 / 0.169 0.488 0.238 / 0.147 0.504 0.0 0.004
34

FRED-T5 large 820M

MERA

0.194
 0.475 0.001 / 0 0.086 0.24 0.052 / 0 0.492 0.354 / 0.248 0 / 0 / 0 0.248 0.0 0.0 0.265 / 0.215 0.493 0.232 / 0.174 0.492 0.0 0
35

ruT5-base (222M)

MERA

0.193
 0.486 0.001 / 0 0.1 0.259 0.008 / 0 0.508 0.336 / 0.269 0 / 0 / 0 0.237 0.0 0.0 0.265 / 0.183 0.493 0.234 / 0.151 0.481 0.0 0
36

ruGPT-3-large

MERA

0.193
 0.416 0.007 / 0 0.122 0.251 0.099 / 0.026 0.498 0.333 / 0.167 0 / 0 / 0 0.245 0.001 0.007 0.21 / 0.178 0.5 0.232 / 0.191 0.515 0.004 0
37

ruGPT-3-small

MERA

0.191
 0.367 0.007 / 0 0.08 0.244 0.063 / 0.009 0.498 0.333 / 0.167 0 / 0 / 0 0.263 0.001 0.009 0.258 / 0.253 0.5 0.257 / 0.254 0.492 0.0 0.001
38

FRED-T5 1.7B

MERA

0.191
 0.508 0.006 / 0 0.088 0.246 0.031 / 0.001 0.498 0.333 / 0.167 0 / 0 / 0 0.262 0.001 0.0 0.25 / 0.129 0.495 0.255 / 0.13 0.5 0.0 0
39

ruT5-large (737M)

MERA

0.19
 0.402 0 / 0 0.11 0.254 0.01 / 0 0.498 0.326 / 0.296 0 / 0 / 0 0.24 0.0 0.0 0.263 / 0.158 0.505 0.259 / 0.159 0.485 0.0 0

We use cookies to store data. By continuing to use the site, you consent to work with these files