RU EN

Leaderboard

The overall rating of the model on the leaderboard is calculated by the sum of ratings of separate task classes. Diagnostic results are issued separately and are not taken into account in the rating. Detailed information about submissions is available on the submission pages (click on a model title).

The table will scroll to the left

 
Model&Team
Total score
 BPS CheGeKa LCS MathLogicQA MultiQ PARus RCB ruHumanEval ruMMLU ruModAr ruMultiAr ruOpenBookQA ruTiE ruWorldTree RWSD SimpleAr USE
1

Human Benchmark

MERA

0.872
 1.0 0.719 / 0.645 0.56 0.99 0.928 / 0.91 0.982 0.565 / 0.587 1 / 1 / 1 0.844 0.999 0.998 0.875 / 0.865 0.942 0.935 / 0.935 0.835 1.0 0.701
2

GigaChat-Pro

GIGACHAT

0.537
 0.318 0.104 / 0 0.09 0.467 0.369 / 0.247 0.884 0.53 / 0.449 0.013 / 0.064 / 0.128 0.816 0.866 0.273 0.873 / 0.872 0.791 0.939 / 0.939 0.585 0.971 0.338
3

MTS AI Chat Medium

MTS AI

0.536
 0.23 0.05 / 0.022 0.178 0.589 0.247 / 0.171 0.884 0.598 / 0.603 0.023 / 0.113 / 0.226 0.704 0.949 0.337 0.813 / 0.813 0.674 0.872 / 0.872 0.665 0.986 0.266
4

GigaChat Lite

GIGACHAT

0.504
 0.412 0.063 / 0 0.084 0.45 0.193 / 0.071 0.848 0.543 / 0.452 0.018 / 0.088 / 0.177 0.783 0.77 0.216 0.823 / 0.822 0.726 0.897 / 0.897 0.627 0.9 0.284
5

MTS AI Chat 7B

MTS AI

0.479
 0.276 0.083 / 0.046 0.094 0.407 0.361 / 0.278 0.834 0.532 / 0.53 0.018 / 0.088 / 0.177 0.689 0.717 0.233 0.763 / 0.762 0.574 0.846 / 0.845 0.615 0.955 0.128
6

Mixtral 8x7B Instruct

Russian_NLP

0.478
 0.157 0.071 / 0 0.082 0.408 0.151 / 0.071 0.858 0.521 / 0.48 0.024 / 0.122 / 0.244 0.776 0.674 0.288 0.825 / 0.825 0.695 0.907 / 0.907 0.635 0.977 0.069
7

SOLAR 10.7B Instruct

Russian_NLP

0.469
 0.359 0.206 / 0.139 0.078 0.396 0.205 / 0.097 0.828 0.523 / 0.503 0.013 / 0.067 / 0.134 0.698 0.459 0.2 0.825 / 0.824 0.7 0.884 / 0.884 0.654 0.946 0.04
8

Yi 34B 200K

LM Research

0.455
 0.426 0.01 / 0 0.108 0.473 0.185 / 0.107 0.74 0.498 / 0.402 0.004 / 0.021 / 0.043 0.676 0.635 0.277 0.748 / 0.746 0.602 0.838 / 0.838 0.562 0.981 0.049
9

lightblue/suzume-llama-3-8B-multilingual

BODBE LLM

0.453
 0.336 0.035 / 0 0.142 0.373 0.261 / 0.161 0.744 0.521 / 0.424 0.01 / 0.052 / 0.104 0.712 0.59 0.254 0.795 / 0.795 0.614 0.844 / 0.844 0.569 0.955 0.018
10

Llama 2 70b

NLP Team

0.453
 0.495 0.076 / 0 0.08 0.388 0.185 / 0.041 0.744 0.466 / 0.424 0.02 / 0.101 / 0.201 0.741 0.65 0.216 0.818 / 0.817 0.453 0.914 / 0.915 0.5 0.965 0.031
11

Starling-LM-7B-alpha

BODBE LLM

0.433
 0.374 0.029 / 0 0.082 0.374 0.18 / 0.002 0.724 0.532 / 0.485 0.015 / 0.076 / 0.152 0.673 0.473 0.227 0.775 / 0.774 0.549 0.829 / 0.829 0.573 0.941 0.066
12

Mistral 7B

MERA

0.4
 0.392 0.038 / 0 0.098 0.344 0.124 / 0.067 0.518 0.372 / 0.344 0.012 / 0.058 / 0.116 0.676 0.516 0.195 0.735 / 0.732 0.502 0.81 / 0.811 0.512 0.95 0.022
13

Phi-3-mini-4k-instruct

BODBE LLM

0.387
 0.381 0.005 / 0 0.086 0.391 0.103 / 0.003 0.672 0.511 / 0.425 0.02 / 0.101 / 0.201 0.478 0.49 0.271 0.558 / 0.558 0.551 0.621 / 0.62 0.496 0.91 0.052
14

davinci-002

MERA

0.383
 0.521 0.018 / 0 0.124 0.353 0.119 / 0.044 0.506 0.331 / 0.178 0.005 / 0.023 / 0.037 0.613 0.476 0.176 0.675 / 0.676 0.519 0.766 / 0.765 0.481 0.927 0.016
15

Llama 2 13B

MERA

0.368
 0.507 0.043 / 0 0.09 0.314 0.098 / 0.014 0.478 0.329 / 0.258 0.008 / 0.04 / 0.079 0.563 0.486 0.156 0.638 / 0.637 0.493 0.703 / 0.703 0.5 0.911 0.01
16

Yi-6B

MERA

0.354
 0.469 0.008 / 0 0.112 0.382 0.079 / 0.051 0.514 0.333 / 0.167 0.003 / 0.015 / 0.03 0.487 0.416 0.189 0.59 / 0.588 0.505 0.541 / 0.542 0.496 0.951 0.023
17

Llama 2 7B

MERA

0.327
 0.426 0.021 / 0 0.106 0.277 0.081 / 0.011 0.532 0.349 / 0.272 0.007 / 0.034 / 0.067 0.452 0.367 0.124 0.475 / 0.471 0.5 0.545 / 0.543 0.504 0.839 0.014
18

ruGPT-3.5 13B

MERA

0.208
 0.492 0.037 / 0 0.132 0.258 0.115 / 0.036 0.504 0.331 / 0.194 0.001 / 0.003 / 0.006 0.246 0.001 0.025 0.223 / 0.208 0.488 0.246 / 0.22 0.523 0.029 0.025
19

Random submission

MERA

0.205
 0.5 0.002 / 0 0.096 0.244 0.014 / 0.001 0.482 0.361 / 0.36 0 / 0 / 0 0.258 0.0 0.0 0.245 / 0.245 0.472 0.23 / 0.229 0.519 0.0 0.064
20

ruGPT-3-medium

MERA

0.201
 0.43 0.005 / 0 0.102 0.248 0.106 / 0.043 0.498 0.333 / 0.167 0 / 0 / 0 0.271 0.001 0.012 0.273 / 0.271 0.5 0.251 / 0.248 0.5 0.008 0.002
21

Google's UMT5 XL

MERA

0.201
 0.494 0.001 / 0 0.12 0.261 0.013 / 0.003 0.506 0.326 / 0.185 0 / 0 / 0 0.254 0.0 0.0 0.23 / 0.223 0.528 0.269 / 0.255 0.5 0.0 0.001
22

Aeonium v1.1 Base 4B

0x7o

0.199
 0.461 0.007 / 0 0.116 0.222 0.104 / 0.023 0.498 0.333 / 0.167 0 / 0 / 0 0.275 0.001 0.01 0.248 / 0.201 0.5 0.265 / 0.222 0.5 0.006 0.004
23

Google's UMT5 Small

MERA

0.198
 0.546 0.002 / 0 0.108 0.261 0.003 / 0 0.52 0.288 / 0.255 0 / 0 / 0 0.225 0.0 0.0 0.255 / 0.223 0.5 0.225 / 0.198 0.481 0.0 0.002
24

mGPT 1.3B

MERA

0.198
 0.449 0.004 / 0 0.136 0.258 0.055 / 0.014 0.498 0.333 / 0.167 0 / 0 / 0 0.241 0.001 0.012 0.245 / 0.193 0.5 0.251 / 0.225 0.519 0.007 0
25

mGPT 13B

MERA

0.196
 0.463 0.006 / 0 0.132 0.263 0.062 / 0.023 0.498 0.333 / 0.167 0 / 0 / 0 0.235 0.0 0.019 0.25 / 0.193 0.5 0.232 / 0.172 0.485 0.023 0.002
26

Google's UMT5 Base

MERA

0.195
 0.523 0.001 / 0 0.106 0.252 0.002 / 0 0.468 0.336 / 0.306 0 / 0 / 0 0.231 0.0 0.0 0.243 / 0.148 0.526 0.238 / 0.147 0.5 0.0 0
27

Google's UMT5 XXL

MERA

0.195
 0.486 0.003 / 0 0.094 0.241 0.093 / 0.041 0.496 0.315 / 0.166 0 / 0 / 0 0.296 0.0 0.0 0.24 / 0.169 0.488 0.238 / 0.147 0.504 0.0 0.004
28

FRED-T5 large 820M

MERA

0.194
 0.475 0.001 / 0 0.086 0.24 0.052 / 0 0.492 0.354 / 0.248 0 / 0 / 0 0.248 0.0 0.0 0.265 / 0.215 0.493 0.232 / 0.174 0.492 0.0 0
29

ruT5-base (222M)

MERA

0.193
 0.486 0.001 / 0 0.1 0.259 0.008 / 0 0.508 0.336 / 0.269 0 / 0 / 0 0.237 0.0 0.0 0.265 / 0.183 0.493 0.234 / 0.151 0.481 0.0 0
30

ruGPT-3-large

MERA

0.193
 0.416 0.007 / 0 0.122 0.251 0.099 / 0.026 0.498 0.333 / 0.167 0 / 0 / 0 0.245 0.001 0.007 0.21 / 0.178 0.5 0.232 / 0.191 0.515 0.004 0
31

ruGPT-3-small

MERA

0.191
 0.367 0.007 / 0 0.08 0.244 0.063 / 0.009 0.498 0.333 / 0.167 0 / 0 / 0 0.263 0.001 0.009 0.258 / 0.253 0.5 0.257 / 0.254 0.492 0.0 0.001
32

FRED-T5 1.7B

MERA

0.191
 0.508 0.006 / 0 0.088 0.246 0.031 / 0.001 0.498 0.333 / 0.167 0 / 0 / 0 0.262 0.001 0.0 0.25 / 0.129 0.495 0.255 / 0.13 0.5 0.0 0
33

ruT5-large (737M)

MERA

0.19
 0.402 0 / 0 0.11 0.254 0.01 / 0 0.498 0.326 / 0.296 0 / 0 / 0 0.24 0.0 0.0 0.263 / 0.158 0.505 0.259 / 0.159 0.485 0.0 0

We use cookies to store data. By continuing to use the site, you consent to work with these files