RU EN

Leaderboard

The overall rating of the model on the leaderboard is calculated by the sum of ratings of separate task classes. Diagnostic results are issued separately and are not taken into account in the rating. Detailed information about submissions is available on the submission pages (click on a model title).

The table will scroll to the left

 
Model&Team
Total score
 BPS CheGeKa LCS MathLogicQA MultiQ PARus RCB ruHumanEval ruMMLU ruModAr ruMultiAr ruOpenBookQA ruTiE ruWorldTree RWSD SimpleAr USE
1

Human Benchmark

MERA

0.872
 1.0 0.719 / 0.645 0.56 0.99 0.928 / 0.91 0.982 0.565 / 0.587 1 / 1 / 1 0.844 0.999 0.998 0.875 / 0.865 0.942 0.935 / 0.935 0.835 1.0 0.701
2

MTS AI Chat Medium

MTS AI

0.536
 0.23 0.05 / 0.022 0.178 0.589 0.247 / 0.171 0.884 0.598 / 0.603 0.023 / 0.113 / 0.226 0.704 0.949 0.337 0.813 / 0.813 0.674 0.872 / 0.872 0.665 0.986 0.266
3

GigaChat Pro

SberDevices

0.514
 0.224 0.451 / 0.363 0.12 0.395 0.192 / 0.097 0.896 0.562 / 0.484 0.021 / 0.107 / 0.213 0.811 0.589 0.226 0.875 / 0.874 0.779 0.96 / 0.96 0.546 0.96 0.169
4

MTS AI Chat 7B

MTS AI

0.479
 0.276 0.083 / 0.046 0.094 0.407 0.361 / 0.278 0.834 0.532 / 0.53 0.018 / 0.088 / 0.177 0.689 0.717 0.233 0.763 / 0.762 0.574 0.846 / 0.845 0.615 0.955 0.128
5

GigaChat Lite+

SberDevices

0.479
 0.416 0.308 / 0.255 0.088 0.369 0.21 / 0.109 0.844 0.491 / 0.398 0.009 / 0.046 / 0.091 0.769 0.481 0.184 0.818 / 0.818 0.756 0.931 / 0.932 0.527 0.913 0.109
6

Mixtral 8x7B Instruct

Russian_NLP

0.478
 0.157 0.071 / 0 0.082 0.408 0.151 / 0.071 0.858 0.521 / 0.48 0.024 / 0.122 / 0.244 0.776 0.674 0.288 0.825 / 0.825 0.695 0.907 / 0.907 0.635 0.977 0.069
7

SOLAR 10.7B Instruct

Russian_NLP

0.469
 0.359 0.206 / 0.139 0.078 0.396 0.205 / 0.097 0.828 0.523 / 0.503 0.013 / 0.067 / 0.134 0.698 0.459 0.2 0.825 / 0.824 0.7 0.884 / 0.884 0.654 0.946 0.04
8

Yi 34B 200K

LM Research

0.455
 0.426 0.01 / 0 0.108 0.473 0.185 / 0.107 0.74 0.498 / 0.402 0.004 / 0.021 / 0.043 0.676 0.635 0.277 0.748 / 0.746 0.602 0.838 / 0.838 0.562 0.981 0.049
9

Llama 2 70b

NLP Team

0.453
 0.495 0.076 / 0 0.08 0.388 0.185 / 0.041 0.744 0.466 / 0.424 0.02 / 0.101 / 0.201 0.741 0.65 0.216 0.818 / 0.817 0.453 0.914 / 0.915 0.5 0.965 0.031
10

Starling-LM-7B-alpha

BODBE LLM

0.433
 0.374 0.029 / 0 0.082 0.374 0.18 / 0.002 0.724 0.532 / 0.485 0.015 / 0.076 / 0.152 0.673 0.473 0.227 0.775 / 0.774 0.549 0.829 / 0.829 0.573 0.941 0.066
11

Mistral 7B

MERA

0.4
 0.392 0.038 / 0 0.098 0.344 0.124 / 0.067 0.518 0.372 / 0.344 0.012 / 0.058 / 0.116 0.676 0.516 0.195 0.735 / 0.732 0.502 0.81 / 0.811 0.512 0.95 0.022
12

davinci-002

MERA

0.383
 0.521 0.018 / 0 0.124 0.353 0.119 / 0.044 0.506 0.331 / 0.178 0.005 / 0.023 / 0.037 0.613 0.476 0.176 0.675 / 0.676 0.519 0.766 / 0.765 0.481 0.927 0.016
13

Llama 2 13B

MERA

0.368
 0.507 0.043 / 0 0.09 0.314 0.098 / 0.014 0.478 0.329 / 0.258 0.008 / 0.04 / 0.079 0.563 0.486 0.156 0.638 / 0.637 0.493 0.703 / 0.703 0.5 0.911 0.01
14

Yi-6B

MERA

0.354
 0.469 0.008 / 0 0.112 0.382 0.079 / 0.051 0.514 0.333 / 0.167 0.003 / 0.015 / 0.03 0.487 0.416 0.189 0.59 / 0.588 0.505 0.541 / 0.542 0.496 0.951 0.023
15

Llama 2 7B

MERA

0.327
 0.426 0.021 / 0 0.106 0.277 0.081 / 0.011 0.532 0.349 / 0.272 0.007 / 0.034 / 0.067 0.452 0.367 0.124 0.475 / 0.471 0.5 0.545 / 0.543 0.504 0.839 0.014
16

ruGPT-3.5 13B

MERA

0.208
 0.492 0.037 / 0 0.132 0.258 0.115 / 0.036 0.504 0.331 / 0.194 0.001 / 0.003 / 0.006 0.246 0.001 0.025 0.223 / 0.208 0.488 0.246 / 0.22 0.523 0.029 0.025
17

Random submission

MERA

0.205
 0.5 0.002 / 0 0.096 0.244 0.014 / 0.001 0.482 0.361 / 0.36 0 / 0 / 0 0.258 0.0 0.0 0.245 / 0.245 0.472 0.23 / 0.229 0.519 0.0 0.064
18

ruGPT-3-medium

MERA

0.201
 0.43 0.005 / 0 0.102 0.248 0.106 / 0.043 0.498 0.333 / 0.167 0 / 0 / 0 0.271 0.001 0.012 0.273 / 0.271 0.5 0.251 / 0.248 0.5 0.008 0.002
19

Google's UMT5 XL

MERA

0.201
 0.494 0.001 / 0 0.12 0.261 0.013 / 0.003 0.506 0.326 / 0.185 0 / 0 / 0 0.254 0.0 0.0 0.23 / 0.223 0.528 0.269 / 0.255 0.5 0.0 0.001
20

Google's UMT5 Small

MERA

0.198
 0.546 0.002 / 0 0.108 0.261 0.003 / 0 0.52 0.288 / 0.255 0 / 0 / 0 0.225 0.0 0.0 0.255 / 0.223 0.5 0.225 / 0.198 0.481 0.0 0.002
21

mGPT 1.3B

MERA

0.198
 0.449 0.004 / 0 0.136 0.258 0.055 / 0.014 0.498 0.333 / 0.167 0 / 0 / 0 0.241 0.001 0.012 0.245 / 0.193 0.5 0.251 / 0.225 0.519 0.007 0
22

mGPT 13B

MERA

0.196
 0.463 0.006 / 0 0.132 0.263 0.062 / 0.023 0.498 0.333 / 0.167 0 / 0 / 0 0.235 0.0 0.019 0.25 / 0.193 0.5 0.232 / 0.172 0.485 0.023 0.002
23

Google's UMT5 Base

MERA

0.195
 0.523 0.001 / 0 0.106 0.252 0.002 / 0 0.468 0.336 / 0.306 0 / 0 / 0 0.231 0.0 0.0 0.243 / 0.148 0.526 0.238 / 0.147 0.5 0.0 0
24

Google's UMT5 XXL

MERA

0.195
 0.486 0.003 / 0 0.094 0.241 0.093 / 0.041 0.496 0.315 / 0.166 0 / 0 / 0 0.296 0.0 0.0 0.24 / 0.169 0.488 0.238 / 0.147 0.504 0.0 0.004
25

FRED-T5 large 820M

MERA

0.194
 0.475 0.001 / 0 0.086 0.24 0.052 / 0 0.492 0.354 / 0.248 0 / 0 / 0 0.248 0.0 0.0 0.265 / 0.215 0.493 0.232 / 0.174 0.492 0.0 0
26

ruT5-base (222M)

MERA

0.193
 0.486 0.001 / 0 0.1 0.259 0.008 / 0 0.508 0.336 / 0.269 0 / 0 / 0 0.237 0.0 0.0 0.265 / 0.183 0.493 0.234 / 0.151 0.481 0.0 0
27

ruGPT-3-large

MERA

0.193
 0.416 0.007 / 0 0.122 0.251 0.099 / 0.026 0.498 0.333 / 0.167 0 / 0 / 0 0.245 0.001 0.007 0.21 / 0.178 0.5 0.232 / 0.191 0.515 0.004 0
28

ruGPT-3-small

MERA

0.191
 0.367 0.007 / 0 0.08 0.244 0.063 / 0.009 0.498 0.333 / 0.167 0 / 0 / 0 0.263 0.001 0.009 0.258 / 0.253 0.5 0.257 / 0.254 0.492 0.0 0.001
29

FRED-T5 1.7B

MERA

0.191
 0.508 0.006 / 0 0.088 0.246 0.031 / 0.001 0.498 0.333 / 0.167 0 / 0 / 0 0.262 0.001 0.0 0.25 / 0.129 0.495 0.255 / 0.13 0.5 0.0 0
30

ruT5-large (737M)

MERA

0.19
 0.402 0 / 0 0.11 0.254 0.01 / 0 0.498 0.326 / 0.296 0 / 0 / 0 0.24 0.0 0.0 0.263 / 0.158 0.505 0.259 / 0.159 0.485 0.0 0

We use cookies to store data. By continuing to use the site, you consent to work with these files