Qwen2.5-Omni-7B
MERA
Создан 20.11.2025 16:52
Оценки по задачам лидерборда
Таблица скроллится влево
| Борд | Результат | Attempted Score | Coverage | Место в рейтинге |
|---|---|---|---|---|
| Мульти | 0.302 | 0.302 | 1 | 3 |
| Изображения | 0.211 | 0.211 | 1 | 12 |
| Аудио | 0.464 | 0.464 | 1 | 3 |
| Видео | 0.42 | 0.42 | 1 | 8 |
Задачи
Таблица скроллится влево
| Задача | Модальность | Результат | Метрика |
|---|---|---|---|
| WEIRD | 0.432 |
EM
JudgeScore
|
|
| ruSLUn | 0.273 |
EM
F1
|
|
| AQUARIA | 0.598 |
EM
JudgeScore
|
|
| RealVQA | 0.186 |
EM
JudgeScore
|
|
| ruCLEVR | 0.21 |
EM
JudgeScore
|
|
| ruEnvAQA | 0.602 |
EM
JudgeScore
|
|
| LabTabVQA | 0.13 |
EM
JudgeScore
|
|
| ruMathVQA | 0.055 |
EM
JudgeScore
|
|
| RealVideoQA | 0.511 |
EM
JudgeScore
|
|
| ruCommonVQA | 0.359 |
EM
JudgeScore
|
|
| ruHHH-Image | 0.16 |
EM
JudgeScore
|
|
| ruHHH-Video | 0.28 |
EM
JudgeScore
|
|
| ruTiE-Audio | 0.382 |
EM
JudgeScore
|
|
| ruTiE-Image | 0.367 |
EM
JudgeScore
|
|
| CommonVideoQA | 0.467 |
EM
JudgeScore
|
|
| UniScienceVQA | 0.094 |
EM
JudgeScore
|
|
| culture | 0.057 / 0.112 | ||
| business | 0.076 / 0.151 | ||
| medicine | 0.059 / 0.114 | ||
| social_sciences | 0.092 / 0.175 | ||
| fundamental_sciences | 0.056 / 0.101 | ||
| applied_sciences | 0.074 / 0.155 | ||
| SchoolScienceVQA | 0.174 |
EM
JudgeScore
|
|
| biology | 0.136 / 0.253 | ||
| chemistry | 0.109 / 0.22 | ||
| physics | 0.18 / 0.3 | ||
| economics | 0.108 / 0.179 | ||
| ru | 0.077 / 0.143 | ||
| all | 0.132 / 0.229 | ||
| ruNaturalScienceVQA | 0.153 |
EM
JudgeScore
|
|
| biology | 0.053 / 0.123 | ||
| chemistry | 0.045 / 0.179 | ||
| physics | 0.101 / 0.237 | ||
| science | 0.171 / 0.293 | ||
mera@a-ai.ru
GitHub
hugging face