Qwen3-Omni-30B-A3B-Instruct
MERA
Создан 20.11.2025 16:48
Оценки по задачам лидерборда
Таблица скроллится влево
| Борд | Результат | Attempted Score | Coverage | Место в рейтинге |
|---|---|---|---|---|
| Мульти | 0.454 | 0.511 | 0.889 | 2 |
| Изображения | 0.499 | 0.499 | 1 | 2 |
| Аудио | 0.531 | 0.531 | 1 | 2 |
| Видео | 0.357 | 0.535 | 0.667 | - |
Задачи
Таблица скроллится влево
| Задача | Модальность | Результат | Метрика |
|---|---|---|---|
| WEIRD | 0.719 |
EM
JudgeScore
|
|
| ruSLUn | 0.335 |
EM
F1
|
|
| AQUARIA | 0.678 |
EM
JudgeScore
|
|
| RealVQA | 0.433 |
EM
JudgeScore
|
|
| ruCLEVR | 0.493 |
EM
JudgeScore
|
|
| ruEnvAQA | 0.712 |
EM
JudgeScore
|
|
| LabTabVQA | 0.497 |
EM
JudgeScore
|
|
| ruMathVQA | 0.154 |
EM
JudgeScore
|
|
| RealVideoQA | 0.651 |
EM
JudgeScore
|
|
| ruCommonVQA | 0.697 |
EM
JudgeScore
|
|
| ruHHH-Image | 0.354 |
EM
JudgeScore
|
|
| ruHHH-Video | 0.419 |
EM
JudgeScore
|
|
| ruTiE-Audio | 0.401 |
EM
JudgeScore
|
|
| ruTiE-Image | 0.59 |
EM
JudgeScore
|
|
| UniScienceVQA | 0.222 |
EM
JudgeScore
|
|
| culture | 0.095 / 0.29 | ||
| business | 0.129 / 0.417 | ||
| medicine | 0.094 / 0.31 | ||
| social_sciences | 0.119 / 0.385 | ||
| fundamental_sciences | 0.107 / 0.316 | ||
| applied_sciences | 0.137 / 0.397 | ||
| SchoolScienceVQA | 0.612 |
EM
JudgeScore
|
|
| biology | 0.709 / 0.673 | ||
| chemistry | 0.703 / 0.617 | ||
| physics | 0.749 / 0.703 | ||
| economics | 0.605 / 0.479 | ||
| ru | 0.489 / 0.449 | ||
| all | 0.586 / 0.531 | ||
| ruNaturalScienceVQA | 0.72 |
EM
JudgeScore
|
|
| biology | 0.684 / 0.509 | ||
| chemistry | 0.731 / 0.612 | ||
| physics | 0.778 / 0.717 | ||
| science | 0.902 / 0.78 | ||
mera@a-ai.ru
GitHub
hugging face