Qwen3-Omni-30B-A3B-Instruct

MERA Создан 22.01.2026 05:12

Оценки по задачам лидерборда

Таблица скроллится влево

Борд Результат Attempted Score Coverage Место в рейтинге
Мульти 0.5 0.563 0.889 2
Изображения 0.554 0.554 1 2
Аудио 0.561 0.561 1 2
Видео 0.41 0.615 0.667 -

Задачи

Таблица скроллится влево

Задача Модальность Результат Метрика
0.741
EM JudgeScore
0.335
EM F1
0.73
EM JudgeScore
0.491
EM JudgeScore
0.562
EM JudgeScore
0.743
EM JudgeScore
0.588
EM JudgeScore
0.154
EM JudgeScore
0.678
EM JudgeScore
0.709
EM JudgeScore
0.51
EM JudgeScore
0.551
EM JudgeScore
0.435
EM JudgeScore
0.637
EM JudgeScore
0.224
EM JudgeScore
culture 0.095 / 0.292
business 0.129 / 0.421
medicine 0.094 / 0.318
social_sciences 0.119 / 0.386
fundamental_sciences 0.107 / 0.32
applied_sciences 0.137 / 0.402
0.673
EM JudgeScore
biology 0.709 / 0.776
chemistry 0.703 / 0.746
physics 0.749 / 0.824
economics 0.605 / 0.669
ru 0.489 / 0.541
all 0.586 / 0.637
0.807
EM JudgeScore
biology 0.684 / 0.754
chemistry 0.731 / 0.791
physics 0.778 / 0.874
science 0.902 / 0.927

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.8.0
Версия кодовой базы
7e640aa
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

Qwen3-Omni-30B-A3B-Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct

Размер модели

35.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
realvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_video - until=["\n\n"];do_sample=false;temperature=0; \nruslun - until=["\n\n"];do_sample=false;temperature=0; \nrealvqa - until=["\n\n"];do_sample=false;temperature=0; \nrunaturalsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nruenvaqa - until=["\n\n"];do_sample=false;temperature=0; \nlabtabvqa - until=["\n\n"];do_sample=false;temperature=0; \nweird - until=["\n\n"];do_sample=false;temperature=0; \naquaria - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_image - until=["\n\n"];do_sample=false;temperature=0; \nruclevr - until=["\n\n"];do_sample=false;temperature=0; \nrumathvqa - until=["\n\n"];do_sample=false;temperature=0; \nrucommonvqa - until=["\n\n"];do_sample=false;temperature=0; \nschoolsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_economics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_all - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_ru - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_applied_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_business - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_cultural_studies - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_fundamental_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_health_and_medicine - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_social_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256;

Размер контекста:
8000