Qwen2.5-Omni-7B

MERA Создан 22.01.2026 05:10

Оценки по задачам лидерборда

Таблица скроллится влево

Борд Результат Attempted Score Coverage Место в рейтинге
Мульти 0.317 0.317 1 3
Изображения 0.226 0.226 1 12
Аудио 0.474 0.474 1 3
Видео 0.442 0.442 1 9

Задачи

Таблица скроллится влево

Задача Модальность Результат Метрика
0.455
EM JudgeScore
0.273
EM F1
0.612
EM JudgeScore
0.216
EM JudgeScore
0.23
EM JudgeScore
0.625
EM JudgeScore
0.146
EM JudgeScore
0.055
EM JudgeScore
0.524
EM JudgeScore
0.379
EM JudgeScore
0.187
EM JudgeScore
0.316
EM JudgeScore
0.385
EM JudgeScore
0.378
EM JudgeScore
0.485
EM JudgeScore
0.094
EM JudgeScore
culture 0.057 / 0.114
business 0.076 / 0.152
medicine 0.059 / 0.114
social_sciences 0.092 / 0.175
fundamental_sciences 0.056 / 0.101
applied_sciences 0.074 / 0.155
0.183
EM JudgeScore
biology 0.136 / 0.272
chemistry 0.109 / 0.237
physics 0.18 / 0.331
economics 0.108 / 0.2
ru 0.077 / 0.159
all 0.132 / 0.245
0.158
EM JudgeScore
biology 0.053 / 0.14
chemistry 0.045 / 0.179
physics 0.101 / 0.247
science 0.171 / 0.317

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.8.0
Версия кодовой базы
7e640aa
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

Qwen2.5-Omni-7B

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2.5-Omni-7B

Размер модели

7.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
ruslun - until=["\n\n"];do_sample=false;temperature=0; \nruenvaqa - until=["\n\n"];do_sample=false;temperature=0; \naquaria - until=["\n\n"];do_sample=false;temperature=0; \nrealvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_video - until=["\n\n"];do_sample=false;temperature=0; \ncommonvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nrunaturalsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nlabtabvqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_image - until=["\n\n"];do_sample=false;temperature=0; \nrumathvqa - until=["\n\n"];do_sample=false;temperature=0; \nweird - until=["\n\n"];do_sample=false;temperature=0; \nrealvqa - until=["\n\n"];do_sample=false;temperature=0; \nruclevr - until=["\n\n"];do_sample=false;temperature=0; \nrucommonvqa - until=["\n\n"];do_sample=false;temperature=0; \nschoolsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_economics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_all - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_ru - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_applied_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_business - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_cultural_studies - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_fundamental_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_health_and_medicine - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_social_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256;

Размер контекста:
32768