Qwen3-VL-8B-Instruct

MERA Создан 22.01.2026 05:14

Оценки по задачам лидерборда

Таблица скроллится влево

Борд Результат Attempted Score Coverage Место в рейтинге
Мульти 0.18 0.269 0.667 19
Изображения 0.186 0.186 1 27
Видео 0.575 0.575 1 11

Задачи

Таблица скроллится влево

Задача Модальность Результат Метрика
0.123
EM JudgeScore
0.283
EM JudgeScore
0.234
EM JudgeScore
0.037
EM JudgeScore
0.07
EM JudgeScore
0.647
EM JudgeScore
0.41
EM JudgeScore
0.101
EM JudgeScore
0.512
EM JudgeScore
0.401
EM JudgeScore
0.567
EM JudgeScore
0.16
EM JudgeScore
culture 0.077 / 0.162
business 0.128 / 0.281
medicine 0.096 / 0.212
social_sciences 0.134 / 0.302
fundamental_sciences 0.101 / 0.179
applied_sciences 0.136 / 0.273
0.172
EM JudgeScore
biology 0.156 / 0.216
chemistry 0.15 / 0.192
physics 0.227 / 0.312
economics 0.162 / 0.2
ru 0.099 / 0.134
all 0.101 / 0.175
0.055
EM JudgeScore
biology 0 / 0.053
chemistry 0.104 / 0.179
physics 0.02 / 0.071
science 0 / 0

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.8.0
Версия кодовой базы
7e640aa
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

Qwen3-VL-8B-Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen3-VL-8B-Instruct

Размер модели

8.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
labtabvqa - until=["\n\n"];do_sample=false;temperature=0; \nrealvqa - until=["\n\n"];do_sample=false;temperature=0; \nruclevr - until=["\n\n"];do_sample=false;temperature=0; \nrunaturalsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nruhhh_image - until=["\n\n"];do_sample=false;temperature=0; \nrucommonvqa - until=["\n\n"];do_sample=false;temperature=0; \nrumathvqa - until=["\n\n"];do_sample=false;temperature=0; \nunisciencevqa_applied_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_business - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_cultural_studies - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_fundamental_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_health_and_medicine - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_social_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_economics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_all - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_ru - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nweird - until=["\n\n"];do_sample=false;temperature=0; \nrealvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_video - until=["\n\n"];do_sample=false;temperature=0; \ncommonvideoqa - until=["\n\n"];do_sample=false;temperature=0;

Размер контекста:
262144