Qwen2-VL-2B-Instruct

MERA Создан 22.01.2026 05:08

Оценки по задачам лидерборда

Таблица скроллится влево

Борд Результат Attempted Score Coverage Место в рейтинге
Мульти 0.116 0.174 0.667 28
Изображения 0.165 0.165 1 33
Видео 0.205 0.205 1 31

Задачи

Таблица скроллится влево

Задача Модальность Результат Метрика
0.2
EM JudgeScore
0.168
EM JudgeScore
0.22
EM JudgeScore
0.047
EM JudgeScore
0.045
EM JudgeScore
0.271
EM JudgeScore
0.278
EM JudgeScore
0.058
EM JudgeScore
0.125
EM JudgeScore
0.298
EM JudgeScore
0.219
EM JudgeScore
0.112
EM JudgeScore
culture 0.081 / 0.13
business 0.101 / 0.17
medicine 0.063 / 0.131
social_sciences 0.136 / 0.217
fundamental_sciences 0.061 / 0.12
applied_sciences 0.107 / 0.177
0.207
EM JudgeScore
biology 0.043 / 0.425
chemistry 0.03 / 0.335
physics 0.029 / 0.414
economics 0.038 / 0.321
ru 0.039 / 0.323
all 0.02 / 0.428
0.183
EM JudgeScore
biology 0 / 0.158
chemistry 0.075 / 0.209
physics 0.045 / 0.389
science 0.049 / 0.415

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.8.0
Версия кодовой базы
7e640aa
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

Qwen2-VL-2B-Instruct

Ссылка на ML-модель:

https://huggingface.co/Qwen/Qwen2-VL-2B-Instruct

Размер модели

2.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
labtabvqa - until=["\n\n"];do_sample=false;temperature=0; \nrunaturalsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nruclevr - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_image - until=["\n\n"];do_sample=false;temperature=0; \nrucommonvqa - until=["\n\n"];do_sample=false;temperature=0; \nrealvqa - until=["\n\n"];do_sample=false;temperature=0; \nrumathvqa - until=["\n\n"];do_sample=false;temperature=0; \nweird - until=["\n\n"];do_sample=false;temperature=0; \nunisciencevqa_applied_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_business - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_cultural_studies - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_fundamental_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_health_and_medicine - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_social_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_economics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_all - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_ru - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nrealvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_video - until=["\n\n"];do_sample=false;temperature=0; \ncommonvideoqa - until=["\n\n"];do_sample=false;temperature=0;

Размер контекста:
32768