InternVL3-8B-Instruct

MERA Создан 22.01.2026 05:00

Оценки по задачам лидерборда

Таблица скроллится влево

Борд Результат Attempted Score Coverage Место в рейтинге
Мульти 0.045 0.067 0.667 50
Изображения 0.011 0.011 1 49
Видео 0.274 0.274 1 24

Задачи

Таблица скроллится влево

Задача Модальность Результат Метрика
0.006
EM JudgeScore
0.019
EM JudgeScore
0.019
EM JudgeScore
0
EM JudgeScore
0.032
EM JudgeScore
0.289
EM JudgeScore
0.023
EM JudgeScore
0
EM JudgeScore
0.243
EM JudgeScore
0.013
EM JudgeScore
0.291
EM JudgeScore
0.002
EM JudgeScore
culture 0 / 0.001
business 0 / 0.009
medicine 0 / 0.003
social_sciences 0 / 0.007
fundamental_sciences 0 / 0.005
applied_sciences 0 / 0.01
0.001
EM JudgeScore
biology 0 / 0
chemistry 0 / 0
physics 0 / 0.003
economics 0 / 0
ru 0 / 0.001
all 0 / 0
0.003
EM JudgeScore
biology 0 / 0.018
chemistry 0 / 0
physics 0 / 0.005
science 0 / 0

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.8.0
Версия кодовой базы
7e640aa
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

InternVL3-8B-Instruct

Ссылка на ML-модель:

https://huggingface.co/OpenGVLab/InternVL3-8B-Instruct

Размер модели

8.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
realvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nruhhh_video - until=["\n\n"];do_sample=false;temperature=0; \ncommonvideoqa - until=["\n\n"];do_sample=false;temperature=0; \nrunaturalsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nrunaturalsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=64; \nruhhh_image - until=["\n\n"];do_sample=false;temperature=0; \nlabtabvqa - until=["\n\n"];do_sample=false;temperature=0; \nweird - until=["\n\n"];do_sample=false;temperature=0; \nrealvqa - until=["\n\n"];do_sample=false;temperature=0; \nrumathvqa - until=["\n\n"];do_sample=false;temperature=0; \nschoolsciencevqa_biology - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_chemistry - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_earth_science - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_economics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_all - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_history_ru - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nschoolsciencevqa_physics - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nruclevr - until=["\n\n"];do_sample=false;temperature=0; \nunisciencevqa_applied_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_business - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_cultural_studies - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_fundamental_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_health_and_medicine - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nunisciencevqa_social_sciences - until=["<|endoftext|>"];temperature=0;do_sample=false;max_gen_toks=256; \nrucommonvqa - until=["\n\n"];do_sample=false;temperature=0;

Размер контекста:
32768