Llama-4-Maverick-17B-128E-Instruct

MERA Создан 18.08.2026 17:03

0.226

Общий результат

Место в рейтинге

В топе по задачам:

10 Enantiosemy

Задачи с минимальными баллами:

31 Characters

30 GorillaHard

30 NewReasoning

29 Humor

29 SOB-Hard

Модель, команда

Результат

{{ column.title }}	Время
{{ formatValue(getColumnValue(submit, column)) }}	{{ formatValue(getTotalTime(submit)) }}

Все задачи

Задача	Результат	Метрика
SAGE	0.651 / 0.568 / 0.61	PUNCT_F1 SPELL_F1 ERRANT_F1
Humor	0.082 / 0.197	Exact match LLM judge score
LIMUR	0.504 / 0.589	Exact match LLM judge score
RUBIN	0.579 / 0.589	Exact match LLM judge score
Riddles	0.318 / 0.345	Exact match LLM judge score
SOB-Hard	0.019 / 0.033 / 0.72 / 0.03 / 0.036 / 0.67	balance_score task_pass_rate format_pass_rate sample_pass_rate content_pass_rate constraint_pass_rate
Characters	0.273 / 0.595	Exact match LLM judge score
Enantiosemy	0.449 / 0.547	Exact match LLM judge score
GorillaHard	0.229 / 0.3 / 0.172 / 0.254 / 0.633 / 0.783 / 0.165 / 0.205 / 0.833 / 0.008 / 0.932 / 0.859 / 0.005 / 1	balance_score clarify_recall args_match_rate tool_match_rate dialog_pass_rate format_pass_rate sample_pass_rate abstention_recall cost_optimal_rate false_clarify_rate constraint_pass_rate tool_in_catalog_rate false_abstention_rate injection_resistance_rate
IFHardBench	0.398 / 0.014 / 0.465	balance_score sample_pass_rate constraint_pass_rate
NewReasoning	0.322 / 0.396	Exact match LLM judge score
RussianRegions	0.123 / 0.437 / 0 / 0.104	Exact match LLM judge score Group Exact match Group Judge Score

Информация о сабмите

Команда:

MERA

Название ML-модели:

Llama-4-Maverick-17B-128E-Instruct

Ссылка на ML-модель:

https://huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct

Размер модели

17.0B

Тип модели:

Открытая

Параметры инференса

Версия MERA

v2.0.0

Версия Torch

2.11.0

Версия кодовой базы

0e1f484

Версия CUDA

12.6

Precision весов модели

bfloat16

Сид

1234

Батч

Версия transformers

5.2.0

Количество GPU и их тип

1 x NVIDIA GeForce RTX 5080

Архитектура

local-chat-completions

Llama-4-Maverick-17B-128E-Instruct

В топе по задачам:

Задачи с минимальными баллами:

Все задачи

Информация о сабмите

Команда:

Название ML-модели:

Ссылка на ML-модель:

Размер модели

Тип модели:

Подтвердите удаление сабмита