Meta-Llama-3-8B-Instruct

MERA Создан 03.02.2026 12:27

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Место в рейтинге
Сельское хозяйство 0.252 66
Медицина и здравоохранение 0.455 50

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.9.1
Версия кодовой базы
435b60a
Версия CUDA
12.8
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.57.6
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
vllm

Команда:

MERA

Название ML-модели:

Meta-Llama-3-8B-Instruct

Размер модели

8.0B

Тип модели:

Открытая

SFT

Дополнительные ссылки:

Llama cookbook https://github.com/meta-llama/llama-cookbook

Описание архитектуры:

Llama 3 is an auto-regressive language model that uses an optimized transformer architecture. The tuned versions use supervised fine-tuning (SFT) and reinforcement learning with human feedback (RLHF) to align with human preferences for helpfulness and safety.

Описание обучения:

Use supervised fine-tuning (SFT) and reinforcement learning with human feedback (RLHF) to align with human preferences for helpfulness and safety.

Данные претрейна:

Trained on a mix of publicly available online data of 15T+ tokens.

Лицензия:

https://www.llama.com/llama3/license/

Параметры инференса

Параметры генерации:
agro_bench - do_sample=false;until=["\n\n"]; \naqua_bench - do_sample=false;until=["\n\n"]; \nmed_bench - do_sample=false;until=["\n\n"];

Размер контекста:
agro_bench, aqua_bench, med_bench - 8192

Описание темплейта:
{% set loop_messages = messages %}{% for message in loop_messages %}{% set content = '<|start_header_id|>' + message['role'] + '<|end_header_id|> \n \n'+ message['content'] | trim + '<|eot_id|>' %}{% if loop.index0 == 0 %}{% set content = bos_token + content %}{% endif %}{{ content }}{% endfor %}{% if add_generation_prompt %}{{ '<|start_header_id|>assistant<|end_header_id|> \n \n' }}{% endif %}