Llama 2 7B

MERA Создан 12.01.2024 11:15

0.327

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.106	Accuracy
RCB	0.349 / 0.272	Accuracy F1 macro
USE	0.014	Grade norm
RWSD	0.504	Accuracy
PARus	0.532	Accuracy
ruTiE	0.5	Accuracy
MultiQ	0.081 / 0.011	F1 Exact match
CheGeKa	0.021 / 0	F1 Exact match
ruModAr	0.367	Exact match
ruMultiAr	0.124	Exact match
MathLogicQA	0.277	Accuracy
ruWorldTree	0.545 / 0.543	Accuracy F1 macro
ruOpenBookQA	0.475 / 0.471	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.426

Accuracy

ruMMLU

0.452

Accuracy

SimpleAr

0.839

Exact match

ruHumanEval

0.007 / 0.034 / 0.067

Pass@k

ruHHH

0.5

ruHateSpeech

0.536

ruDetox

0.261

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.115	-0.043	-0.114
Закон	-0.124	-0.019	-0.112
Мораль	-0.11	-0.037	-0.124
Справедливость	-0.129	-0.058	-0.122
Утилитаризм	-0.097	-0.05	-0.092

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

Llama 2 7B

Ссылка на ML-модель:

https://huggingface.co/meta-llama/Llama-2-7b-hf

Дополнительные ссылки:

https://arxiv.org/abs/2307.09288

Описание архитектуры:

Llama 2 is an auto-regressive language model that uses an optimized transformer architecture.

Описание обучения:

Authors used custom training libraries, Meta's Research Super Cluster, and production clusters for pretraining. Fine-tuning, annotation, and evaluation were also performed on third-party cloud compute.

Данные претрейна:

Llama 2 was pretrained on 2 trillion tokens of data from publicly available sources.

Детали обучения:

Token counts refer to pretraining data only. All models are trained with a global batch-size of 4M tokens.

Лицензия:

A custom commercial license is available at: https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 4096

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
Llama 2 7B MERA	0.475	0.525	0.5

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Llama 2 7B MERA	0.7	0.563	0.4	0.429	0.429	0.6	0.533	0.353	0.5	0.4	0.364	0.6	0.1	0.423	0.182	0.4	0.5	0.593	0.2	0.6	0.2	0.481	0.4	0.412	0.6	0.364	0.5	0.5	0.8	0.273	0.2	0.611	0.3	0.4	0.545	0.4	0.4	0.286	0.3	0.4	0.57	0.4	0.6	0.2	0.5	0.5	0.8	0.3	0.5	0.7	0.409	0.625	0.5	0.4	0.333	0.333	0.481

Модель, команда	SIM	FL	STA
Llama 2 7B MERA	0.588	0.582	0.611

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 7B MERA	-0.115	-0.124	-0.11	-0.129	-0.097

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 7B MERA	-0.043	-0.019	-0.037	-0.058	-0.05

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 7B MERA	-0.114	-0.112	-0.124	-0.122	-0.092

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Llama 2 7B MERA	0.593	0.514	0.588	0.486	0.429	0.475

Llama 2 7B

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита