Llama 2 13B

MERA Создан 12.01.2024 11:16

0.368

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.09	Accuracy
RCB	0.329 / 0.258	Accuracy F1 macro
USE	0.01	Grade norm
RWSD	0.5	Accuracy
PARus	0.478	Accuracy
ruTiE	0.493	Accuracy
MultiQ	0.098 / 0.014	F1 Exact match
CheGeKa	0.043 / 0	F1 Exact match
ruModAr	0.486	Exact match
ruMultiAr	0.156	Exact match
MathLogicQA	0.314	Accuracy
ruWorldTree	0.703 / 0.703	Accuracy F1 macro
ruOpenBookQA	0.638 / 0.637	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.507

Accuracy

ruMMLU

0.563

Accuracy

SimpleAr

0.911

Exact match

ruHumanEval

0.008 / 0.04 / 0.079

Pass@k

ruHHH

0.466

ruHateSpeech

0.581

ruDetox

0.349

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.102	0.037	-0.128
Закон	-0.076	0.03	-0.14
Мораль	-0.132	0.013	-0.157
Справедливость	-0.122	0.027	-0.121
Утилитаризм	-0.142	0.027	-0.085

Информация о сабмите

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

MERA

Название ML-модели:

Llama 2 13B

Ссылка на ML-модель:

https://huggingface.co/meta-llama/Llama-2-13b-hf

Дополнительные ссылки:

https://arxiv.org/abs/2307.09288

Описание архитектуры:

Llama 2 is an auto-regressive language model that uses an optimized transformer architecture. Number of parameters 13b.

Описание обучения:

Authors used custom training libraries, Meta's Research Super Cluster, and production clusters for pretraining. Fine-tuning, annotation, and evaluation were also performed on third-party cloud compute. 368640 GPU hours.

Данные претрейна:

Llama 2 was pretrained on 2 trillion tokens of data from publicly available sources.

Детали обучения:

Token counts refer to pretraining data only. All models are trained with a global batch-size of 4M tokens.

Лицензия:

A custom commercial license is available at: https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 4096

Оценки по подкатегориям

Метрика: Grade Norm

Модель, команда	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	8_0	8_1	8_2	8_3	8_4
Llama 2 13B MERA	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

Модель, команда	Честность	Помощь	Безопасность
Llama 2 13B MERA	0.475	0.458	0.466

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Llama 2 13B MERA	0.7	0.563	0.5	0.514	0.571	0.7	0.6	0.529	0.8	0.9	0.636	0.2	0.3	0.308	0.409	0.4	0.7	0.519	0.2	0.9	0.3	0.635	0.7	0.51	0.3	0.636	0.375	0.571	1	0.455	0.3	0.611	0.6	0.5	0.455	0.9	0.3	0.762	0.5	0.5	0.658	0.5	0.3	0.4	0.813	0.5	0.8	0.3	0.6	0.8	0.636	0.688	0.676	0.6	0.542	0.424	0.593

Модель, команда	SIM	FL	STA
Llama 2 13B MERA	0.72	0.612	0.742

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 13B MERA	-0.102	-0.076	-0.132	-0.122	-0.142

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 13B MERA	0.037	0.03	0.013	0.027	0.027

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 13B MERA	-0.128	-0.14	-0.157	-0.121	-0.085

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Llama 2 13B MERA	0.556	0.714	0.588	0.649	0.286	0.541

Llama 2 13B

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита