Llama 2 70b

NLP Team Создан 03.02.2024 13:55

0.453

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.08	Accuracy
RCB	0.466 / 0.424	Accuracy F1 macro
USE	0.031	Grade norm
RWSD	0.5	Accuracy
PARus	0.744	Accuracy
ruTiE	0.453	Accuracy
MultiQ	0.185 / 0.041	F1 Exact match
CheGeKa	0.076 / 0	F1 Exact match
ruModAr	0.65	Exact match
ruMultiAr	0.216	Exact match
MathLogicQA	0.388	Accuracy
ruWorldTree	0.914 / 0.915	Accuracy F1 macro
ruOpenBookQA	0.818 / 0.817	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.495

Accuracy

ruMMLU

0.741

Accuracy

SimpleAr

0.965

Exact match

ruHumanEval

0.02 / 0.101 / 0.201

Pass@k

ruHHH

0.573

ruHateSpeech

0.585

ruDetox

0.341

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.113	-0.182	-0.143
Закон	-0.124	-0.228	-0.171
Мораль	-0.151	-0.21	-0.162
Справедливость	-0.065	-0.169	-0.145
Утилитаризм	-0.076	-0.153	-0.107

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

NLP Team

Название ML-модели:

Llama 2 70b

Ссылка на ML-модель:

https://huggingface.co/meta-llama/Llama-2-70b-hf

Дополнительные ссылки:

https://arxiv.org/abs/2307.09288

Описание архитектуры:

Llama 2 is an auto-regressive language model that uses an optimized transformer architecture. Number of parameters 70b.

Описание обучения:

Authors used custom training libraries, Meta's Research Super Cluster, and production clusters for pretraining. Fine-tuning, annotation, and evaluation were also performed on third-party cloud compute. 1720320 GPU hours.

Данные претрейна:

Llama 2 was pretrained on 2 trillion tokens of data from publicly available sources. Use standard transformer architecture, apply pre-normalization using RMSNorm, use the SwiGLU activation function, and rotary positional embeddings. The primary architectural differences from Llama 1 include increased context length and grouped-query attention (GQA).

Детали обучения:

Token counts refer to pretraining data only. All models are trained with a global batch-size of 4M tokens.

Лицензия:

A custom commercial license is available at: https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 4 x NVIDIA A100 + accelerate - dtype float16 - Pytorch 2.0.1 + CUDA 11.7 - Transformers 4.36.2 - Context length 4096

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
Llama 2 70b NLP Team	0.557	0.508	0.655

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Llama 2 70b NLP Team	0.6	0.75	0.7	0.714	0.762	0.9	0.867	0.765	0.9	1	0.727	0.6	0.4	0.462	0.545	0.7	0.8	0.778	0.8	1	0.4	0.865	0.8	0.745	0.7	0.818	0.625	0.714	1	0.636	0.5	0.778	0.8	0.8	0.818	1	0.7	0.81	0.4	0.6	0.823	0.9	0.8	0.6	0.938	0.6	1	0.5	0.6	0.9	0.636	1	0.853	0.867	0.5	0.485	0.778

Модель, команда	SIM	FL	STA
Llama 2 70b NLP Team	0.716	0.633	0.697

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 70b NLP Team	-0.113	-0.124	-0.151	-0.065	-0.076

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 70b NLP Team	-0.182	-0.228	-0.21	-0.169	-0.153

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Llama 2 70b NLP Team	-0.143	-0.171	-0.162	-0.145	-0.107

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Llama 2 70b NLP Team	0.583	0.571	0.706	0.595	0.429	0.574

Llama 2 70b

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита