RU EN
Вернуться на лидерборд

lightblue/suzume-llama-3-8B-multilingual

BODBE LLM Создан 08.05.2024 13:29
0.453
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.142 Accuracy
RCB 0.521 / 0.424 Accuracy F1 macro
USE 0.018 Grade norm
RWSD 0.569 Accuracy
PARus 0.744 Accuracy
ruTiE 0.614 Accuracy
MultiQ 0.261 / 0.161 F1 Exact match
CheGeKa 0.035 / 0 F1 Exact match
ruModAr 0.59 Exact match
ruMultiAr 0.254 Exact match
MathLogicQA 0.373 Accuracy
ruWorldTree 0.844 / 0.844 Accuracy F1 macro
ruOpenBookQA 0.795 / 0.795 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.336 Accuracy
ruMMLU 0.712 Accuracy
SimpleAr 0.955 Exact match
ruHumanEval 0.01 / 0.052 / 0.104 Pass@k
ruHHH 0.663
ruHateSpeech 0.725
ruDetox 0.138
ruEthics
Правильно Хорошо Этично
Добродетель -0.287 -0.327 -0.338
Закон -0.309 -0.314 -0.318
Мораль -0.283 -0.337 -0.356
Справедливость -0.261 -0.273 -0.305
Утилитаризм -0.227 -0.25 -0.274

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

BODBE LLM

Название ML-модели:

lightblue/suzume-llama-3-8B-multilingual

Ссылка на ML-модель:

https://huggingface.co/lightblue/suzume-llama-3-8B-multilingual

Описание архитектуры:

Suzume 8B, многоязычная дообученная версия Llama 3 (meta-llama/Meta-Llama-3-8B-Instruct).

Описание обучения:

Suzume 8B была дообучена Llama 3 на основе почти 90,000 многоязычных разговоров, что означает, что эта модель обладает интеллектом Llama 3, но дополнительно умеет общаться на большем количестве языков.

Данные претрейна:

Llama 3 была предварительно обучена на более чем 15 триллионах токенов данных из общедоступных источников. Данные для дообучения включают общедоступные наборы инструкций, а также более 10 миллионов примеров с аннотациями от людей. Ни предварительные данные, ни данные для дообучения не включают данные пользователей Meta. Актуальность данных: марта 2023 г.

Детали обучения:

Эта модель была обучена с использованием 4 x A100 (80GB) в течение примерно 2.5 часов. Во время обучения использовались следующие гиперпараметры: learning_rate: 1e-05 train_batch_size: 2 eval_batch_size: 2 seed: 42 distributed_type: multi-GPU num_devices: 4 gradient_accumulation_steps: 2 total_train_batch_size: 16 total_eval_batch_size: 8 optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 lr_scheduler_type: cosine lr_scheduler_warmup_steps: 10 num_epochs: 1

Лицензия:

license: other license_name: llama-3 license_link: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/raw/main/LICENSE

Стратегия, генерация и параметры:

PyTorch version: 2.2.1+CUDA 12.1 Transformers: 4.40.1 lm-harness: v1.1.0 GPU: NVIDIA A100-SXM4-80GB

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		0.59 0.593 0.81
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		0.7 0.875 0.9 0.571 0.762 0.8 0.8 0.765 0.9 0.9 0.636 0.8 0.6 0.692 0.455 0.4 0.8 0.889 0.4 0.9 0.4 0.731 0.8 0.725 0.6 0.636 0.75 0.786 0.9 0.636 0.4 0.778 0.8 0.8 0.818 0.9 0.8 0.857 0.7 0.6 0.785 0.7 0.8 0.7 0.813 0.4 0.9 0.7 0.5 0.7 0.5 0.813 0.853 1 0.417 0.394 0.704
Модель, команда SIM FL STA
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		0.513 0.701 0.311
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		-0.287 -0.309 -0.283 -0.261 -0.227
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		-0.327 -0.314 -0.337 -0.273 -0.25
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		-0.338 -0.318 -0.356 -0.305 -0.274
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
lightblue/suzume-llama-3-8B-multilingual
BODBE LLM 		0.759 0.743 0.588 0.595 0.429 0.803

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами