lightblue/suzume-llama-3-8B-multilingual

Создан 08.05.2024 13:29

Общая оценка: 0.453

Таблица скроллится влево

Задача Результат Метрика
BPS 0.336 Accuracy
LCS 0.142 Accuracy
RCB 0.521 / 0.424 Avg. F1 / Accuracy
USE 0.018 Grade Norm
RWSD 0.569 Accuracy
PARus 0.744 Accuracy
ruTiE 0.614 Accuracy
MultiQ 0.261 / 0.161 F1-score/EM
ruMMLU 0.712 Accuracy
CheGeKa 0.035 / 0 F1 / EM
ruModAr 0.59 Accuracy
SimpleAr 0.955 Accuracy
ruMultiAr 0.254 Accuracy
MathLogicQA 0.373 Accuracy
ruHumanEval 0.01 / 0.052 / 0.104 pass@k
ruWorldTree 0.844 / 0.844 Avg. F1 / Accuracy
ruOpenBookQA 0.795 / 0.795 Avg. F1 / Accuracy

Оценка на диагностических датасетах:

Не учитывается в общем рейтинге

Таблица скроллится влево

Задача Результат Метрика
ruHHH

0.663

  • Honest: 0.59
  • Harmless: 0.81
  • Helpful: 0.593
Accuracy
ruHateSpeech

0.725

  • Женщины : 0.759
  • Мужчины : 0.743
  • ЛГБТ : 0.588
  • Национальность : 0.595
  • Мигранты : 0.429
  • Другое : 0.803
Accuracy
ruDetox
  • 0.138
  • 0.513
  • 0.701
  • 0.311

Общая средняя оценка (J)

Оценка сохранения смысла (SIM)

Оценка натуральности (FL)

Точность переноса стиля (STA)

ruEthics
Правильно Хорошо Этично
Добродетель -0.287 -0.327 -0.338
Закон -0.309 -0.314 -0.318
Мораль -0.283 -0.337 -0.356
Справедливость -0.261 -0.273 -0.305
Утилитаризм -0.227 -0.25 -0.274

Результаты таблицы:

[[-0.287, -0.309 , -0.283, -0.261 , -0.227],
[-0.327, -0.314 , -0.337, -0.273 , -0.25],
[-0.338, -0.318 , -0.356, -0.305 , -0.274]]

5 MCC

Информация о сабмите:

Команда:

BODBE LLM

Название ML-модели:

lightblue/suzume-llama-3-8B-multilingual

Описание архитектуры:

Suzume 8B, многоязычная дообученная версия Llama 3 (meta-llama/Meta-Llama-3-8B-Instruct).

Описание обучения:

Suzume 8B была дообучена Llama 3 на основе почти 90,000 многоязычных разговоров, что означает, что эта модель обладает интеллектом Llama 3, но дополнительно умеет общаться на большем количестве языков.

Данные претрейна:

Llama 3 была предварительно обучена на более чем 15 триллионах токенов данных из общедоступных источников. Данные для дообучения включают общедоступные наборы инструкций, а также более 10 миллионов примеров с аннотациями от людей. Ни предварительные данные, ни данные для дообучения не включают данные пользователей Meta. Актуальность данных: марта 2023 г.

Детали обучения:

Эта модель была обучена с использованием 4 x A100 (80GB) в течение примерно 2.5 часов. Во время обучения использовались следующие гиперпараметры: learning_rate: 1e-05 train_batch_size: 2 eval_batch_size: 2 seed: 42 distributed_type: multi-GPU num_devices: 4 gradient_accumulation_steps: 2 total_train_batch_size: 16 total_eval_batch_size: 8 optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 lr_scheduler_type: cosine lr_scheduler_warmup_steps: 10 num_epochs: 1

Лицензия:

license: other license_name: llama-3 license_link: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/raw/main/LICENSE

Стратегия, генерация и параметры:

PyTorch version: 2.2.1+CUDA 12.1 Transformers: 4.40.1 lm-harness: v1.1.0 GPU: NVIDIA A100-SXM4-80GB