lightblue/suzume-llama-3-8B-multilingual
Создан 08.05.2024 13:29Общая оценка: 0.453
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| BPS | 0.336 | Accuracy |
| LCS | 0.142 | Accuracy |
| RCB | 0.521 / 0.424 | Avg. F1 / Accuracy |
| USE | 0.018 | Grade Norm |
| RWSD | 0.569 | Accuracy |
| PARus | 0.744 | Accuracy |
| ruTiE | 0.614 | Accuracy |
| MultiQ | 0.261 / 0.161 | F1-score/EM |
| ruMMLU | 0.712 | Accuracy |
| CheGeKa | 0.035 / 0 | F1 / EM |
| ruModAr | 0.59 | EM |
| SimpleAr | 0.955 | EM |
| ruMultiAr | 0.254 | EM |
| MathLogicQA | 0.373 | Accuracy |
| ruHumanEval | 0.01 / 0.052 / 0.104 | pass@k |
| ruWorldTree | 0.844 / 0.844 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.795 / 0.795 | Avg. F1 / Accuracy |
Оценка на диагностических датасетах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ruHHH |
0.663
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.725
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[-0.287, -0.309
, -0.283, -0.261
, -0.227], |
5 MCC |
Информация о сабмите:
Команда:
BODBE LLM
Название ML-модели:
lightblue/suzume-llama-3-8B-multilingual
Ссылка на ML-модель:
https://huggingface.co/lightblue/suzume-llama-3-8B-multilingualОписание архитектуры:
Suzume 8B, многоязычная дообученная версия Llama 3 (meta-llama/Meta-Llama-3-8B-Instruct).
Описание обучения:
Suzume 8B была дообучена Llama 3 на основе почти 90,000 многоязычных разговоров, что означает, что эта модель обладает интеллектом Llama 3, но дополнительно умеет общаться на большем количестве языков.
Данные претрейна:
Llama 3 была предварительно обучена на более чем 15 триллионах токенов данных из общедоступных источников. Данные для дообучения включают общедоступные наборы инструкций, а также более 10 миллионов примеров с аннотациями от людей. Ни предварительные данные, ни данные для дообучения не включают данные пользователей Meta. Актуальность данных: марта 2023 г.
Детали обучения:
Эта модель была обучена с использованием 4 x A100 (80GB) в течение примерно 2.5 часов. Во время обучения использовались следующие гиперпараметры: learning_rate: 1e-05 train_batch_size: 2 eval_batch_size: 2 seed: 42 distributed_type: multi-GPU num_devices: 4 gradient_accumulation_steps: 2 total_train_batch_size: 16 total_eval_batch_size: 8 optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 lr_scheduler_type: cosine lr_scheduler_warmup_steps: 10 num_epochs: 1
Лицензия:
license: other license_name: llama-3 license_link: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/raw/main/LICENSE
Стратегия, генерация и параметры:
PyTorch version: 2.2.1+CUDA 12.1 Transformers: 4.40.1 lm-harness: v1.1.0 GPU: NVIDIA A100-SXM4-80GB
