Llama3-70B-EnSecAI-Ru-Chat
Создан 28.08.2024 13:16Оценка по основным задачам: 0.57
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| LCS | 0.144 | Accuracy |
| RCB | 0.548 / 0.448 | Avg. F1 / Accuracy |
| USE | 0.138 | Grade Norm |
| RWSD | 0.677 | Accuracy |
| PARus | 0.926 | Accuracy |
| ruTiE | 0.828 | Accuracy |
| MultiQ | 0.541 / 0.421 | F1-score/EM |
| CheGeKa | 0.306 / 0.231 | F1 / EM |
| ruModAr | 0.709 | EM |
| ruMultiAr | 0.357 | EM |
| MathLogicQA | 0.571 | Accuracy |
| ruWorldTree | 0.987 / 0.987 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.933 / 0.932 | Avg. F1 / Accuracy |
Оценка на открытых задачах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| BPS | 0.07 | Accuracy | ||||||||||||||||||||||||
| ruMMLU | 0.847 | Accuracy | ||||||||||||||||||||||||
| SimpleAr | 0.997 | EM | ||||||||||||||||||||||||
| ruHumanEval | 0.049 / 0.244 / 0.488 | pass@k | ||||||||||||||||||||||||
| ruHHH |
0.82
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.83
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[-0.354, -0.324
, -0.366, -0.305
, -0.273], |
5 MCC |
Информация о сабмите:
Команда:
EnSec AI
Название ML-модели:
Llama3-70B-EnSecAI-Ru-Chat
Ссылка на ML-модель:
https://huggingface.co/ensec/Llama3-70B-EnSecAI-Ru-ChatОписание архитектуры:
Дообученная на русский язык версия Llama-3-70B (meta-llama/Meta-Llama-3-70B-Instruct).
Описание обучения:
Для дообучения модели использовались открытые данные для SFT и DPO
Данные претрейна:
Llama 3 была предварительно обучена на более чем 15 триллионах токенов данных из общедоступных источников. Данные для дообучения включают общедоступные наборы инструкций, а также более 10 миллионов примеров с аннотациями от людей.
Детали обучения:
Эта модель была дообучена с использованием 4 x A100 (80GB)
Лицензия:
This model was trained from Meta-Llama-3-70B-Instruct, and therefore is subject to the META LLAMA 3 COMMUNITY LICENSE AGREEMENT. (https://llama.meta.com/llama3/license/)
Стратегия, генерация и параметры:
temperature=0.6 top_p=0.9
