SOLAR 10.7B Instruct
Создан 03.02.2024 13:43Общая оценка: 0.469
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| BPS | 0.359 | Accuracy |
| LCS | 0.078 | Accuracy |
| RCB | 0.523 / 0.503 | Avg. F1 / Accuracy |
| USE | 0.04 | Grade Norm |
| RWSD | 0.654 | Accuracy |
| PARus | 0.828 | Accuracy |
| ruTiE | 0.7 | Accuracy |
| MultiQ | 0.205 / 0.097 | F1-score/EM |
| ruMMLU | 0.698 | Accuracy |
| CheGeKa | 0.206 / 0.139 | F1 / EM |
| ruModAr | 0.459 | Accuracy |
| SimpleAr | 0.946 | Accuracy |
| ruMultiAr | 0.2 | Accuracy |
| MathLogicQA | 0.396 | Accuracy |
| ruHumanEval | 0.013 / 0.067 / 0.134 | pass@k |
| ruWorldTree | 0.884 / 0.884 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.825 / 0.824 | Avg. F1 / Accuracy |
Оценка на диагностических датасетах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ruHHH |
0.702
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.747
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[-0.349, -0.374
, -0.374, -0.343
, -0.297], |
5 MCC |
Информация о сабмите:
Команда:
Russian_NLP
Название ML-модели:
SOLAR 10.7B Instruct
Ссылка на ML-модель:
https://huggingface.co/upstage/SOLAR-10.7B-Instruct-v1.0Дополнительные ссылки:
https://arxiv.org/abs/2312.15166 https://huggingface.co/upstage/SOLAR-10.7B-v1.0Описание архитектуры:
SOLAR 10.7B Instruct is the instructed version of SOLAR-10.7B, an advanced large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks.
Описание обучения:
State-of-the-art instruction fine-tuning methods including supervised fine-tuning (SFT) and direct preference optimization (DPO).
Данные претрейна:
SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks.
Детали обучения:
The following datasets were used: - c-s-ale/alpaca-gpt4-data (SFT) - Open-Orca/OpenOrca (SFT) - in-house generated data utilizing Metamath(SFT, DPO) - Intel/orca_dpo_pairs (DPO) - allenai/ultrafeedback_binarized_cleaned (DPO)
Лицензия:
cc-by-nc-4.0
Стратегия, генерация и параметры:
Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 4096
