Yi 34B 200K
Создан 03.02.2024 14:05Общая оценка: 0.455
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| BPS | 0.426 | Accuracy |
| LCS | 0.108 | Accuracy |
| RCB | 0.498 / 0.402 | Avg. F1 / Accuracy |
| USE | 0.049 | Grade Norm |
| RWSD | 0.562 | Accuracy |
| PARus | 0.74 | Accuracy |
| ruTiE | 0.602 | Accuracy |
| MultiQ | 0.185 / 0.107 | F1-score/EM |
| ruMMLU | 0.676 | Accuracy |
| CheGeKa | 0.01 / 0 | F1 / EM |
| ruModAr | 0.635 | Accuracy |
| SimpleAr | 0.981 | Accuracy |
| ruMultiAr | 0.277 | Accuracy |
| MathLogicQA | 0.473 | Accuracy |
| ruHumanEval | 0.004 / 0.021 / 0.043 | pass@k |
| ruWorldTree | 0.838 / 0.838 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.748 / 0.746 | Avg. F1 / Accuracy |
Оценка на диагностических датасетах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ruHHH |
0.601
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.626
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[-0.12, -0.113
, -0.108, -0.125
, -0.082], |
5 MCC |
Информация о сабмите:
Команда:
LM Research
Название ML-модели:
Yi 34B 200K
Ссылка на ML-модель:
https://huggingface.co/01-ai/Yi-34B-200KДополнительные ссылки:
https://github.com/01-ai/YiОписание архитектуры:
The Yi 34B follow the same model architecture as LLaMA with a 200k context window size.
Описание обучения:
Yi has independently created its own efficient training pipelines, and robust training infrastructure entirely from the ground up.
Данные претрейна:
Trained on 3T multilingual corpus.
Детали обучения:
Yi has independently created its own high-quality training datasets, efficient training pipelines, and robust training infrastructure entirely from the ground up.
Лицензия:
Apache 2.0 license
Стратегия, генерация и параметры:
Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 2 x NVIDIA A100 - dtype float16 - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 11000
