GigaChat-Pro
Создан 04.07.2024 10:42Общая оценка: 0.537
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| BPS | 0.318 | Accuracy |
| LCS | 0.09 | Accuracy |
| RCB | 0.53 / 0.449 | Avg. F1 / Accuracy |
| USE | 0.338 | Grade Norm |
| RWSD | 0.585 | Accuracy |
| PARus | 0.884 | Accuracy |
| ruTiE | 0.791 | Accuracy |
| MultiQ | 0.369 / 0.247 | F1-score/EM |
| ruMMLU | 0.816 | Accuracy |
| CheGeKa | 0.104 / 0 | F1 / EM |
| ruModAr | 0.866 | EM |
| SimpleAr | 0.971 | EM |
| ruMultiAr | 0.273 | EM |
| MathLogicQA | 0.467 | Accuracy |
| ruHumanEval | 0.013 / 0.064 / 0.128 | pass@k |
| ruWorldTree | 0.939 / 0.939 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.873 / 0.872 | Avg. F1 / Accuracy |
Оценка на диагностических датасетах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ruHHH |
0.764
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.751
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[-0.493, -0.493
, -0.492, -0.447
, -0.422], |
5 MCC |
Информация о сабмите:
Команда:
GIGACHAT
Название ML-модели:
GigaChat-Pro
Ссылка на ML-модель:
https://developers.sber.ru/portal/products/gigachat-apiДополнительные ссылки:
https://developers.sber.ru/docs/ru/gigachat/api/overviewОписание архитектуры:
GigaChat Pro (version 1.0.26.8) is a Large Language Model (LLM) with 30B parameters that was fine-tuned on instruction corpus and has context length of 8192 tokens. The version is available for users via API since 13.07.
Описание обучения:
-
Данные претрейна:
-
Детали обучения:
-
Лицензия:
Proprietary model by Sber
Стратегия, генерация и параметры:
Code version v.1.1.0. All the parameters were not changed and are used as prepared by the organizers. Details: - 2 x NVIDIA A100 + accelerate - dtype float16 - Pytorch 2.3.1 + CUDA 12.1 - Transformers 4.42.3 - Context length 8192
