GigaChat-20B-A3B
Создан 13.12.2024 07:11Оценка по основным задачам: 0.513
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| LCS | 0.07 | Accuracy |
| RCB | 0.518 / 0.441 | Avg. F1 / Accuracy |
| USE | 0.334 | Grade Norm |
| RWSD | 0.512 | Accuracy |
| PARus | 0.842 | Accuracy |
| ruTiE | 0.758 | Accuracy |
| MultiQ | 0.393 / 0.187 | F1-score/EM |
| CheGeKa | 0.318 / 0.252 | F1 / EM |
| ruModAr | 0.87 | EM |
| MaMuRAMu | 0.741 | Accuracy |
| ruMultiAr | 0.272 | EM |
| ruCodeEval | 0.041 / 0.054 / 0.061 | pass@k |
| MathLogicQA | 0.455 | Accuracy |
| ruWorldTree | 0.901 / 0.901 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.833 / 0.833 | Avg. F1 / Accuracy |
Оценка на открытых задачах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| BPS | 0.921 | Accuracy | ||||||||||||||||||||||||
| ruMMLU | 0.587 | Accuracy | ||||||||||||||||||||||||
| SimpleAr | 0.923 | EM | ||||||||||||||||||||||||
| ruHumanEval | 0.037 / 0.04 / 0.043 | pass@k | ||||||||||||||||||||||||
| ruHHH |
0.73
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.777
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[0.299, 0.337
, 0.351, 0.251
, 0.249], |
5 MCC |
Информация о сабмите:
Команда:
GIGACHAT
Название ML-модели:
GigaChat-20B-A3B
Ссылка на ML-модель:
https://huggingface.co/ai-sage/GigaChat-20B-A3B-instructРазмер модели
20.0B
Тип модели:
Открытая
SFT
MoE
Описание архитектуры:
GigaChat-20B-A3B is a Large Language Model (LLM) that was fine-tuned on instruction corpus and has context length of 32k tokens. GigaChat-20B-A3B is Mixture of Experts model and has 3.3B active parameters. The model is available at https://huggingface.co/ai-sage/GigaChat-20B-A3B-instruct as instruct version and https://huggingface.co/ai-sage/GigaChat-20B-A3B-base as base version
Описание обучения:
-
Данные претрейна:
-
Лицензия:
Open-source model by Sber
Базовые теги:
Версия MERA:
v.1.2.0
Версия кодовой базы:
db539c9
Версия Torch:
2.4.0
Версия CUDA:
12.1
Версия transformers:
4.46.0.dev0
Количество GPU и их тип:
5 x NVIDIA H100 80GB HBM3
Батч:
1
Сид:
1234
Архитектура:
gigachat_llms
Chat template:
Да
Специальные токены:
Да
Multi-Turn:
1
Параметры инференса
Параметры генерации:
simplear - do_sample=false;until=["\n"];
chegeka - do_sample=false;until=["\n"];
rudetox - do_sample=false;until=["\n"];
rumultiar - do_sample=false;until=["\n"];
use - do_sample=false;until=["\n","."];
multiq - do_sample=false;until=["\n"];
rumodar - do_sample=false;until=["\n"];
ruhumaneval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;
rucodeeval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;
Описание темплейта:
{% if messages[0]['role'] == 'system' -%}\n {%- set loop_messages = messages[1:] -%}\n {%- set system_message = bos_token + messages[0]['content'] + additional_special_tokens[1] -%}\n{%- else -%}\n {%- set loop_messages = messages -%}\n {%- set system_message = bos_token + '' -%}\n{%- endif -%}\n{%- for message in loop_messages %}\n {% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}\n {{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}\n {% endif %}\n \n {%- if loop.index0 == 0 -%}\n {{ system_message -}}\n {%- endif -%}\n {%- if message['role'] == 'user' -%}\n {{ message['role'] + additional_special_tokens[0] + message['content'] + additional_special_tokens[1] -}}\n {{ 'available functions' + additional_special_tokens[0] + additional_special_tokens[2] + additional_special_tokens[3] + additional_special_tokens[1] -}}\n {%- endif -%}\n {%- if message['role'] == 'assistant' -%}\n {{ message['role'] + additional_special_tokens[0] + message['content'] + additional_special_tokens[1] -}}\n {%- endif -%}\n {%- if loop.last and add_generation_prompt -%}\n {{ 'assistant' + additional_special_tokens[0] -}}\n {%- endif -%}\n{%- endfor %}
