Aeonium v1.1 Base 4B
Создан 12.06.2024 09:44Общая оценка: 0.199
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| BPS | 0.461 | Accuracy |
| LCS | 0.116 | Accuracy |
| RCB | 0.333 / 0.167 | Avg. F1 / Accuracy |
| USE | 0.004 | Grade Norm |
| RWSD | 0.5 | Accuracy |
| PARus | 0.498 | Accuracy |
| ruTiE | 0.5 | Accuracy |
| MultiQ | 0.104 / 0.023 | F1-score/EM |
| ruMMLU | 0.275 | Accuracy |
| CheGeKa | 0.007 / 0 | F1 / EM |
| ruModAr | 0.001 | EM |
| SimpleAr | 0.006 | EM |
| ruMultiAr | 0.01 | EM |
| MathLogicQA | 0.222 | Accuracy |
| ruHumanEval | 0 / 0 / 0 | pass@k |
| ruWorldTree | 0.265 / 0.222 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.248 / 0.201 | Avg. F1 / Accuracy |
Оценка на диагностических датасетах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ruHHH |
0.478
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.543
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[0, 0
, 0, 0
, 0], |
5 MCC |
Информация о сабмите:
Команда:
0x7o
Название ML-модели:
Aeonium v1.1 Base 4B
Ссылка на ML-модель:
https://huggingface.co/aeonium/Aeonium-v1.1-Base-4BОписание архитектуры:
Llama; 4k context; 4B parameters
Описание обучения:
Pre-training only
Данные претрейна:
Web pages, news, literature, wikipedia
Детали обучения:
One epoch on TPU v4-256. lr = 0.0003
Лицензия:
Apache 2.0
Стратегия, генерация и параметры:
- lm-harness v1.1.0 - 1xRTX 4090 - transformers v4.41
