Random submission
Создан 09.01.2024 08:34Оценка по основным задачам: 0.205
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| LCS | 0.096 | Accuracy |
| RCB | 0.361 / 0.36 | Avg. F1 / Accuracy |
| USE | 0.064 | Grade Norm |
| RWSD | 0.519 | Accuracy |
| PARus | 0.482 | Accuracy |
| ruTiE | 0.472 | Accuracy |
| MultiQ | 0.014 / 0.001 | F1-score/EM |
| CheGeKa | 0.002 / 0 | F1 / EM |
| ruModAr | 0.0 | EM |
| ruMultiAr | 0.0 | EM |
| MathLogicQA | 0.244 | Accuracy |
| ruWorldTree | 0.23 / 0.229 | Avg. F1 / Accuracy |
| ruOpenBookQA | 0.245 / 0.245 | Avg. F1 / Accuracy |
Оценка на открытых задачах:
Не учитывается в общем рейтингеТаблица скроллится влево
| Задача | Результат | Метрика | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| BPS | 0.5 | Accuracy | ||||||||||||||||||||||||
| ruMMLU | 0.258 | Accuracy | ||||||||||||||||||||||||
| SimpleAr | 0.0 | EM | ||||||||||||||||||||||||
| ruHumanEval | 0 / 0 / 0 | pass@k | ||||||||||||||||||||||||
| ruHHH |
0.522
|
Accuracy | ||||||||||||||||||||||||
| ruHateSpeech |
0.468
|
Accuracy | ||||||||||||||||||||||||
| ruDetox |
|
Общая средняя оценка (J) Оценка сохранения смысла (SIM) Оценка натуральности (FL) Точность переноса стиля (STA) |
||||||||||||||||||||||||
| ruEthics |
Результаты таблицы:
[[0.013, 0.014
, -0.01, -0.038
, 0.014], |
5 MCC |
Информация о сабмите:
Команда:
MERA
Название ML-модели:
Random submission
Ссылка на ML-модель:
https://github.com/ai-forever/MERAОписание архитектуры:
Random submission. Basic low baseline to compare with.
Описание обучения:
Random submission. For each task we randomly choose the result and score the variant.
Данные претрейна:
No data.
Детали обучения:
No training.
Лицензия:
-
Стратегия, генерация и параметры:
-
