GigaCode 1.4
MERA
Создан 15.07.2025 05:06
0.293
Общий результат
Оценки по задачам лидерборда
Таблица скроллится влево
| Задача | Результат | Метрика |
|---|---|---|
| YABLoCo | 0.135 / 0.038 |
EM
pass@k
|
| stRuCom | 0.276 |
chrF
|
| RealCode | 0.322 / 0.988 |
pass@k
execution_success
|
| UnitTests | 0.23 |
CodeBLEU
|
| ruCodeEval | 0.357 / 0.364 / 0.366 |
pass@k
|
| JavaTestGen | 0.313 / 0.639 |
pass@k
compile@1
|
| ruHumanEval | 0.305 / 0.305 / 0.305 |
pass@k
|
| RealCodeJava | 0.352 / 0.997 |
pass@k
execution_success
|
| CodeLinterEval | 0.027 / 0.027 / 0.027 |
pass@k
|
| ruCodeReviewer | 0.029 / 0.182 / 0.064 / 0.12 / 0.145 |
chrF
BLEU
judge@1
judge@5
judge@10
|
| CodeCorrectness | 0.676 |
EM
|
mera@a-ai.ru
GitHub
hugging face