Yi-Coder-9B-Chat

MERA Создан 16.07.2025 11:06
0.206
Общий результат

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
YABLoCo 0.135 / 0.024
EM pass@k
stRuCom 0.192
chrF
RealCode 0.067 / 0.988
pass@k execution_success
UnitTests 0.168
CodeBLEU
ruCodeEval 0.35 / 0.362 / 0.372
pass@k
JavaTestGen 0.229 / 0.59
pass@k compile@1
ruHumanEval 0.173 / 0.197 / 0.201
pass@k
RealCodeJava 0.255 / 0.983
pass@k execution_success
CodeLinterEval 0.145 / 0.157 / 0.164
pass@k
ruCodeReviewer 0.009 / 0.078 / 0.016 / 0.016 / 0.016
chrF BLEU judge@1 judge@5 judge@10
CodeCorrectness 0.364
EM

Информация о сабмите

Версия MERA
v.1.0.0
Версия Torch
2.7.0
Версия кодовой базы
e77f33f
Версия CUDA
12.6
Precision весов модели
bfloat16
Сид
1234
Батч
1
Версия transformers
4.53.0
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
local-chat-completions

Команда:

MERA

Название ML-модели:

Yi-Coder-9B-Chat

Ссылка на ML-модель:

https://huggingface.co/01-ai/Yi-Coder-9B-Chat

Размер модели

8.8B

Тип модели:

Открытая

SFT

Описание архитектуры:

Yi-Coder is a series of open-source code language models that delivers state-of-the-art coding performance with fewer than 10 billion parameters. Key features: Excelling in long-context understanding with a maximum context length of 128K tokens. Supporting 52 major programming languages