Лидерборд
Общая оценка модели на лидерборде считается по среднему всех метрик для задачи. Общий тотал — это среднее по всем задачам, приватный тотал — по только приватным тестам.
Лидерборд MERA SWE для динамической оценки кодовых моделей доступен на отдельном сайте по ссылке
Выбрать задачи
Все задачи
{{ task.title }}
{{ task.leaderboard_description }}
Выбрать языки программирования
Все языки
{{ language.title }}
Фильтры
Сбросить
Основные задачи
Все задачи
{{ task.title }}
{{ task.leaderboard_description }}
Выбрать языки программирования
Все языки
{{ language.title }}
Модель, команда
Общий тотал
Приватный тотал
{{ i + 1 }}
{{ submit.name }}
{{ transformSize(submit.size) }}
{{ submit.team_name }}
{{ submit.score }}
{{ submit.private_score }}
| {{ task.title }} |
|---|
| {{ getTaskScore(submit, task) }} |
Нет подходящих результатов
mera@a-ai.ru
GitHub
hugging face