GigaChat 2 Max

MERA Создан 15.07.2025 04:58

0.346

Общий результат

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
YABLoCo	0.106 / 0.014	EM pass@k
stRuCom	0.294	chrF
RealCode	0.332 / 0.988	pass@k execution_success
UnitTests	0.175	CodeBLEU
ruCodeEval	0.537 / 0.588 / 0.591	pass@k
JavaTestGen	0.137 / 0.396	pass@k compile@1
ruHumanEval	0.53 / 0.57 / 0.579	pass@k
RealCodeJava	0.342 / 0.993	pass@k execution_success
CodeLinterEval	0.425 / 0.461 / 0.473	pass@k
ruCodeReviewer	0.016 / 0.136 / 0.062 / 0.065 / 0.071	chrF BLEU judge@1 judge@5 judge@10
CodeCorrectness	0.68	EM

Информация о сабмите:

Версия MERA

v.1.0.0

Версия Torch

2.7.1

Версия кодовой базы

e77f33f

Версия CUDA

None

Precision весов модели

auto

Сид

1234

Батч

Версия transformers

4.53.0

Количество GPU и их тип

Архитектура

gigachat-completion

Команда:

MERA

Название ML-модели:

GigaChat 2 Max

Ссылка на ML-модель:

https://developers.sber.ru/docs/ru/gigachat/models

Тип модели:

Закрытая

API

SFT

Дополнительные ссылки:

Описание архитектуры:

GigaChat 2 Max is a new Large Language Model (LLM) by Sber. The model will be available for B2C users https://giga.chat/ and B2B users via API soon https://developers.sber.ru/docs/ru/gigachat/api/tariffs.

Описание обучения:

Данные претрейна:

Лицензия:

Proprietary model by Sber

GigaChat 2 Max

Оценки по задачам лидерборда

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Тип модели:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Лицензия:

Подтвердите удаление сабмита