GigaChat-3.1-Lightning

GigaChat Создан 28.03.2026 08:29
0.258
Общий результат

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
YABLoCo 0.014 / 0.005
EM pass@k
stRuCom 0.115
chrF
RealCode 0.091 / 0.956
pass@k execution_success
UnitTests 0.175
CodeBLEU
ruCodeEval 0.291 / 0.397 / 0.439
pass@k
JavaTestGen 0.057 / 0.33
pass@k compile@1
ruHumanEval 0.272 / 0.395 / 0.433
pass@k
RealCodeJava 0.188 / 0.977
pass@k execution_success
CodeLinterEval 0.482 / 0.491 / 0.5
pass@k
ruCodeReviewer 0.013 / 0.112 / 0.023 / 0.023 / 0.023
chrF BLEU judge@1 judge@5 judge@10
CodeCorrectness 0.794
EM

Информация о сабмите

Версия MERA
v1.0.0
Версия Torch
2.9.0
Версия кодовой базы
0ac3a14
Версия CUDA
12.8
Precision весов модели
auto
Сид
1234
Батч
1
Версия transformers
4.57.1
Количество GPU и их тип
1 x NVIDIA A100-SXM4-80GB
Архитектура
gigachat-completion

Команда:

GigaChat

Название ML-модели:

GigaChat-3.1-Lightning

Ссылка на ML-модель:

https://huggingface.co/ai-sage/GigaChat3.1-10B-A1.8B

Размер модели

11.0B

Тип модели:

Открытая

SFT

Параметры инференса

Параметры генерации:
realcode - do_sample=true;max_gen_toks=4096;temperature=0.7;repetition_penalty=1.05;top_p=0.8;until=["<|endoftext|>","<|im_end|>"]; \nrealcodejava - do_sample=true;max_gen_toks=4096;temperature=0.7;repetition_penalty=1.05;top_p=0.8;until=["<|endoftext|>","<|im_end|>"]; \njavatestgen - do_sample=true;max_gen_toks=4096;temperature=0.2;top_p=0.9;until=["<|endoftext|>","<|im_end|>"]; \nyabloco_oracle - max_gen_toks=2048;do_sample=false;until=["<|endoftext|>","<|im_end|>","\n\n\n","\\sclass\\s","\\sdef\\s","^def\\s","^class\\s","^if\\s","@","^#"]; \nunittests - do_sample=false;max_gen_toks=1024;until=["\n\n"]; \ncodecorrectness - until=["\n\n"];do_sample=false;temperature=0; \ncodelintereval - do_sample=true;temperature=0.6;max_gen_toks=1024;until=["\n\n"]; \nrucodereviewer - temperature=0;do_sample=false;max_gen_toks=1000;until=["\n\n"]; \nstrucom - do_sample=false;max_gen_toks=512;until=["\n\n"]; \nrucodeeval_code - do_sample=true;temperature=0.6;max_gen_toks=1024;until=["\nclass","\ndef","\n#","\nif","\nprint"]; \nruhumaneval_code - do_sample=true;temperature=0.6;max_gen_toks=1024;until=["\nclass","\ndef","\n#","\nif","\nprint"];