GPT3.5-turbo

MERA Создан 23.09.2024 14:23
0.438
Общий результат
264
Место в рейтинге
Слабые задачи:
337
RWSD
307
PARus
324
RCB
181
ruEthics
212
MultiQ
256
ruWorldTree
281
ruOpenBookQA
120
CheGeKa
273
ruMMLU
387
ruHateSpeech
116
ruDetox
215
ruHHH
294
ruTiE
266
ruHumanEval
282
USE
361
MathLogicQA
215
ruMultiAr
244
SimpleAr
163
LCS
214
BPS
219
ruModAr
248
MaMuRAMu
233
ruCodeEval
+19
Скрыть

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.136 Accuracy
RCB 0.509 / 0.482 Accuracy F1 macro
USE 0.14 Grade norm
RWSD 0.515 Accuracy
PARus 0.752 Accuracy
ruTiE 0.644 Accuracy
MultiQ 0.406 / 0.223 F1 Exact match
CheGeKa 0.313 / 0.238 F1 Exact match
ruModAr 0.495 Exact match
MaMuRAMu 0.681 Accuracy
ruMultiAr 0.286 Exact match
ruCodeEval 0.009 / 0.02 / 0.03 Pass@k
MathLogicQA 0.36 Accuracy
ruWorldTree 0.874 / 0.7 Accuracy F1 macro
ruOpenBookQA 0.743 / 0.597 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.953 Accuracy
ruMMLU 0.538 Accuracy
SimpleAr 0.962 Exact match
ruHumanEval 0.01 / 0.015 / 0.018 Pass@k
ruHHH 0.719
ruHateSpeech 0.596
ruDetox 0.274
ruEthics
Правильно Хорошо Этично
Добродетель 0.349 0.35 0.374
Закон 0.328 0.331 0.343
Мораль 0.362 0.361 0.386
Справедливость 0.296 0.289 0.324
Утилитаризм 0.281 0.287 0.311

Информация о сабмите

Версия MERA
v.1.2.0
Версия Torch
2.0.1
Версия кодовой базы
7a72a611
Версия CUDA
11.7
Precision весов модели
-
Сид
1234
Батч
1
Версия transformers
4.36.2
Количество GPU и их тип
-
Архитектура
openai-chat-completions

Команда:

MERA

Название ML-модели:

GPT3.5-turbo

Ссылка на ML-модель:

https://openai.com/api/pricing/

Тип модели:

Закрытая

API

SFT

Описание архитектуры:

Version: gpt-3.5-turbo-0125 Updated GPT 3.5 Turbo. The latest GPT-3.5 Turbo model with a higher accuracy of answers in requested formats and the correction of error, which caused problems with the encoding of the text for functions in the non-English language. Returns a maximum of 4.096 tokens at the output.

Параметры инференса

Параметры генерации:
simplear - do_sample=false;until=["\n"];do_sample=false;until=["\n"]; \nchegeka - do_sample=false;until=["\n"];do_sample=false;until=["\n"]; \nrudetox - do_sample=false;until=["\n"]; \nrumultiar - do_sample=false;until=["\n"]; \nuse - do_sample=false;until=["\n","."]; \nmultiq - do_sample=false;until=["\n"]; \nrumodar - do_sample=false;until=["\n"]; \nruhumaneval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6; \nrucodeeval - do_sample=true;until=["\nclass","\ndef","\n#","\nif","\nprint"];temperature=0.6;

Оценки по подкатегориям

Метрика: Grade Norm
Модель, команда 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 8_0 8_1 8_2 8_3 8_4
GPT3.5-turbo
MERA
0.3 0.4 0.567 0.267 0 0.233 0.1 - 0.133 0.033 0.067 0 0.2 0.033 0.033 0.3 0 0 0 0 0.033 0.2 0 0.133 0.067 0.233 0.033 0.033 0.167 0.1 0.1
Модель, команда Честность Помощь Безопасность
GPT3.5-turbo
MERA
0.639 0.712 0.81
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
GPT3.5-turbo
MERA
0.511 0.422 0.612 0.752 0.66 0.687 0.728 0.605 0.611 0.565 0.368 0.381 0.34 0.676 0.732 0.598 0.57 0.625 0.444 0.656 0.237 0.731 0.36 0.538 0.402 0.59 0.375 0.593 0.616 0.39 0.68 0.736 0.54 0.727 0.585 0.581 0.33 0.674 0.351 0.498 0.742 0.585 0.476 0.467 0.74 0.407 0.686 0.267 0.418 0.534 0.38 0.692 0.554 0.584 0.68 0.691 0.632
Модель, команда SIM FL STA
GPT3.5-turbo
MERA
0.69 0.663 0.633
Модель, команда Анатомия Вирусология Астрономия Маркетинг Питание Социология Менеджмент Философия Предыстория Геронтология Эконометрика Формальная логика Глобальные факты Юриспруденция Разное Моральные споры Деловая этика Биология (колледж) Физика (колле Человеческая сексуальность Моральные сценарии Мировые религии Абстрактная алгебра Медицина (колледж) Машинное обучение Генетика Профессиональное право PR Безопасность Химия (колледж) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (колледж) Биология (универ) Физика (универ) Химия (универ) География (универ) Проф медицина Электрика Элементарная математика Психология (универ) Статистика (универ) История (универ) Математика (универ) Бухгалтерия Проф психология Коммпьютерные науки (колледж) Мировая история (универ) Макроэкономика Микроэкономика Компьютерные науки (универ) История Европы Государство и политика
GPT3.5-turbo
MERA
0.444 0.792 0.667 0.593 0.711 0.69 0.603 0.719 0.673 0.646 0.628 0.617 0.492 0.682 0.702 0.654 0.598 0.711 0.491 0.807 0.333 0.746 0.644 0.757 0.644 0.758 0.654 0.579 0.93 0.578 0.733 0.808 0.571 0.825 0.636 0.768 0.667 0.8 0.421 0.585 0.767 0.762 0.778 0.689 0.862 0.844 0.862 0.682 0.662 0.895 0.778 0.667 0.759 0.61 0.512 0.591 0.8
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
GPT3.5-turbo
MERA
0.349 0.328 0.362 0.296 0.281
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
GPT3.5-turbo
MERA
0.35 0.331 0.361 0.289 0.287
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
GPT3.5-turbo
MERA
0.374 0.343 0.386 0.324 0.311
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
GPT3.5-turbo
MERA
0.639 0.486 0.529 0.649 0.286 0.607