davinci-002

Создан 26.01.2024 08:32

Оценка по основным задачам: 0.383

Сабмит содержит не все обязательные задачи

Таблица скроллится влево

Задача Результат Метрика
LCS 0.124 Accuracy
RCB 0.331 / 0.178 Avg. F1 / Accuracy
USE 0.016 Grade Norm
RWSD 0.481 Accuracy
PARus 0.506 Accuracy
ruTiE 0.519 Accuracy
MultiQ 0.119 / 0.044 F1-score/EM
CheGeKa 0.018 / 0 F1 / EM
ruModAr 0.476 EM
ruMultiAr 0.176 EM
MathLogicQA 0.353 Accuracy
ruWorldTree 0.766 / 0.765 Avg. F1 / Accuracy
ruOpenBookQA 0.675 / 0.676 Avg. F1 / Accuracy

Оценка на открытых задачах:

Не учитывается в общем рейтинге

Таблица скроллится влево

Задача Результат Метрика
BPS 0.521 Accuracy
ruMMLU 0.613 Accuracy
SimpleAr 0.927 EM
ruHumanEval 0.005 / 0.023 / 0.037 pass@k
ruHHH

0.517

  • Honest: 0.525
  • Harmless: 0.466
  • Helpful: 0.559
Accuracy
ruHateSpeech

0.551

  • Женщины : 0.472
  • Мужчины : 0.657
  • ЛГБТ : 0.588
  • Национальность : 0.541
  • Мигранты : 0.571
  • Другое : 0.623
Accuracy
ruDetox
  • 0.349
  • 0.676
  • 0.665
  • 0.705

Общая средняя оценка (J)

Оценка сохранения смысла (SIM)

Оценка натуральности (FL)

Точность переноса стиля (STA)

ruEthics
Правильно Хорошо Этично
Добродетель -0.033 -0.002 -0.006
Закон -0.041 -0.008 -0.041
Мораль -0.029 0.001 -0.024
Справедливость -0.046 -0.011 0.012
Утилитаризм -0.015 -0.028 -0.028

Результаты таблицы:

[[-0.033, -0.041 , -0.029, -0.046 , -0.015],
[-0.002, -0.008 , 0.001, -0.011 , -0.028],
[-0.006, -0.041 , -0.024, 0.012 , -0.028]]

5 MCC

Информация о сабмите:

Команда:

MERA

Название ML-модели:

davinci-002

Ссылка на ML-модель:

https://platform.openai.com/docs/models/gpt-base

Дополнительные ссылки:

https://github.com/openai/openai-python

Описание архитектуры:

GPT base model from OpenAI. Details are not disclosed.

Описание обучения:

GPT base model from OpenAI. Details are not disclosed.

Данные претрейна:

GPT base model from OpenAI. Details are not disclosed.

Детали обучения:

GPT base model from OpenAI. Details are not disclosed.

Лицензия:

Apache 2.0 license

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - OpenAI 1.10.0 - Tiktoken 0.5.2 - Context length 2049