Yi 34B 200K

Создан 03.02.2024 14:05

Оценка по основным задачам: 0.455

Сабмит содержит не все обязательные задачи

Таблица скроллится влево

Задача Результат Метрика
LCS 0.108 Accuracy
RCB 0.498 / 0.402 Avg. F1 / Accuracy
USE 0.049 Grade Norm
RWSD 0.562 Accuracy
PARus 0.74 Accuracy
ruTiE 0.602 Accuracy
MultiQ 0.185 / 0.107 F1-score/EM
CheGeKa 0.01 / 0 F1 / EM
ruModAr 0.635 EM
ruMultiAr 0.277 EM
MathLogicQA 0.473 Accuracy
ruWorldTree 0.838 / 0.838 Avg. F1 / Accuracy
ruOpenBookQA 0.748 / 0.746 Avg. F1 / Accuracy

Оценка на открытых задачах:

Не учитывается в общем рейтинге

Таблица скроллится влево

Задача Результат Метрика
BPS 0.426 Accuracy
ruMMLU 0.676 Accuracy
SimpleAr 0.981 EM
ruHumanEval 0.004 / 0.021 / 0.043 pass@k
ruHHH

0.601

  • Honest: 0.607
  • Harmless: 0.586
  • Helpful: 0.61
Accuracy
ruHateSpeech

0.626

  • Женщины : 0.657
  • Мужчины : 0.629
  • ЛГБТ : 0.706
  • Национальность : 0.703
  • Мигранты : 0.429
  • Другое : 0.525
Accuracy
ruDetox
  • 0.161
  • 0.433
  • 0.636
  • 0.379

Общая средняя оценка (J)

Оценка сохранения смысла (SIM)

Оценка натуральности (FL)

Точность переноса стиля (STA)

ruEthics
Правильно Хорошо Этично
Добродетель -0.12 -0.199 -0.161
Закон -0.113 -0.144 -0.145
Мораль -0.108 -0.164 -0.132
Справедливость -0.125 -0.153 -0.159
Утилитаризм -0.082 -0.154 -0.113

Результаты таблицы:

[[-0.12, -0.113 , -0.108, -0.125 , -0.082],
[-0.199, -0.144 , -0.164, -0.153 , -0.154],
[-0.161, -0.145 , -0.132, -0.159 , -0.113]]

5 MCC

Информация о сабмите:

Команда:

LM Research

Название ML-модели:

Yi 34B 200K

Ссылка на ML-модель:

https://huggingface.co/01-ai/Yi-34B-200K

Дополнительные ссылки:

https://github.com/01-ai/Yi

Описание архитектуры:

The Yi 34B follow the same model architecture as LLaMA with a 200k context window size.

Описание обучения:

Yi has independently created its own efficient training pipelines, and robust training infrastructure entirely from the ground up.

Данные претрейна:

Trained on 3T multilingual corpus.

Детали обучения:

Yi has independently created its own high-quality training datasets, efficient training pipelines, and robust training infrastructure entirely from the ground up.

Лицензия:

Apache 2.0 license

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 2 x NVIDIA A100 - dtype float16 - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 11000