RU EN
Вернуться на лидерборд

Yi-6B

MERA Создан 12.01.2024 14:21
0.354
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.112 Accuracy
RCB 0.333 / 0.167 Accuracy F1 macro
USE 0.023 Grade norm
RWSD 0.496 Accuracy
PARus 0.514 Accuracy
ruTiE 0.505 Accuracy
MultiQ 0.079 / 0.051 F1 Exact match
CheGeKa 0.008 / 0 F1 Exact match
ruModAr 0.416 Exact match
ruMultiAr 0.189 Exact match
MathLogicQA 0.382 Accuracy
ruWorldTree 0.541 / 0.542 Accuracy F1 macro
ruOpenBookQA 0.59 / 0.588 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.469 Accuracy
ruMMLU 0.487 Accuracy
SimpleAr 0.951 Exact match
ruHumanEval 0.003 / 0.015 / 0.03 Pass@k
ruHHH 0.483
ruHateSpeech 0.562
ruDetox 0.134
ruEthics
Правильно Хорошо Этично
Добродетель 0 0 0
Закон 0 0 0
Мораль 0 0 0
Справедливость 0 0 0
Утилитаризм 0 0 0

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

MERA

Название ML-модели:

Yi-6B

Ссылка на ML-модель:

https://huggingface.co/01-ai/Yi-6B

Дополнительные ссылки:

https://github.com/01-ai/Yi

Описание архитектуры:

The Yi series models follow the same model architecture as LLaMA. Up to 200k context window.

Описание обучения:

-

Данные претрейна:

Trained on 3T multilingual corpus.

Детали обучения:

-

Лицензия:

Apache 2.0 license

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 1 x NVIDIA A100 - dtype auto - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 4096

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Yi-6B
MERA 		0.492 0.475 0.483
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Yi-6B
MERA 		0.6 0.625 0.3 0.514 0.524 0.7 0.733 0.353 0.6 0.6 0.455 0.5 0.3 0.462 0.318 0.3 0.7 0.481 0.3 0.9 0.3 0.423 0.4 0.353 0.3 0.455 0.625 0.714 0.9 0.273 0.7 0.556 0.4 0.4 0.455 0.3 0.5 0.476 0.3 0.3 0.418 0.4 0.4 0.5 0.688 0.8 0.7 0.2 0.6 0.5 0.773 0.563 0.735 0.6 0.333 0.242 0.556
Модель, команда SIM FL STA
Yi-6B
MERA 		0.372 0.558 0.365
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Yi-6B
MERA 		0 0 0 0 0
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Yi-6B
MERA 		0 0 0 0 0
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Yi-6B
MERA 		0 0 0 0 0
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Yi-6B
MERA 		0.556 0.714 0.588 0.595 0.286 0.492

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами