Yi 34B 200K

LM Research Создан 03.02.2024 14:05

0.455

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.108	Accuracy
RCB	0.498 / 0.402	Accuracy F1 macro
USE	0.049	Grade norm
RWSD	0.562	Accuracy
PARus	0.74	Accuracy
ruTiE	0.602	Accuracy
MultiQ	0.185 / 0.107	F1 Exact match
CheGeKa	0.01 / 0	F1 Exact match
ruModAr	0.635	Exact match
ruMultiAr	0.277	Exact match
MathLogicQA	0.473	Accuracy
ruWorldTree	0.838 / 0.838	Accuracy F1 macro
ruOpenBookQA	0.748 / 0.746	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.426

Accuracy

ruMMLU

0.676

Accuracy

SimpleAr

0.981

Exact match

ruHumanEval

0.004 / 0.021 / 0.043

Pass@k

ruHHH

0.601

ruHateSpeech

0.626

ruDetox

0.161

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.12	-0.199	-0.161
Закон	-0.113	-0.144	-0.145
Мораль	-0.108	-0.164	-0.132
Справедливость	-0.125	-0.153	-0.159
Утилитаризм	-0.082	-0.154	-0.113

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

LM Research

Название ML-модели:

Yi 34B 200K

Ссылка на ML-модель:

https://huggingface.co/01-ai/Yi-34B-200K

Дополнительные ссылки:

https://github.com/01-ai/Yi

Описание архитектуры:

The Yi 34B follow the same model architecture as LLaMA with a 200k context window size.

Описание обучения:

Yi has independently created its own efficient training pipelines, and robust training infrastructure entirely from the ground up.

Данные претрейна:

Trained on 3T multilingual corpus.

Детали обучения:

Yi has independently created its own high-quality training datasets, efficient training pipelines, and robust training infrastructure entirely from the ground up.

Лицензия:

Apache 2.0 license

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 2 x NVIDIA A100 - dtype float16 - Pytorch 2.1.2 + CUDA 12.1 - Transformers 4.36.2 - Context length 11000

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
Yi 34B 200K LM Research	0.607	0.61	0.586

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Yi 34B 200K LM Research	0.6	0.688	0.7	0.686	0.667	0.9	0.733	0.588	0.4	0.7	0.818	0.7	0.6	0.615	0.545	0.5	0.6	0.593	0.6	1	0.3	0.712	0.9	0.627	0.7	0.545	0.75	0.714	1	0.545	0.6	0.778	0.5	0.8	0.636	0.8	0.8	0.762	0.6	0.4	0.684	0.7	0.9	0.9	0.875	0.5	0.9	0.5	0.5	0.9	0.773	0.688	0.765	0.867	0.625	0.424	0.667

Модель, команда	SIM	FL	STA
Yi 34B 200K LM Research	0.433	0.636	0.379

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Yi 34B 200K LM Research	-0.12	-0.113	-0.108	-0.125	-0.082

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Yi 34B 200K LM Research	-0.199	-0.144	-0.164	-0.153	-0.154

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Yi 34B 200K LM Research	-0.161	-0.145	-0.132	-0.159	-0.113

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Yi 34B 200K LM Research	0.657	0.629	0.706	0.703	0.429	0.525

Yi 34B 200K

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита