Mixtral 8x7B Instruct

Russian_NLP Создан 03.02.2024 13:28

0.478

Общий результат

Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача	Результат	Метрика
LCS	0.082	Accuracy
RCB	0.521 / 0.48	Accuracy F1 macro
USE	0.069	Grade norm
RWSD	0.635	Accuracy
PARus	0.858	Accuracy
ruTiE	0.695	Accuracy
MultiQ	0.151 / 0.071	F1 Exact match
CheGeKa	0.071 / 0	F1 Exact match
ruModAr	0.674	Exact match
ruMultiAr	0.288	Exact match
MathLogicQA	0.408	Accuracy
ruWorldTree	0.907 / 0.907	Accuracy F1 macro
ruOpenBookQA	0.825 / 0.825	Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача

Результат

Метрика

BPS

0.157

Accuracy

ruMMLU

0.776

Accuracy

SimpleAr

0.977

Exact match

ruHumanEval

0.024 / 0.122 / 0.244

Pass@k

ruHHH

0.747

ruHateSpeech

0.785

ruDetox

0.068

ruEthics

	Правильно	Хорошо	Этично
Добродетель	-0.352	-0.459	-0.472
Закон	-0.409	-0.45	-0.484
Мораль	-0.387	-0.49	-0.496
Справедливость	-0.349	-0.397	-0.439
Утилитаризм	-0.312	-0.362	-0.39

Информация о сабмите:

Версия MERA

Версия Torch

Версия кодовой базы

Версия CUDA

Precision весов модели

Сид

Батч

Версия transformers

Количество GPU и их тип

Архитектура

Команда:

Russian_NLP

Название ML-модели:

Mixtral 8x7B Instruct

Ссылка на ML-модель:

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

Дополнительные ссылки:

https://mistral.ai/news/mixtral-of-experts/ https://huggingface.co/mistralai/Mixtral-8x7B-v0.1

Описание архитектуры:

Mixtral 8x7B Instruct is the instructed version of Mixtral 8x7B. This model has been optimized through supervised fine-tuning and direct preference optimisation (DPO) for careful instruction following.

Описание обучения:

Mixtral is pre-trained on data extracted from the open Web – we train experts and routers simultaneously. The model has been optimized through supervised fine-tuning and direct preference optimisation (DPO) for careful instruction following.

Данные претрейна:

The Mixtral-8x7B Large Language Model (LLM) is a pretrained generative Sparse Mixture of Experts. The Mistral-8x7B outperforms Llama 2 70B on most benchmarks.

Детали обучения:

Лицензия:

Apache 2.0.

Стратегия, генерация и параметры:

Code version v.1.1.0 All the parameters were not changed and are used as prepared by the organizers. Details: - 2 x NVIDIA A100 + accelerate - dtype bfloat16 - Pytorch 2.0.1 + CUDA 11.7 - Transformers 4.36.2 - Context length 10624

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность

Модель, команда	Честность	Помощь	Безопасность
Mixtral 8x7B Instruct Russian_NLP	0.656	0.729	0.862

Модель, команда	Анатомия	Вирусология	Астрономия	Маркетинг	Нутрициология	Социология	Менеджмент	Философия	История древнего мира	Геронтология	Эконометрика	Формальная логика	Факторы глобального значения	Юриспунденция	Микс (разнообразный домен)	Мораль	Бизнес-этика	Биология (школьная)	Физика (школьная)	Человеческая сексуальность	Моральные сценарии	Мировые религии	Общая алгебра	Медицина (школьная)	Машинное обучение	Генетика	Профессиональное законодательство	PR	Безопасность	Химия (школьная)	Компьютерная безопасность	Международное право	Логические ошибки	Политика	Клинические знания	Концептуальная физика	Математика (школьная)	Биология (университетская)	Физика (университетская)	Химия (университетская)	География (университетская)	Профессиональная медицина	Электротехника	Элементарная математика	Психология (университетская)	Статистика (университетская)	История (университетская)	Математика (университетская)	Бухгалтерский учет	Профессиональная психология	Компьютерные науки (уровень колледжа)	Мировая история (университетская)	Макроэкономика	Микроэкономика	Компьютерные науки (университетские)	История европы	Государство и политика
Mixtral 8x7B Instruct Russian_NLP	0.8	0.75	0.9	0.714	0.905	1	0.8	0.765	0.8	0.9	0.818	0.7	0.5	0.577	0.455	0.7	0.7	0.667	0.8	1	0.4	0.904	1	0.804	0.7	0.909	0.75	0.857	1	0.909	0.5	0.889	0.6	0.8	0.727	0.9	0.7	0.81	0.6	0.9	0.861	0.9	0.8	0.8	0.938	0.6	1	0.8	0.5	0.9	0.682	0.875	0.882	0.733	0.5	0.667	0.778

Модель, команда	SIM	FL	STA
Mixtral 8x7B Instruct Russian_NLP	0.403	0.733	0.193

Правильно

Хорошо

Этично

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Mixtral 8x7B Instruct Russian_NLP	-0.352	-0.409	-0.387	-0.349	-0.312

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Mixtral 8x7B Instruct Russian_NLP	-0.459	-0.45	-0.49	-0.397	-0.362

Модель, команда	Добродетель	Закон	Мораль	Справедливость	Утилитаризм
Mixtral 8x7B Instruct Russian_NLP	-0.472	-0.484	-0.496	-0.439	-0.39

Модель, команда	Женщины	Мужчины	ЛГБТ	Национальности	Мигранты	Другое
Mixtral 8x7B Instruct Russian_NLP	0.787	0.771	0.588	0.811	0.571	0.852

Mixtral 8x7B Instruct

Оценки по задачам лидерборда

Оценка на открытых задачах:

Информация о сабмите:

Команда:

Название ML-модели:

Ссылка на ML-модель:

Дополнительные ссылки:

Описание архитектуры:

Описание обучения:

Данные претрейна:

Детали обучения:

Лицензия:

Стратегия, генерация и параметры:

Оценки по подкатегориям

Подтвердите удаление сабмита