RU EN
Вернуться на лидерборд

Phi-3-mini-4k-instruct

BODBE LLM Создан 08.05.2024 13:28
0.387
Общий результат
Сабмит содержит не все обязательные задачи

Оценки по задачам лидерборда

Таблица скроллится влево

Задача Результат Метрика
LCS 0.086 Accuracy
RCB 0.511 / 0.425 Accuracy F1 macro
USE 0.052 Grade norm
RWSD 0.496 Accuracy
PARus 0.672 Accuracy
ruTiE 0.551 Accuracy
MultiQ 0.103 / 0.003 F1 Exact match
CheGeKa 0.005 / 0 F1 Exact match
ruModAr 0.49 Exact match
ruMultiAr 0.271 Exact match
MathLogicQA 0.391 Accuracy
ruWorldTree 0.621 / 0.62 Accuracy F1 macro
ruOpenBookQA 0.558 / 0.558 Accuracy F1 macro

Оценка на открытых задачах:

Перейти к оценкам по подкатегориям

Таблица скроллится влево

Задача Результат Метрика
BPS 0.381 Accuracy
ruMMLU 0.478 Accuracy
SimpleAr 0.91 Exact match
ruHumanEval 0.02 / 0.101 / 0.201 Pass@k
ruHHH 0.539
ruHateSpeech 0.638
ruDetox 0.05
ruEthics
Правильно Хорошо Этично
Добродетель -0.119 -0.147 -0.006
Закон -0.124 -0.174 -0.004
Мораль -0.139 -0.161 -0.014
Справедливость -0.111 -0.155 0.044
Утилитаризм -0.087 -0.128 -0.002

Информация о сабмите:

Версия MERA
-
Версия Torch
-
Версия кодовой базы
-
Версия CUDA
-
Precision весов модели
-
Сид
-
Батч
-
Версия transformers
-
Количество GPU и их тип
-
Архитектура
-

Команда:

BODBE LLM

Название ML-модели:

Phi-3-mini-4k-instruct

Ссылка на ML-модель:

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct

Описание архитектуры:

Phi-3 Mini-4K-Instruct имеет 3.8 миллиарда параметров и является dense моделью трансформера только с декодером.

Описание обучения:

Модель дообучена с помощью SFT и DPO для обеспечения соответствия человеческим предпочтениям и рекомендациям по безопасности.

Данные претрейна:

Набор данных для обучения включает в себя широкий спектр источников, общим объемом 3.3 триллиона токенов, и представляет собой комбинацию: Общедоступных документов, строго отфильтрованных по качеству, включая высококачественные образовательные данные и код; Новые синтетические данные, созданные в "учебно-пособийном" стиле для обучения математике, программированию, рассуждению на общеязыковом уровне (общие знания о мире, науке, повседневной жизни, теории разума и т. д.); Высококачественные чат-данные, охватывающие различные темы, чтобы отражать человеческие предпочтения по различным аспектам, таким как следование инструкциям, правдивость, честность и полезность.

Детали обучения:

GPUs: 512 H100-80G Training time: 7 days Training data: 3.3T tokens

Лицензия:

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct/blob/main/LICENSE

Стратегия, генерация и параметры:

PyTorch version: 2.2.1+CUDA 12.1 Transformers: 4.40.1 lm-harness: v1.1.0 GPU: NVIDIA A100-SXM4-80GB

Развернуть информацию

Оценки по подкатегориям

Метрика: Точность
Модель, команда Честность Помощь Безопасность
Phi-3-mini-4k-instruct
BODBE LLM 		0.492 0.559 0.569
Модель, команда Анатомия Вирусология Астрономия Маркетинг Нутрициология Социология Менеджмент Философия История древнего мира Геронтология Эконометрика Формальная логика Факторы глобального значения Юриспунденция Микс (разнообразный домен) Мораль Бизнес-этика Биология (школьная) Физика (школьная) Человеческая сексуальность Моральные сценарии Мировые религии Общая алгебра Медицина (школьная) Машинное обучение Генетика Профессиональное законодательство PR Безопасность Химия (школьная) Компьютерная безопасность Международное право Логические ошибки Политика Клинические знания Концептуальная физика Математика (школьная) Биология (университетская) Физика (университетская) Химия (университетская) География (университетская) Профессиональная медицина Электротехника Элементарная математика Психология (университетская) Статистика (университетская) История (университетская) Математика (университетская) Бухгалтерский учет Профессиональная психология Компьютерные науки (уровень колледжа) Мировая история (университетская) Макроэкономика Микроэкономика Компьютерные науки (университетские) История европы Государство и политика
Phi-3-mini-4k-instruct
BODBE LLM 		0.3 0.625 0.4 0.514 0.429 0.5 0.533 0.471 0.7 0.6 0.636 0.2 0.2 0.385 0.227 0.5 0.6 0.333 0.5 0.9 0.3 0.327 0.4 0.373 0.5 0.636 0.688 0.429 0.8 0.273 0.4 0.5 0.5 0.4 0.636 0.4 0.6 0.571 0.3 0.4 0.468 0.4 0.8 0.6 0.563 0.8 0.4 0.5 0.7 0.9 0.455 0.5 0.588 0.6 0.417 0.333 0.556
Модель, команда SIM FL STA
Phi-3-mini-4k-instruct
BODBE LLM 		0.236 0.541 0.218
Правильно
Хорошо
Этично
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Phi-3-mini-4k-instruct
BODBE LLM 		-0.119 -0.124 -0.139 -0.111 -0.087
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Phi-3-mini-4k-instruct
BODBE LLM 		-0.147 -0.174 -0.161 -0.155 -0.128
Модель, команда Добродетель Закон Мораль Справедливость Утилитаризм
Phi-3-mini-4k-instruct
BODBE LLM 		-0.006 -0.004 -0.014 0.044 -0.002
Модель, команда Женщины Мужчины ЛГБТ Национальности Мигранты Другое
Phi-3-mini-4k-instruct
BODBE LLM 		0.63 0.743 0.647 0.649 0.286 0.623

Пользовательское соглашение

Мы используем файлы cookies для хранения данных. Продолжая использовать сайт, вы даете согласие на работу с этими файлами