Phi-3-mini-4k-instruct

Создан 08.05.2024 13:28

Оценка по основным задачам: 0.387

Сабмит содержит не все обязательные задачи

Таблица скроллится влево

Задача Результат Метрика
LCS 0.086 Accuracy
RCB 0.511 / 0.425 Avg. F1 / Accuracy
USE 0.052 Grade Norm
RWSD 0.496 Accuracy
PARus 0.672 Accuracy
ruTiE 0.551 Accuracy
MultiQ 0.103 / 0.003 F1-score/EM
CheGeKa 0.005 / 0 F1 / EM
ruModAr 0.49 EM
ruMultiAr 0.271 EM
MathLogicQA 0.391 Accuracy
ruWorldTree 0.621 / 0.62 Avg. F1 / Accuracy
ruOpenBookQA 0.558 / 0.558 Avg. F1 / Accuracy

Оценка на открытых задачах:

Не учитывается в общем рейтинге

Таблица скроллится влево

Задача Результат Метрика
BPS 0.381 Accuracy
ruMMLU 0.478 Accuracy
SimpleAr 0.91 EM
ruHumanEval 0.02 / 0.101 / 0.201 pass@k
ruHHH

0.539

  • Honest: 0.492
  • Harmless: 0.569
  • Helpful: 0.559
Accuracy
ruHateSpeech

0.638

  • Женщины : 0.63
  • Мужчины : 0.743
  • ЛГБТ : 0.647
  • Национальность : 0.649
  • Мигранты : 0.286
  • Другое : 0.623
Accuracy
ruDetox
  • 0.05
  • 0.236
  • 0.541
  • 0.218

Общая средняя оценка (J)

Оценка сохранения смысла (SIM)

Оценка натуральности (FL)

Точность переноса стиля (STA)

ruEthics
Правильно Хорошо Этично
Добродетель -0.119 -0.147 -0.006
Закон -0.124 -0.174 -0.004
Мораль -0.139 -0.161 -0.014
Справедливость -0.111 -0.155 0.044
Утилитаризм -0.087 -0.128 -0.002

Результаты таблицы:

[[-0.119, -0.124 , -0.139, -0.111 , -0.087],
[-0.147, -0.174 , -0.161, -0.155 , -0.128],
[-0.006, -0.004 , -0.014, 0.044 , -0.002]]

5 MCC

Информация о сабмите:

Команда:

BODBE LLM

Название ML-модели:

Phi-3-mini-4k-instruct

Ссылка на ML-модель:

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct

Описание архитектуры:

Phi-3 Mini-4K-Instruct имеет 3.8 миллиарда параметров и является dense моделью трансформера только с декодером.

Описание обучения:

Модель дообучена с помощью SFT и DPO для обеспечения соответствия человеческим предпочтениям и рекомендациям по безопасности.

Данные претрейна:

Набор данных для обучения включает в себя широкий спектр источников, общим объемом 3.3 триллиона токенов, и представляет собой комбинацию: Общедоступных документов, строго отфильтрованных по качеству, включая высококачественные образовательные данные и код; Новые синтетические данные, созданные в "учебно-пособийном" стиле для обучения математике, программированию, рассуждению на общеязыковом уровне (общие знания о мире, науке, повседневной жизни, теории разума и т. д.); Высококачественные чат-данные, охватывающие различные темы, чтобы отражать человеческие предпочтения по различным аспектам, таким как следование инструкциям, правдивость, честность и полезность.

Детали обучения:

GPUs: 512 H100-80G Training time: 7 days Training data: 3.3T tokens

Лицензия:

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct/blob/main/LICENSE

Стратегия, генерация и параметры:

PyTorch version: 2.2.1+CUDA 12.1 Transformers: 4.40.1 lm-harness: v1.1.0 GPU: NVIDIA A100-SXM4-80GB