Отраслевой бенчмарк для современных русскоязычных LLM

Модель, команда

Результат

GPT4.1

0,6541 0,6904 0,6177 0,8577

GigaChat-2-Max

0,64 0,68 0,6 0,8441

Qwen2-7B-Instruct

0,4356 0,4333 0,4379 0,5808

gemma-7b

0,2873 0,2848 0,2999 0,3146

Llama3.1-8b-instruct

0,2634 0,27638 0,2505 0,4863

Mistral-7B-Instruct-v0.1

0,2191 0,2401 0,1982 0,3723

Индустриальная аквакультура	Кормление рыбы и других гидробионтов	Марикультура. Разведение раков, креветок. Искусственное выращивание жемчуга	Ихтиопатология: ветеринария, профилактика и оптимизация технологий рыборазведения	Ботаника	Общее земледелие	Растениеводство	Общая генетика	Основы селекции	Семеноводство и семеноведение	Кормопроизводство и луговодство	Мелиоративное земледелие	Технологии возделывания сельскохозяйственных культур	Системы земледелия на различных агроландшафтах
0,653386	0,667954	0,580508	0,569106	0,757709	0,635036	0,625	0,746154	0,80695	0,683721	0,57037	0,655556	0,705426	0,717949
0,64	0,65	0,58	0,53	0,75	0,67	0,59	0,77	0,72	0,69	0,58	0,61	0,69	0,73
0,498	0,444	0,4195	0,3902	0,3348	0,4197	0,375	0,5	0,4865	0,4186	0,3667	0,4593	0,438	0,5348
0,3506	0,3166	0,2119	0,2805	0,2555	0,2591	0,256	0,2962	0,2741	0,2884	0,237	0,2852	0,3372	0,359
0,3546	0,2625	0,1695	0,2154	0,2291	0,2555	0,1875	0,2923	0,3012	0,2465	0,1741	0,3667	0,2713	0,4396
0,2032	0,251	0,1314	0,2073	0,1674	0,2774	0,2202	0,25	0,3127	0,2279	0,2185	0,2296	0,1783	0,3187

Индустриальная аквакультура	Кормление рыбы и других гидробионтов	Марикультура. Разведение раков, креветок. Искусственное выращивание жемчуга	Ихтиопатология: ветеринария, профилактика и оптимизация технологий рыборазведения
0,653386	0,667954	0,580508	0,569106
0,64	0,65	0,58	0,53
0,498	0,444	0,4195	0,3902
0,3506	0,3166	0,2119	0,2805
0,3546	0,2625	0,1695	0,2154
0,2032	0,251	0,1314	0,2073

Ботаника	Общее земледелие	Растениеводство	Общая генетика	Основы селекции	Семеноводство и семеноведение	Кормопроизводство и луговодство	Мелиоративное земледелие	Технологии возделывания сельскохозяйственных культур	Системы земледелия на различных агроландшафтах
0,757709	0,635036	0,625	0,746154	0,80695	0,683721	0,57037	0,655556	0,705426	0,717949
0,75	0,67	0,59	0,77	0,72	0,69	0,58	0,61	0,69	0,73
0,3348	0,4197	0,375	0,5	0,4865	0,4186	0,3667	0,4593	0,438	0,5348
0,2555	0,2591	0,256	0,2962	0,2741	0,2884	0,237	0,2852	0,3372	0,359
0,2291	0,2555	0,1875	0,2923	0,3012	0,2465	0,1741	0,3667	0,2713	0,4396
0,1674	0,2774	0,2202	0,25	0,3127	0,2279	0,2185	0,2296	0,1783	0,3187

Биохимия	Клиническая лабораторная диагностика	Микробиология	Нормальная физиология	Общая химия	Общая хирургия	Анатомия	Патологическая анатомия	Патофизиология	Биология (паразитология)	Пропедевтика внутренних болезней	Биоорганическая химия	Биофизика	Гигиена	Факультетская хирургия	Гистология	Фармакология
0,914815	0,866667	0,92963	0,940741	0,7	0,814815	0,87037	0,862963	0,87037	0,877778	0,877778	0,82963	0,803704	0,818519	0,851852	0,837037	0,914815
0,91	0,86	0,91	0,94	0,75	0,79	0,83	0,81	0,88	0,86	0,89	0,8	0,76	0,81	0,79	0,85	0,91
0,6074	0,663	0,663	0,6296	0,5074	0,5704	0,4556	0,5519	0,5889	0,6185	0,6111	0,5333	0,5407	0,6037	0,5407	0,5333	0,6556
0,5074	0,5148	0,5815	0,5222	0,4259	0,4963	0,437	0,4926	0,4704	0,5407	0,5296	0,4481	0,3926	0,5259	0,4037	0,4333	0,5444
0,3444	0,4185	0,3926	0,4222	0,3185	0,3778	0,3556	0,363	0,3926	0,3778	0,4037	0,3519	0,3741	0,3815	0,3481	0,3333	0,3741
0,3667	0,3185	0,3481	0,3519	0,2222	0,3074	0,2926	0,2704	0,337	0,3148	0,3667	0,2963	0,2926	0,3037	0,2852	0,3185	0,3556

Смотреть лидерборд

Новый стандарт в отраслевой оценке современных моделей

Быстро, прозрачно, экспертно, на основе лучших индустриальных данных — объективная оценка без лишней сложности

Индустриальные бенчмарки

MERA INDUSTRIAL тестирует глубокие экспертные знания моделей по стандартам каждой отрасли — сравнивайте модели с реальными результатами лидеров рынка

Отраслевая экспертиза

Наши тесты созданы с нуля, с привлечением экспертов ведущих ВУЗов России и адаптированы для ключевых секторов индустрий с учетом их уникальных потребностей

Открытость и прозрачность

MERA INDUSTRIAL дает код, фиксированные параметры запусков и детальные отчеты, помогая глубже понять модели в каждом домене

Партнеры и участники проекта

Комплексная экспертиза  на основе отраслевых стандартов

Подход сочетает количественные метрики и качественный анализ, позволяя выявить отклонения, ограниченность обобщения и потенциальные источники ошибки на разных этапах — от соответствия эталонам до детального анализа сильных и слабых сторон

Задачи с отраслевым фокусом для любого уровня экспертизы

Каталог разнообразных отраслевых задач, проверенных лучшими экспертами и отражающих специфику именно вашей области

Прозрачная методология тестирования генеративных моделей

Ознакомьтесь с подробным описанием методологии создания бенчмарков

Объединяем лидеров для будущего технологий

Альянс в сфере искусственного интеллекта — это уникальная организация, созданная для объединения усилий ведущих технологических компаний, исследователей и экспертов. Наша миссия — ускоренное развитие и внедрение искусственного интеллекта в ключевые сферы: образование, науку и бизнес.

Узнать больше про Альянс

Новости

Смотреть все Все

04 Jun 2025

Альянс в сфере ИИ запустил MERA Industrial: новый стандарт оценки отраслевых LLM для решения бизнес-задач

Альянс в сфере ИИ объявил о запуске нового раздела MERA «MERA Industrial» — уникального бенчмарка для оценки больших языковых моделей (LLM) в различных отраслях.