Проблемы оценки моделей сейчас:
Отсутствует способ независимого, единого, экспертного сравнения русскоязычных моделей
Каждый создатель модели оценивает решение в собственных локальных условиях, на своих метриках и нет воспроизводимости результатов
Предыдущие поколения бенчмарков (т.к. RussianSuperGLUE и TAPE) устаревают, новые модели работают инструктивно, есть тенденция к появлению новых модальностей
Что дает данный проект?
Единая площадка для рейтинга моделей, и отражения способностей моделей по доменам/задачам/модальностям.
Формирование реального образа способностей технологий ИИ и их возможностей.
Описание задач, которые сложны даже для человека, не только машин и замеры относительно способностей человека.
Информационный портал и площадка для исследований в области больших языковых моделей.
Участники проекта:
SberDevices
SberDevices — компания полного цикла, от идей до готовых устройств. В компании большая экспертиза в речевых технологиях, алгоритмах компьютерного зрения, системах биометрии, моделях для генерации медиаконтента и даже нейроинтерфейсах. Среди разработок — большая языковая модель GigaChat. Команды SberDevices являются также одними из создателей таких популярных бенчмарков как Russian SuperGLUE, TAPE, RuCoLa.
Sber AI
Sber AI — подразделение, которое специализируется на применении искусственного интеллекта в Сбере, а также его использовании в разных нефинансовых сферах, например, медицине, менеджменте и юриспруденции. Флагманской разработкой команды является нейросеть Kandinsky.
МТС ИИ
МТС ИИ — дочерняя структура ПАО «МТС», один из лидеров в области искусственного интеллекта в России. Разработки МТС ИИ находят свое применение в различных сферах: от банков и телекома до медицины, промышленности и онлайн-кинотеатров. Коллеги работают над продуктами на основе компьютерного зрения технологий обработки естественного языка и генеративного ИИ. Среди проектов коллег: TenVision, Audiogram, WordPulse и многие другие.
Skoltech (AI Center)
Сколковский институт науки и технологий был основан в 2011 году в сотрудничестве с Массачусетским технологическим институтом как один из ведущих международных научно-технологических институтов. Миссия SKOLTECH AI состоит в том, чтобы создавать, изучать и распространять технологии преобразующего искусственного интеллекта (ИИ). Проводятся исследования для решения проблем с искусственным интеллектом, разрабатывать современные вычислительные алгоритмы и технологии ИИ, создавать прототипы продуктов, основанных на ИИ.
НИУ ВШЭ
Национальный исследовательский университет «Высшая школа экономики» — исследовательский университет, осуществляющий свою миссию через научно-образовательную, проектную, экспертно-аналитическую и социокультурную деятельности на основе международных научных и организационных стандартов. НИУ ВШЭ активно занимается исследованиями искусственного интеллекта, сотрудничает с международными лабораториями и индустрией, имеет свой Центр ИИ. Один из партнеров и организаторов проекта Russian SuperGLUE.
AIRI
Научно-исследовательский институт AIRI — это самая крупная в России автономная некоммерческая организация, которая занимается фундаментальными и прикладными исследованиями в области искусственного интеллекта. Миссия AIRI — создание универсальных систем искусственного интеллекта, решающих задачи реального мира. В работе над своими проектами научные сотрудники института стремятся получить прорывные результаты в области искусственного интеллекта и его приложений, участвуя в формировании глобальной исследовательской повестки.
