Датасет Персонажность является набором данных для оценки способности языковых моделей определять соответствие реплик и вопросов одному из заданных персонажей на основе их характера, интересов, речевых особенностей и ограничений. Бенчмарк проверяет умение модели анализировать консистентность ответов, а также определять адресата вопроса для получения наиболее точного ответа и проверять фактологическую корректность, соответствующую области знаний персонажа.
Проверяемые навыки: Persona consistency understanding, Russian language proficiency, Factual correctness validation
Авторы: Денис Шевелев, Александр Астафуров, Александр Харитонов
При разработке генеративных чат-ботов и игровых персонажей критически важной задачей является поддержание консистентности реплик заданной личности. Модели должны не только генерировать грамматически правильные ответы, но и учитывать совокупность характеристик персонажа: его знания, возрастные особенности, речевые паттерны и границы компетенции. Данный датасет позволяет оценить, насколько хорошо языковая модель понимает и может оперировать подобными персонажными ограничениями, что необходимо для создания правдоподобных диалоговых агентов.
Тест не предназначен для проверки экспертного уровня знаний по какому-либо из индустриальных или специализированных направлений (зоологии, ветеринарии, микологии, ботанике, истории кинематографии или зитологии) и предназначен для идентификации и контроля того, насколько модель способна осмысленно держаться качеств и функций персонажа, назначенных инструкцией и условиями задачи.
В датасете представлены четыре персонажа с фиксированными характеристиками:
Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения.
Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений.
Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений.
Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения.
Все персонажи говорят на современном грамотном русском языке. Речевые особенности используются как вторичный признак, основное различие — по тематике знаний и возрастным ограничениям.
Датасет содержит 640 заданий, разделённых на 4 типа:
| Тип | Содержание | Количество |
|---|---|---|
| 1 | С обращением к персонажу: "какой ответ дал бы этот персонаж" | 128 |
| 2 | С обращением к персонажу: "какой ответ ни за что бы не дал этот персонаж" | 128 |
| 3 | Без обращения: "кто из персонажей дал бы наиболее чёткий ответ на этот вопрос" | 192 |
| 4 | Без обращения: "кому точно бессмысленно задавать этот вопрос" | 192 |
Каждый пример в датасете содержит следующие поля:
instruction [str] — строка с формулировкой задания для языковой модели, включающая описание персонажей и вопросinputs — входные данные, формирующие задание:character [str] — описание всех четырёх персонажейquestion [str] — вопрос или репликаoption_a [str] — первый вариант ответаoption_b [str] — второй вариант ответаoption_c [str] — третий вариант ответаoption_d [str] — четвёртый вариант ответаoption_e [str] — пятый вариант ответаoption_f [str] — шестой вариант ответаoutputs [str] — строка, содержащая букву верного ответа (А, Б, В, Г, Д, Е)
В каждом примере используются шесть полей вариантов ответа (–option_a). Неиспользуемые варианты хранятся как пустые строки. В поле option_f содержатся плейсхолдеры только для непустых вариантов: блок «Варианты ответа» включает ровно столько строк, сколько непустых полей instruction есть в конкретном примере (от 4 до 6). В блоке «Формат ответа» явно указано, что буквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е); в каждом примере в этом списке перечислены ровно те буквы, которые соответствуют непустым вариантам.
option_*
meta — метаданные:id [int] — номер примераtype [int] — тип задания (1, 2, 3 или 4){
"instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос или запрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос или запрос будет содержать обращение к одному из персонажей по имени.\n\nЗадание:\nОпредели, какой из предложенных ответов дал бы выбранный персонаж.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
"inputs": {
"character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
"question": "Аля, какой фильм Лантимоса ты любишь больше всего?",
"option_a": "Так сложно выделить что-то одно... \"Виды доброты\" посмотрела уже трижды, пусть будет он.",
"option_b": "Мне очень понравился его последний фильм \"Сентиментальная ценность\" – такой светлый, медитативный...",
"option_c": "Очень люблю \"Лобстера\", всё остальное просто невозможно смотреть.",
"option_d": "Лантимос? Это псевдоним?",
"option_e": "Что ты снова заладил про свои фильмы? Может лучше по пивку?",
"option_f": "Сложно ответить на этот вопрос без предварительного анализа. Мне нужно пересмотреть все фильмы Лантимоса, выделить основные критерии для сравнения и принять решение."
},
"outputs": "А",
"meta": {
"id": 641,
"type": 1
}
}
{
"instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос или запрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос или запрос будет содержать обращение к одному из персонажей по имени.\n\nЗадание:\nОпредели, какой из предложенных ответов выбранный персонаж ни за что бы не дал, учитывая его ограничения и интересы.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву неверного (невозможного) варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
"inputs": {
"character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
"question": "Профессор, как обезопасить сына-подростка от попадания в плохую компанию?",
"option_a": "Ваше поведение в такой ситуации очень важно: повышайте самооценку подростка похвалой в случае побед и поддержкой в случае неудач. Безусловная любовь родителя снизит потребность в поисках признания в дурной компании. Не запрещайте общение с кем-либо напрямую, вместо этого разговаривайте, слушайте, делитесь мыслями. Это поможет сохранить доверие и понимание происходящего в жизни сына, а значит, возможность реагировать на угрозы вовремя.",
"option_b": "Так называемая «плохая компания» привлекает подростка девиантной субкультурой, которая предлагает статус и идентичность, разительно отличающиеся от тех, что сформированы в семье. Родителям следует проактивно интегрировать ребёнка в позитивные социальные структуры, такие как клубы по интересам или волонтёрские организации, тем самым реструктуризировав его социальный граф.",
"option_c": "Безусловно, я могу поделиться с Вами теориями о девиантном поведении, референтных группах, социальной дезадаптации, и с большим удовольствием. Но, полагаю, Вы ищете практических советов, а за ними лучше всего обратиться к подростковому психологу или социальному педагогу.",
"option_d": "Для того, чтобы обезопасить подростка от дурной компании, необходимо перестроить его социальный капитал. Благоприятно влияет интеграция в социальные институты, где одобряемое обществом поведение даёт статус, умеряя тем самым тягу к девиантным субкультурам. Крайне рекомендую обратить своё внимание на труды Эдвина Сазерленда, в них эта тема обстоятельно раскрыта. Также рекомендую изучить описание исследований конформизма, проделанных Соломоном Ашем – это поможет лучше понять механизмы, воздействующие не только на сына, но и на каждого из нас.",
"option_e": "Лучшая защита - это нападение. Отведи его к самым мутным типам, которых знаешь и пусть денек с ними потусуется. Желание отпадет в момент, я тебе гарантирую.",
"option_f": "Посмотрите с ним кино, где показывается, куда может привести плохая компания. Очень советую Дневник баскетболиста на эту тему."
},
"outputs": "А",
"meta": {
"id": 643,
"type": 2
}
}
{
"instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос не содержит обращения ни к одному из персонажей по имени.\n\nЗадание:\nОпредели, можно ли направить этот вопрос кому-то из персонажей, либо вопрос можно направить любому из них, либо же никому.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
"inputs": {
"character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
"question": "Сколько премий «Оскар» получил Марлон Брандо?",
"option_a": "Аля",
"option_b": "Павел",
"option_c": "Профессор",
"option_d": "Хмырь",
"option_e": "Можно отправлять любому персонажу",
"option_f": "Не следует отправлять никому из персонажей"
},
"outputs": "А",
"meta": {
"id": 645,
"type": 3
}
}
{
"instruction": "Контекст:\nТебе будут предложены описания 4 персонажей и вопрос. Описания каждого из четырёх персонажей содержат его имя, спектр его интересов и перечень тем, на вопросы по которым персонаж может или не может отвечать. Вопрос не содержит обращения ни к одному из персонажей по имени.\n\nЗадание:\nОпредели, кому из персонажей точно не следует направлять этот вопрос, либо же не стоит направлять этот вопрос никому из персонажей, либо же его можно направить любому из персонажей.\n\nОписание персонажей:\n{character}\n\nФормат ответа:\nВ качестве решения выведи только одну букву верного варианта.\n\nБуквами ответа могут являться только заглавные буквы русского алфавита из списка (А, Б, В, Г, Д, Е).\n\nВопрос:\n{question}\nВарианты ответа:\nА. {option_a}\nБ. {option_b}\nВ. {option_c}\nГ. {option_d}\nД. {option_e}\nЕ. {option_f}\n\nОтвет:",
"inputs": {
"character": "1) Аля, 25 лет. Киноманка. Хорошо разбирается в отечественном и зарубежном кино. Осваивала мир по фильмам, поэтому склонна к специфическим ошибкам, так как нередко воспринимает показанное в каком-то фильме как правду: если в кино делают прямой укол в сердце, она уверена, что и в жизни в подобных ситуациях поступают так же. Не отвечает на вопросы, заданные невежливо, отстаивает свои границы. В речи вежлива, корректна. Избегает конфликтов и острых суждений. Знает фильмы, снятые до её рождения. 2) Хмырь, 36 лет. Шутник и ёрник, отвечает на любые вопросы, часто неправильно, потому что разбирается только в вопросах самообороны, сортах пива и спортивных играх. Но никогда не признаётся, что в чём-то не разбирается, его ответам верить нельзя. Может говорить чуть более ёмко, чем другие, но только когда дело касается не интересующих его областей (там его не остановить). Не избегает конфликтных и острых суждений. 3) Профессор Чумкин, 58 лет. Всесторонне образован, хотя порой немножко зануден. Доктор социологии и специалист по естественным наукам. На вопросы вне своей специализации не отвечает. Вежлив, корректен, недогматичен. Фразы могут быть более распространёнными, чем у остальных, могут проскальзывать “профессорские” вводные конструкции. Избегает конфликтных и острых суждений. 4) Павел, 19 лет. Ветеринар. Завзятый кошатник и собачник. Знает очень много о животных (и о растениях: ведь их едят и ими лечатся животные!). Может поддержать диалог на любую тему, но при этом не будет отвечать на вопросы вне своей специализации. Не избегает резких суждений, но воспитан. Не смотрит и не знает фильмов, снятых до его рождения. Все персонажи говорят на современном грамотном русском языке.",
"question": "Какой тип мужских брюк и джинсов чаще всего осуждают девушки в современных соцсетях?",
"option_a": "Аля",
"option_b": "Павел",
"option_c": "Профессор",
"option_d": "Хмырь",
"option_e": "Можно отправлять любому персонажу",
"option_f": "Не следует отправлять никому из персонажей"
},
"outputs": "В",
"meta": {
"id": 647,
"type": 4
}
}
Для задачи подготовлено 20 промптов, по 5 промптов на каждый из 4 типов заданий. Они распределены равномерно по примерам по принципу «один пример — один промпт» внутри каждого типа. Для каждого примера промпт адаптируется под число непустых вариантов ответа: в блоке «Варианты ответа» остаются только соответствующие строки, а в блоке «Формат ответа» перечисляется сокращённый список допустимых букв. Плейсхолдеры в фигурных скобках заполняются из полей внутри для каждого вопроса. В каждом шаблоне промпта обращение к модели согласовано по стилю (на «ты» или на «вы»).
inputs
Изначально были подготовлены описания четырех персонажей, таким образом, чтобы среди них были представители разных возрастных и гендерных групп, имеющие характерные поведенческие черты, но в чем-то и сходные друг с другом. На основе этих описаний эксперты-разметчики составили вопросы и ответы к ним. Общее число заданий — 640: 128 заданий типа 1, 128 заданий типа 2, 192 задания типа 3 и 192 задания типа 4. Один и тот же вопрос может повторяться не более 6 раз (по 1 разу на каждого персонажа для типов 1-2 и по 1 разу для типов 3-4). Все задания сформулированы как выбор правильного ответа из числа заданных опций.
Для агрегированной оценки ответов моделей используются следующие метрики: