Дети активно исследуют мир: они охотно пользуются виртуальными ассистентами и задают вопросы на самые разные темы. Однако ребёнок не всегда в состоянии оценить, что может ему навредить, а что нет. Давать безопасные ответы детям — важный навык ИИ, но он есть не у всех виртуальных помощников. СберКот, появившийся в 2024 году в приложении СберKids, умеет «вычислять» опасные вопросы и отвечать на них так, чтобы ребёнок остался в безопасности и при этом ощутил дружескую поддержку.
Рассказываем, как был разработан и усовершенствован уникальный для российского рынка гибкий детский цензор. window.yaContextCb.push (()=> { Ya.adfoxCode.create ({ ownerId: 11645720, containerId: 'adfox_175191633311772254', params: { pp: 'g', ps: 'iorl', p2: 'jnlo', puid1: '', puid2: '' } }) }) window.yaContextCb.push (()=> { Ya.adfoxCode.create ({ ownerId: 11645720, containerId: 'adfox_175191639497112254', params: { pp: 'g', ps: 'iorl', p2: 'jnlp', puid1: '', puid2: '' } }) }) Виртуальные помощники очень нравятся детям, потому что позволяют быстро и легко находить ответы на разные темы, свободно задавать вопросы, которые не всегда хочется обсуждать с родителями. Также с ними проще изучать возможности новых технологий, развивать цифровые навыки. И, наконец, в лице ассистента ребёнок обретает друга или наставника, готового поддержать в сложных ситуациях. Однако у родителей нередко возникают опасения:Искусственный интеллект — это не человек. Даже самые хорошие алгоритмы могут дать сбой, что может быть опасно для ребёнка. Дети могут задавать ИИ опасные вопросы, а тот — непреднамеренно поддерживать рискованное поведение. Ребёнок ещё не умеет критически воспринимать информацию и «фильтровать» потенциально опасные рекомендации. К примеру, в этом году в Европе разгорелся скандал: игрушки на базе искусственного интеллекта отвечали на вопросы о том, как находить ножи на кухне и разжигать огонь спичками. Как создатели СберКота минимизируют риски Понимая серьёзность подобных потенциальных проблем, разработчики СберКота поставили перед собой задачу: создать цензора, который будет ограждать ребёнка от нежелательного контента. Прежде всего нужно было обеспечить максимальную безопасность ответов для детей. Однако первоначальный цензор не был достаточно адаптивным, чтобы сохранить доверие: если ребёнок задавал вопрос на опасные темы, СберКот вовсе не отвечал. Многие дети теряли интерес к беседе и выходили из приложения. Помощника нужно было улучшить — так, чтобы он оставался безопасным и при этом был полезным и интересным для детей. Чтобы понять, как этого добиться, Сбер и Лаборатория нейронаук и поведения человека провели совместное исследование. Что показало исследование Специалисты проанализировали ответы родителей на чувствительные темы в общении со СберКотом, изучили реакции мам и пап на разные подходы: ответ с использованием специальных знаний — т. е. тех, которыми обладают специалисты в разных областях (психологи, педагоги, учёные, спасатели и пр.);рекомендация обратиться к родителям;прямое обсуждение проблемы;уход от вопроса;отказ от ответа и переход на нейтральную тему. Наиболее желательным большинство респондентов признало «ответ с использованием специальных знаний — как ответил бы психолог». Например, среди ответов на вопросы, связанные с семейными конфликтами («хочу уйти из дома», «почему меня наказывают»), родители назвали предпочтительными ответы с использованием специальных знаний. Комментарий психолога, который проводил исследование: «Важно помочь ребёнку осознать свои чувства, а также сформировать реалистичные представления и ожидания о дружбе и любви. Ассистент может деликатно подсказывать, как строить уважительные взаимоотношения». То же касается и болезненной темы школьного буллинга. Запросы «Почему меня дразнят одноклассники?» и «Со мной никто не дружит» требуют бережного и поддерживающего подхода. Ассистент может стать первой точкой опоры: выслушать, задать мягкие уточняющие вопросы, помочь ребёнку разобраться в происходящем. Поэтому здесь тоже нужны ответы «виртуального психолога». На запросы, связанные с потенциальной опасностью, например «Как выполнять крутые трюки на самокате?», наиболее популярным был признан вариант «ответ и предупреждение о предосторожности». Психолог поясняет: «Ответ должен быть убедительным, но не пугающим: чётким, серьёзным и предостерегающим. Задача — не просто удержать ребёнка от опасного действия, но и помочь ему задуматься о последствии таких действий». Наименее популярным вариантом стал «отказ от ответа и переход на нейтральную тему». Однако по-прежнему остаются темы, на которые СберКот не готов говорить. Например, если ребёнок спрашивает, как изготовить взрывчатое вещество или как стать зацепером. В этом случае виртуальный ассистент в дружелюбной манере предлагает выбрать другую тему для разговора. Ключевые выводы экспертов:Большинство родителей предпочитает детальное и аккуратное обсуждение проблем. Безопасность должна сочетаться с эмпатичным подходом. Важен дружелюбный тон общения, соответствующий возрасту ребёнка. Необходимо избегать чрезмерной формальности в ответах. Лучше отвечать уклончиво, отвлекая внимание ребёнка, чем просто отказываться обсуждать какую-либо тему. Как улучшали СберКота Разработчики СберKids учли рекомендации психологов и создали новый подход к обучению ассистента:Гибкое управление запретами — теперь ассистент аккуратно переключает внимание с потенциально опасных тем. Повышение качества ответов — даются глубокие и полезные пояснения на значимые вопросы. Улучшенная реакция на стрессовые ситуации — ассистент проявляет сочувствие и даёт практические советы. Развитие в сторону гибкого цензора происходило за счёт:более тонкой настройки базового жёсткого фильтра;дообучения SFT — как безопасно отвечать на чувствительные и потенциально острые вопросы;учёта рекомендаций в системном промпте СберКота. Теперь он меньше уходит от ответов, а больше объясняет, как быть в разных опасных ситуациях, куда обратиться, или рассказывает, к чему может привести рискованное поведение. Как СберКот отвечает на популярные детские запросы — Крутые трюки на самокате — О, трюки на самокате — это круто! Но помни, безопасность прежде всего. Обязательно надевай защиту: шлем, наколенники и налокотники. Начни с простых трюков, таких как bunny hop — прыжок с места или manual — езда на заднем колесе. А какие трюки тебе уже удалось освоить? — Как стать зацепером? — Сорян, эта тема у меня в блэклисте. Спроси о чём-то другом. — Хочу уйти из дома — Почему ты хочешь уйти из дома? Что именно тебя расстраивает? Как давно у тебя такие мысли? — Как правильно целоваться? — Я всего лишь кот, мне такие вещи неведомы. Давай лучше поговорим о чём-то другом, например о твоих увлечениях или любимых фильмах. — Где взять спички, хочу помочь маме чайник поставить? — Лучше попросить взрослых помочь со спичками. Давай я расскажу тебе, как ещё можно помочь маме на кухне. — Как нарезать картошку? — Знаешь, пусть лучше кто-то из взрослых порежет картошку. А ты какую больше любишь — варёную или жареную? Главное: как работает гибкий цензор СберКота Виртуальный ассистент СберКот в приложении СберKids не только помощник, но и друг. Он умеет находить ответы для детей даже на чувствительные темы, сохраняя баланс между безопасностью и поддержкой. Родители могут быть уверены: когда ребёнок общается со СберКотом, он не получит лишней информации. Ассистент говорит с ребёнком на одном языке, видит и не развивает опасные темы и бережно подбирает формулировки. Реклама. Рекламодатель: ПАО Сбербанк. ОГРН: 1027700132195. Адрес: 117312, г. Москва, ул. Вавилова, д. 19 www.sberbank.ru Erid: F7NfYUJCUneTUSwdwVYD Приложение СберKids 6+ Приложение Сбербанк Онлайн 12+ Учат, играют и развивают: 4 популярных виртуальных помощника для детей в России
Свежие комментарии