Программный комплекс включает мониторинг, анализ, выявление факторов негативного влияния цифровой среды на молодежь, выявление суицидального и депрессивного контента при помощи программы искусственного интеллекта.
Как пояснили разработчики программного комплекса, в начале этого года в Санкт-Петербурге наблюдался резкий рост суицидальных проявлений, в том числе среди несовершеннолетних. Это потребовало оперативного реагирования от городских властей и правоохранителей.
«Создаваемый комплекс не заменяет специалиста – психолога-суицидолога, а предназначен максимально автоматизировать и облегчить процесс поиска информации суицидального характера, обработать неструктурированную информацию, понять депрессивный контекст, определить влияющие факторы. Искусственный интеллект приходит психологу на помощь в анализе контента аккаунта с проявлениями признаков суицидального поведения», – пояснили разработчики ПО.
Помощник в борьбе
Руководитель петербургской Молодежной службы безопасности (МСБ) Леонид Армер, много лет занимающийся борьбой с педофилами и кураторами «групп смерти», рассказал, что история разработки программного комплекса уходит корнями в программы, которые занимались выявлением в Сети наркоконтента и пропаганды наркотиков. Собранная информация поступала в прокуратуру, которая выносила решение о блокировке такого контента.
Появились новые проблемы, и прокуратура поставила вопрос о поиске суицидального контента, который, по мнению правоохранителей, деструктивно мог влиять на молодежь, пропагандируя и провоцируя самоповреждения и депрессивные настроения.
«Специалистами была создана новая база данных по характерным словам, фразам, изображениям, и систему стали учить искать в социальных сетях соответствующие аккаунты. Естественно, система по мере самообучения совершенствуется и перестает считать за «сигнал опасности» какие-то мемы или стихи, говорящие о суициде, но не имеющие к нему отношения», – поясняет Армер.
Он добавил, что при поиске депрессивно-суицидального контента невозможен подход, который использовался в случае поиска наркопропаганды, то есть запрет и блокировка. Невозможен потому, что наличие подобного контента на страницах пользователей говорит как раз о том, что у людей проблемы в этой области и просто блокировкой не обойтись.
«Вариант действий тут один – общение с каждым из выявленных аккаунтов для первичного понимания ситуации, в которой находится человек, и принятия дальнейших решений. Как и какую помощь можно и нужно оказать, к каким специалистам направить или отрабатывать собственными силами, – продолжает Леонид Армер. – Также очевидно, что невозможно сделать такой проект «только для Санкт-Петербурга», ибо «это Интернет» и мы никогда не будем знать, начиная общение, из какого региона или страны проблемный собеседник. А значит, проект сразу имеет смысл делать федеральным, ориентированным на помощь и поддержку по всей территории России и за ее пределами тоже, так как русскоговорящих детей и подростков в других странах достаточно много».
Единым фронтом
По словам Армера, МСБ предложила объединить в проект опыт участников движения и наработки кризисных психологов, работающих в режиме онлайн из проекта «твоятерритория.онлайн». За прошлый год к специалистам проекта поступило 40 тысяч обращений, но ресурсов хватает на обработку не более 20 процентов.
«То есть если отовсюду звучит, что «нужен безопасный Интернет», то, наверное, государство должно поддержать тех, кто пытается этим заниматься многие годы, не имея никакой поддержки и обеспечивая ту самую безопасность детей в виртуальном пространстве, – заметил руководитель МСБ. – Проект был признан перспективным. Главное, что люди в руководстве города не только поняли уровень проблемы, но и не стали изобретать велосипед, позвав для решения проблемы тех, кто имеет многолетний опыт работы в данном направлении».
Начало работы
С конца мая в пилотном режиме началась обработка массивов информации. Сотрудники, занимающиеся проблемой, буквально «захлебнулись», когда из различных соцсетей еженедельно стало приходить по 300 тревожных сигналов, и это при том, что в привычном режиме специалисты брали в работу аккаунты, которые выявляли сами или, получив сигнал от родителей, педагогов, число выявленных проблемных аккаунтов составляло пару десятков.
«Стало понятно, что необходимо ранжирование степени риска по ряду параметров – какие брать в работу в первую очередь, а какими можно заняться позже – и в этом тоже будет помогать искусственный интеллект, который создает наш программист из Москвы, – рассказывает Армер. – Возможности систем будут объединяться, и работа, скажем, в тех же чатах «Телеграм», где за ночь молодежь способна написать до 5-10 тысяч сообщений, будет значительно облегчена, так как искусственный интеллект сам выявит пользователей и сделает подборку материалов, «подающих сигнал» о неблагополучии, нахождении в депрессии или озвучивающих суицидальные намерения».
Результаты не могли не появиться – ведь число потенциальных кризисных подростков резко подскочило и могло быть подвергнуто первичной оценке. В первые же две недели в регионы и в Республику Беларусь полетели срочные справки о необходимости экстренного реагирования. Это позволило предотвратить несколько попыток суицида. Число тех, кто был взят в режим поддержки, исчисляется десятками, но, естественно, ресурсы быстро закончились, так как в идеале один специалист может вести максимум пять человек, а тут их сотни и они постоянно прибавляются.
«Как вы понимаете, подобную работу невозможно уже выполнять на общественных началах силами организаций, которые еле-еле сводят концы с концами. В данный момент решаются вопросы о создании, возможно, серьезной структуры из специалистов, которые будут круглосуточно в режиме нон-стоп заниматься поддержкой и помощью молодежи в виртуальном пространстве с выходом в реальный мир, – отмечает Леонид Армер. – То есть все те многолетние наработки, которыми обладаем мы и наши коллеги – кризисные психологи-консультанты, могут быть масштабированы и именно в нашем городе появится центр, обеспечивающий безопасность подрастающего поколения. Проект серьезный, масштабный, но и результаты должны быть заметны достаточно скоро».
Он добавил, что в будущем ничто не мешает обучить искусственный интеллект искать по определенным маркерам и интересующихся скулшутингом («колумбайн»), и тех, кто проявляет нездоровый интерес к детям или иные опасные для подрастающего поколения наклонности.
Источник: