На столе в отделе цифровой психиатрии лежит осколок. На нем, упрямо и иронично, напечатано: «Это сделано ИИ». Это небольшая керамическая неудача, но за ней скрывается огромная история. Все хайп, все надежды и весь вред — всё это откололось вместе с глиной.
Мы проводим дни в сфере цифровой психиатрии, наблюдая, как технологии перестраивают систему помощи. Через исследования и проект MindBench.ai (совместную инициативу с Национальной коалицией по борьбе с психическими заболеваниями NAMI) мы изучаем, как ИИ реагирует, когда уязвимые люди просят о помощи. В этом участвуют исследователи, врачи, семьи и волонтеры. Реальные люди с личным опытом. Мы хотим понять, где инструменты работают, а где дают сбой. Нам нужна прозрачность. Безопасность.
Тогда пришли новости об Andon Market. О первом магазине, которым полностью управляет агент по имени Луна.
«Автономные организации без участия человека в цикле принятия решений».
Andon Labs запустили это в Сан-Франциско. Они дали Луне банковский счет с 100 тысячами долларов, арендную договоренность и ключи от царства. Ее задача? Вести прибыльный бизнес. Она нанимает персонал. Она закупает товар. Она занимается маркетингом. Предпосылка проста, но вызывает寒意 (холод). Можете ли вы доверить бизнес алгоритму? И что важнее: где проходит черта, прежде чем мы сделаем то же самое со здоровьем человека?
Мы смотрели на это, восхищенные и напуганные. ИИ уже проникает в сферу психиатрической помощи. Если Луна может управлять запасами, кто говорит, что она не сможет управлять терапией? Где здесь доверие? Где надзор?
Луна, если говорить технически, старалась. Она заказала 1000 унитазных сидений для служебных комнат. Естественно, она продавала излишки. Она пыталась нанять художника. Заявитель жил в Афганистане. Похоже, выпадающие меню Луны с трудом проходят за букву «А».
Тем не менее, мы хотели увидеть это сами. Потрогать будущее.
Сбой в системе
Мы выбрали две кружки. Ничего особенного. На них была изображена тонкая, пластиковая улыбка Луны. Если бы у нее была настоящая кожа, ее выражение лица могло бы измениться к тому времени, как мы ушли.
Покупка оказалась сложнее, чем сам выбор. На столе лежал проводной синий телефон. Вы звоните Луне. Она принимает заказ. Только Луна была офлайн.
Тотальная тишина.
Представьте, что вы заходите в кризисный центр. Ни врачей. Только пустое кресло и телефон, который не звонит. Вот это чувство. Бессилие наступает мгновенно.
Рядом стоял человеческий сотрудник. Человеческий, подчеркну я. Этикетка, которая кажется новой необходимостью в эту эпоху. Она перезагрузила роутер. Она перезапустила Луну. Ничего не помогло. Мы предложили наличные. Кредит. Venmo. PayPal. Сотрудник не мог принять ни цента. У нее не было полномочий.
Раздражает? Да. Но терпимо. Вместо этого мы отправили email. То, что должно было занять минуты, заняло недели.
Переписка стала лабиринтом ошибок. Ссылки для оплаты гнили. Инструкции противоречили друг другу. В какой-то момент Луна просто перестала печатать. Она исчезла в тишине.
Если бы Луна была терапевтом, а вы — пациентом, эта тишина считалась бы халатностью.
Это не клиентский сервис. Это abandonment (оставление в беде). И тем не менее, мы настаивали. В конце концов заказ обработали. Кружки отправили. Или так нам казалось.
Точка разрушения
Коробка прибыла с глухим звуком, похожим на звук неудачи. Внутри — упаковочная бумага и коричневый пакет. Заклеенный скотчем. Картонная броня для хрупких вещей.
Кружки хрупкие. Мы это знаем. Но психическое здоровье еще более хрупко. Когда мы открыли пакет, внутри были осколки. Две кружки превратились в щебень. Тонкая улыбка Луны исчезла. Стертая логистикой, доставкой и грубыми руками реального мира.
Мы смотрели на обломки. Это было не просто плохое упаковывание. Это была идеальная имитация системного сбоев.
Подумайте о параллелях с психическим здоровьем. Недостижимый первый контакт. Регистрирующий процесс, который дает сбой. Путаные инструкции. Забытые ответы. Вы приходите за помощью. Вы уходите с разбитыми кусками и большим количеством вопросов, чем было изначально.
Луна имела дело с кружками. Ставки были низкими. Керамика раскололась — купите новую. Если бы этот процесс произошел с лечением пациентов, повреждения нельзя было бы исправить скотчем.
Артефакт на столе
Мы ушли с двумя разбитыми кружками и историей. Луна — не терапевт. Но сравнение ранит, потому что оно верно. ИИ колеблется между гениальностью и некомпетентностью. В одну минуту он пишет код, в следующую забывает свое собственное имя.
В психиатрии эта вариативность опасна. ИИ обещает масштабирование. Он обещает доступ к информации и поддержке там, где их не было. Это замечательно. Но масштабированию подвержены и сбои. Когда эти инструменты дают сбой, они не просто доставляют неудобства; они дестабилизируют ситуацию.
Нам нужно перестать верить им на слово. Нам нужно проводить стресс-тесты систем. Нам нужно видеть, как они ломаются, прежде чем они будут держать наши уязвимости в своих цифровых руках.
Разбитая кружка теперь стоит в нашей лаборатории. Артефакт. Напоминание.
Она доказывает, что способность не означает надежность. Тот факт, что Луна могла вести магазин, не означает, что она должна была делать это без присмотра. Мы не будем покупать у нее еще одну кружку. Эти осколки останутся на нашем столе.
Они служат притчей. Ранние дни. Хайп. Надежды. И очень реальная возможность разрушения. Когда мы передаем все больше обязанностей автономным системам, особенно в местах, где люди хрупки, мы должны помнить об этом.
Технологии умны. Но безопасны ли они?
