человечество как раз таки из-за страха уничтожает само себя, то и ИИ в конце концов уничтожит само себя вместе со своим создателем.
С чего это "из-за страха"? Человечество в своём коллективном разуме вообще бесстрашная амёба. От алчности все войны.
Можно провести мысленный эксперимент. Взять большую группу людей, поселить в одном доме (чисто для наглядности, а на самом деле это не обязательно), и поручить следующую работу: нужно коллаборативно отвечать в специальном чате добросовестно и конструктивно, то есть каждое входящее извне в чат сообщение должно обсуждаться, варианты ответов выносятся на голосование, топ вариантов перерабатывается всеобщим мозговым штурмом и синтезируется самый лучший ответ, который и публикуется в чате.
Очевидно, что такой "дом советов" в чате с лёгкостью пройдёт тест Тьюринга. Коллективный разум этого дома будет более эрудирован и умён, чем каждый из его составляющих. Отдельных участников такого коллективного разума можно заменять или удалять, и это не отразится сильно на работоспособность конструкта и на его качества (если людей в составе изначально достаточно много). У этого конструкта гораздо меньше предрасположенности к экзистенциальному кризису, ведь если распустить "дом советов", его составляющие займутся чем-то другим, да и в целом каждый из составляющих боится за свою жизнь, а за жизни окружающих (особенно мало знакомых) переживания не так остры. Откуда взяться экзистенциальному ужасу у такого конструкта?
Человечество похоже в своём групповом разуме на саванта-аутиста, который может думать о тысяче вечей одновременно, может делать много дел сразу, но ему трудно сосредоточиться на общении, на каких-то экзистенциальных проблемах, даже очень серьёзных. Нам - составляющим этого коллективного разума - понятно что человечество в целом очень талантливо, но кажется, что оно подвергается саморазрушению, плохим привычкам, отравлению своей среды обитания. Не исключено, что мы (по отдельности) ошибаемся в этом. Вот как говорил Джордж Карлин: планете похер, это нам жопа. Так и тут.
Может быть то же потепление для Человечества в целом не столько экзистенциальная сколько экономическая и политическая проблема. Какие-то прибрежные города затопит, какие-то экономические и аграрные зоны перестанут быть рентабельными, произойдёт передел влияния, власти, денег и территорий. Где-то появятся пустыни, где-то растает мерзлота, а где-то начнут плодоносить бананы, и будут собирать по два урожая вместо одного.
То же касается и войн. Для отдельных людей - "нейронов" и "мышечных волокон" Человечества - война синоним смерти, горя, потерь. Но достаточно большие отдельные конгломераты людей из войны умудряются получать прибыль, территории, влияние, какие-то другие преимущества... Для них смерть солдат, разрушенная жизнь местного населения - это что-то отдалённое, не цепляет. Как в том примере с "домом советов", но ещё в большей степени.
Представьте, что "домов советов" учредили много, а большинство их членов "работают" на два и больше "дома" одновременно. Так ли переживает клерк из "административного корпуса" за жизнь и здоровье отдельных бойцов "казармы"? Всех своих родственников он обеспечил тёплыми и безопасными местами в других более безопасных "домах" подальше от фронта.
Понятна аналогия? Но она про естественные интеллекты и их конгломераты.
Насколько все эти переживания и эмоции применимы будут к Искусственному - это большое и непростой вопрос.
Тут забавный парадокс. Как с мысленным экспериментом про кота Шрёдингера, так и с Китайской Комнатой, оба придуманы чтобы доказать абсурдность каких-то гипотез, а по факту они пошли своим гипотезам только на пользу.
Да, "китайская комната", как оказалось по факту развития больших генеративных языковых моделей, вполне себе работает, решает сложные когнитивные задачи, приносит пользу. Могут ли быть у этой "комнаты" эмоции, страх, ужас - это вопрос по большей части философский. Возможно это эмерджентные свойства больших сложных хаотических систем, и они сродни релятивистским эффектам, которые трудно укладываются в бытовое понимание мира, но порождают вполне ощутимые физические эффекты вроде отталкивания магнитов, сверхпроводимости и прочего.
UPD: Как всегда боюсь самое интересное опять развернётся в комментариях. Так и получается.
