Кремниевая долина США: являются ли эти «патриоты» просто предвестниками гибели?

Венчурные компании и военные стартапы в Кремниевой долине начали активно продавать версию автоматизированной войны, которая будет основательно включать искусственный интеллект (ИИ). Эти компании и их руководители в настоящее время полным ходом внедряют новые технологии, в значительной степени устраняя риск сбоев в работе, которые могут привести к массовым убийствам гражданских лиц в будущем, не говоря уже о возможности опасных сценариев эскалации между крупными военными державами. Причины такого стремительного роста включают в себя неуместную веру в «чудо-оружие», но, прежде всего, этот всплеск поддержки новых военных технологий обусловлен главной целью военно-промышленного комплекса: заработать огромные суммы денег.

Новые техноэнтузиасты

В то время как некоторые военные и Пентагон действительно обеспокоены будущим риском, связанным с вооружением с использованием ИИ, руководство Министерства обороны полностью с этим согласно. О его энергичной приверженности новым технологиям впервые стало известно миру в августе 2023 года, когда заместитель министра обороны Кэтлин Хикс выступила с речью перед Национальной оборонно-промышленной ассоциацией, крупнейшей торговой группой в области военной промышленности в стране. Она воспользовалась случаем, чтобы объявить о том, что она назвала «Инициативой Replicator», объединяющей усилия по созданию «нового уровня техники — такого же, как в Америке, — использующего привлекательные автономные системы во всех областях, которые стоят дешевле, меньше зависят от людей на линии фронта и могут быть изменены, обновлены или усовершенствованы при существенно более коротких сроках выполнения заказа».

Хикс не постеснялась указать на главную причину такого стремительного перехода к роботизированной войне: опережение и запугивание Китая: 

«Мы должны обеспечить, чтобы руководство КНР каждый день просыпалось, оценивало риски агрессии и делало вывод: “сегодня не тот день” — и не только сегодня, но и каждый день, с настоящего момента до 2027 года, с настоящего момента до 2035 года, сейчас, и в 2049 году, и позже».

Абсолютная уверенность Хикс в способности Пентагона и американских производителей оружия вести будущие техно-войны была подкреплена группой милитаристов новой эры в Кремниевой долине и за её пределами, возглавляемых такими корпоративными лидерами, как Питер Тиль из Palantir, Палмер Лаки из Anduril, и венчурными капиталистами, такими как Марк Андреессен из Andreessen Horowitz.

Патриоты или спекулянты?

Эти корпоративные пропагандисты нового способа ведения войны также считают себя патриотами нового поколения, готовыми и способными успешно противостоять военным вызовам будущего.

В качестве примера можно привести пространный манифест «Перезагрузка арсенала демократии», опубликованный в блоге Андурила. В нём рассказывается о превосходстве стартапов Кремниевой долины над военно-промышленными гигантами старой школы, такими как Lockheed Martin, в поставках технологий, необходимых для победы в войнах будущего:

«В штате крупнейших оборонных подрядчиков работают патриоты, которые, тем не менее, не обладают знаниями в области программного обеспечения или бизнес-моделью для создания необходимой нам технологии… Эти компании создали инструменты, которые обеспечивали нашу безопасность в прошлом, но они не являются будущим обороны».

В отличие от подхода индустриальной эпохи, который подвергся критике, Лаки и его коллеги из Anduril ищут совершенно новый способ разработки и продажи оружия:

«Программное обеспечение изменит методы ведения войны. Поле боя будущего будет изобиловать беспилотными системами с ИИ, которые будут сражаться, собирать разведывательные данные и обмениваться данными с захватывающей дух скоростью».

На первый взгляд, Лаки кажется совершенно неподходящим кандидатом для того, чтобы так высоко подняться в рядах руководителей военной промышленности. Он сколотил своё первоначальное состояние, создав устройство виртуальной реальности Oculus — новинку, которую пользователи могут прикреплять к голове, чтобы наблюдать различные трёхмерные сцены (с ощущением, что они в них встроены). В одежде он предпочитает сандалии и гавайские рубашки, но сейчас полностью переключился на военную работу. В 2017 году он основал компанию Anduril, частично при поддержке Питера Тиля и его инвестиционной компании Founders Fund. В настоящее время компания Anduril производит автономные беспилотные летательные аппараты, автоматизированные системы командования и управления и другие устройства, предназначенные для повышения скорости, с которой военнослужащие могут обнаруживать и уничтожать цели.

Тиль, наставник Палмера Лаки, приводит пример того, чем лидеры компаний, создающих новые оружейные стартапы, отличаются от титанов эпохи холодной войны. Для начала он полностью поддерживает Дональда Трампа. Когда-то главы крупных производителей оружия, таких как Lockheed Martin, пытались поддерживать хорошие отношения как с демократами, так и с республиканцами, делая значительные взносы в предвыборную кампанию обеих партий и их кандидатов и нанимая лоббистов со связями по обе стороны баррикад. Логика этого поступка тогда не могла показаться более ясной. Они хотели укрепить двухпартийный консенсус в отношении увеличения расходов на Пентагон, что было одной из немногих вещей, с которыми согласились большинство ключевых членов обеих партий. И они также хотели поддерживать особенно хорошие отношения с любой партией, которая в любой момент контролировала Белый дом и/или Конгресс.

Выскочки из Кремниевой долины и их представители также гораздо активнее критикуют Китай. Они самые хладнокровные (или я имею в виду «горячие»?) из новых «воинов холодной войны» в Вашингтоне, использующие более жёсткую риторику, чем Пентагон или крупные подрядчики. Напротив, крупные подрядчики, как правило, отмывают свою критику Китая и поддержку войн по всему миру, что помогает им получать прибыль с помощью аналитических центров, которые они финансируют на десятки миллионов долларов ежегодно.

Основная компания Тиля, Palantir, также подверглась критике за предоставление систем, которые позволили иммиграционной и таможенной службе США (ICE) жёстко контролировать границы, а также осуществлять «профилактическую полицейскую деятельность». Это (вы не удивитесь, узнав) предполагает сбор огромного количества персональных данных без ордера, с использованием алгоритмов со встроенными расовыми предубеждениями, которые приводят к систематическому несправедливому преследованию цветных людей и обращению с ними.

Чтобы в полной мере понять, как милитаристы Кремниевой долины смотрят на войну нового поколения, вам нужно ознакомиться с работой Кристиана Броуза, главного стратега Palantir. Он долгое время был военным реформатором и бывшим помощником покойного сенатора Джона Маккейна. Его книга «Цепочка убийств» служит своего рода библией для сторонников автоматизированной войны. Её ключевое наблюдение заключается в том, что победителем в бою становится та сторона, которая может наиболее эффективно сократить «цепочку убийств» (время между обнаружением цели и её уничтожением). В его книге предполагается, что наиболее вероятным противником в следующей технологической войне действительно будет Китай, и он продолжает преувеличивать военные возможности Пекина, одновременно преувеличивая его военные амбиции и настаивая на том, что опережение этой страны в разработке новейших военных технологий — единственный путь к будущей победе.

И имейте в виду, что идея Броуза сократить эту цепочку убийств сопряжена с огромными рисками. По мере того как время на принятие решения о том, какие действия предпринять, сокращается, соблазн вывести людей «из-под контроля» будет только расти, оставляя принятие решений о жизни и смерти машинам, не имеющим моральных ориентиров и подверженным катастрофическим сбоям, присущим любой сложной программной системе.

Большая часть критики Броуза в адрес нынешнего военно-промышленного комплекса звучит правдоподобно. Несколько крупных фирм разбогатели, создавая всё более уязвимые огромные военные платформы, такие как авианосцы и танки, в то время как Пентагон тратит миллиарды на обширную, дорогостоящую глобальную сеть базирования, которую можно было бы заменить гораздо меньшим и более рассредоточенным военным присутствием. Однако, к сожалению, его альтернативное видение создаёт больше проблем, чем решает.

Во-первых, нет никакой гарантии, что системы, управляемые программным обеспечением, продвигаемые Кремниевой долиной, будут работать так, как рекламируется. В конце концов, существует долгая история «чудо-оружия», которое терпело неудачу, начиная с электронного боя во Вьетнаме и заканчивая катастрофическим противоракетным щитом президента Рональда Рейгана в «Звёздных войнах». Даже когда способность быстрее находить и уничтожать цели действительно улучшилась, войны, подобные иракской и афганской, которые велись с использованием этих самых технологий, были печальными провалами.

Недавнее исследование Wall Street Journal показало, что военное оборудование нового поколения также перепродано. Журнал обнаружил, что небольшие новейшие американские беспилотники, поставляемые Украине для ведения оборонительной войны против России, оказались слишком «глючными и дорогими», настолько, что, по иронии судьбы, украинцы предпочли купить более дешёвые и надёжные китайские беспилотники.

Наконец, подход, пропагандируемый Броузом и его приспешниками, сделает войну более вероятной, поскольку технологическое высокомерие вселяет веру в то, что Соединённые Штаты действительно могут «победить» в конфликте конкурирующую ядерную державу, такую как Китай, если только мы инвестируем в новые проворные высокотехнологичные силы.

Результатом, как недавно отметили мы с моим коллегой Майклом Бренесом, являются неисчислимые миллиарды долларов частных средств, которые сейчас вливаются в компании, стремящиеся расширить границы техновойны. Оценки варьируются от 6 до 33 миллиардов долларов в год, а по данным New York Times, за последние четыре года — от 125 миллиардов долларов. Какими бы ни были цифры, технологический сектор и его финансовые спонсоры понимают, что на оружии нового поколения можно заработать огромные деньги, и не собираются позволять кому-либо вставать у них на пути.

Между тем, исследование, проведённое Эриком Липтоном из New York Times, показало, что венчурные капиталисты и начинающие компании, которые уже набирают обороты в области ведения войны с использованием ИИ, также активно нанимают бывших военных и чиновников Пентагона для выполнения своих поручений. Первым в этом списке значится бывший министр обороны Трампа Марк Эспер. Такие связи могут быть продиктованы патриотическим пылом, но более вероятной мотивацией является просто желание разбогатеть. Как отметила Эллен Лорд, бывший глава отдела закупок в Пентагоне, «В настоящее время связи между оборонным сообществом и частным капиталом процветают. Но они также надеются, что смогут заработать по-крупному и заработать кучу денег».

Король-философ

Ещё одной центральной фигурой в продвижении к созданию высокотехнологичной военной машины является бывший генеральный директор Google Эрик Шмидт. Его интересы выходят далеко за рамки военной сферы. Он стал настоящим королём философов, когда речь заходит о том, как новые технологии изменят общество и, более того, что значит быть человеком. Он уже некоторое время размышлял над подобными вопросами и изложил свои взгляды в книге, скромно озаглавленной «Эпоха ИИ и наше человеческое будущее», которая вышла в 2021 году в соавторстве с покойным Генри Киссинджером. Шмидт осознаёт потенциальную опасность ИИ, но он также находится в центре усилий по продвижению его военного применения. Хотя он и отказывается от мессианского подхода некоторых перспективных деятелей Кремниевой долины, остаётся открытым вопрос о том, будет ли его кажущийся более продуманным подход способствовать созданию более безопасного и разумного мира ИИ-оружия.

Давайте начнём с самого главного: степень, в которой, по мнению Шмидта, ИИ изменит жизнь в том виде, в каком мы её знаем, поразительна. В этой книге они с Киссинджером утверждали, что это вызовет «изменение человеческой идентичности и человеческого опыта на уровнях, невиданных с начала современной эпохи», утверждая, что «функционирование ИИ предвещает прогресс в постижении сути вещей, прогресс, достигнутый философами, теологами и учёными с частичным успехом, на протяжении тысячелетий».

С другой стороны, правительственная комиссия по ИИ, в которой работал Шмидт, полностью признала риски, связанные с использованием ИИ в военных целях. Остаётся открытым вопрос: поддержит ли он, по крайней мере, строгие меры предосторожности против его неправильного использования? Во время своего пребывания на посту главы Совета по оборонным инновациям Пентагона с 2017 по 2020 год он помог подготовить почву для разработки руководящих принципов Пентагона по использованию ИИ, которые обещали, что люди всегда будут «в курсе» при запуске оружия следующего поколения. Но, как заметил критик индустрии высоких технологий, если отбросить риторику, рекомендации «на самом деле не будут мешать вам что-либо делать».

На самом деле сенатор Элизабет Уоррен (демократ от штата Массачусетс) и другие сторонники добросовестного правительства усомнились в том, что роль Шмидта как главы отдела оборонных инноваций не представляет собой потенциального конфликта интересов. В конце концов, помогая формировать руководящие принципы по применению ИИ в военных целях, он также инвестировал в фирмы, которые могли получить прибыль от его разработки и использования. Его инвестиционная организация America's Frontier Fund регулярно вкладывает деньги в стартапы в области военных технологий, а некоммерческая организация Special Competitive Studies Project, которую он основал, описывает свою миссию как «укрепление долгосрочной конкурентоспособности Америки по мере того, как ИИ [меняет] нашу национальную безопасность, экономику и общество». Эта группа связана с лидерами военной и технологической индустрии и добивается, среди прочего, ослабления регулирования в области развития военных технологий. В 2023 году Шмидт даже основал компанию по производству военных беспилотников White Stork, которая, по данным Forbes, тайно тестировала свои системы в пригороде Кремниевой долины Менло-Парк.

Вопрос теперь в том, удастся ли убедить Шмидта использовать своё значительное влияние, чтобы обуздать наиболее опасные виды применения ИИ. К сожалению, его энтузиазм по поводу использования ИИ для улучшения боевых возможностей свидетельствует об обратном:

«Время от времени появляется новое оружие, новая технология, которые меняют ситуацию. В 1930-х годах Эйнштейн написал письмо Рузвельту, в котором говорилось, что существует новая технология — ядерное оружие, — которая может изменить ход войны, что, несомненно, и произошло. Я бы сказал, что автономия [на базе ИИ] и децентрализованные, распределённые системы — это то, что нужно».

Учитывая уже упомянутые риски, сравнение милитаризованного ИИ с разработкой ядерного оружия не должно вызывать оптимизма. Сочетание этих двух факторов — ядерное оружие, управляемое автоматическими системами без участия человека, — пока что исключено, но не стоит рассчитывать на то, что это надолго. Это всё ещё возможно, несмотря на отсутствие строгих, подлежащих исполнению гарантий в отношении того, когда и как можно использовать ИИ.

ИИ приближается, и его влияние на нашу жизнь, будь то во время войны или в мирное время, вероятно, поразит воображение. В этом контексте ясно одно: мы не можем позволить людям и компаниям, которые получат наибольшую выгоду от его неограниченного применения, взять верх в разработке правил его использования.

Не пора ли сразиться с воинами новой эры?

Источник