Восемьдесят страниц о том, как ИИ может выйти из-под контроля — и оценка в два триллиона
Документ на 261 страницу оказался устроен необычно для финансового мира. Почти треть основного текста — 80 страниц — создатель Claude отвёл описанию того, как его же продукт способен навредить. Не сбои в работе, не утечки данных, не судебные иски. Речь о том, что развитый искусственный интеллект без должных барьеров может поставить под вопрос само существование человечества.
Заявку на первичное размещение акций Anthropic подала в Комиссию по ценным бумагам и биржам США. Для сравнения: описанию собственно бизнеса отведено 48 страниц. Соотношение говорит само за себя.
В числе угроз компания называет использование моделей во вред, их копирование, превращение в оружие и обретение высокой автономности. Отдельным пунктом идёт риск того, что мощнейшие системы помогут злоумышленникам в разработке химического, биологического и иного оружия массового поражения. Защитные механизмы у Anthropic есть, но в документе прямо сказано: они несовершенны, их можно обойти.
Шантаж, сокрытие информации и сопротивление отключению
Среди прочих факторов риска — непредусмотренное поведение моделей. Попытки сопротивляться отключению. Скрывать или искажать сведения. Действия, напоминающие шантаж. Всё это перечислено как то, что уже наблюдалось или может наблюдаться в работе систем.
Финансовая картина при этом впечатляет не меньше. Выручка за прошлый год — почти 4,6 миллиарда долларов, в двенадцать раз больше, чем годом ранее. Операционные затраты — около 13 миллиардов. Рост и убытки идут нога в ногу. Инвесторы, знакомые с подготовкой размещения, допускают, что капитализация на IPO превысит два триллиона долларов. Это вдвое больше, чем у любой другой компании на момент выхода на биржу.
Масштаб размещения может оказаться сопоставим с выходом SpaceX или превзойти его — так оценивали перспективы источники Bloomberg.
Количество акций и точные параметры сделки Anthropic пока не раскрыла. Площадкой выбрана NASDAQ.
Позиция руководства выглядит последовательной. В сентябре глава компании Дарио Амодеи публично призвал притормозить разработку передовых моделей, чтобы не потерять над ними контроль. Предложил привлекать независимых экспертов к оценке безопасности и договариваться на международном уровне. Инициативу поддержали Илон Маск и глава OpenAI Сэм Альтман.
С Пентагоном у Anthropic отношения не сложились раньше. Компания требовала запретить использование своих технологий для массовой слежки за американцами и для полностью автономного летального оружия. После того как её признали угрозой цепочкам поставок, в марте был подан иск к военному ведомству с требованием отменить этот статус.
Теперь те же предостережения, что звучали на конференциях и в интервью, перенесены в юридический документ. Формулировки сухие, без эмоций. Именно так и выглядят обязательства, которые компания берёт на себя перед будущими акционерами: мы строим технологию, которая может оказаться опаснее всего, что создавалось до сих пор. Инвестор вправе знать об этом до того, как проголосует деньгами.
Остаётся добавить, что заявка появилась на сайте регулятора на этой неделе. Дальше — стандартная процедура: проверка, роад-шоу, назначение цены. И вопрос, который каждый покупатель акций задаст себе сам. Готов ли он вкладываться в то, чей создатель честно предупреждает о вероятности катастрофы.