Anthropic, самый дорогой в мире ИИ-стартап, призвал к глобальному замораживанию разработки искусственного интеллекта и предупредил, что человечество рискует потерять контроль над этой технологией.
Компания, создавшая чат-бота Claude, предложила приостановить работу над более мощными системами, если получит гарантии, что другие сделают то же самое.
«Если бы можно было эффективно замедлить развитие этой технологии, чтобы дать себе больше времени на осмысление её огромных последствий, мы считаем, что это было бы благом», — написали руководители компании.
Они сравнили появление мощных ИИ-систем с «проблемой контроля над вооружениями» и предупредили, что времени на обуздание технологии осталось мало.
Недавно Anthropic обогнала создателя ChatGPT — OpenAI, став самой дорогой ИИ-компанией в мире с оценкой в 965 миллиардов долларов (719 миллиардов фунтов). Она воздержалась от публичного выпуска своей самой мощной системы Mythos из-за опасений, что она может быть использована для разрушительных кибератак.
В эссе, опубликованном в четверг вечером, Марина Фаваро и Джек Кларк, глава исследовательского подразделения Anthropic и её президент, заявили, что технология ИИ приближается к точке, когда системы начнут развивать себя сами.
Они сказали, что этот момент, известный как «рекурсивное самоулучшение», может вызвать взрывной рост возможностей, но также может означать, что люди потеряют способность контролировать ИИ-системы.
Anthropic позиционирует себя как ИИ-компания, наиболее преданная обеспечению безопасности технологии, одновременно совершая исследовательские прорывы, которые, по её словам, могут привести к созданию опасных систем.
Её генеральный директор Дарио Амодеи заявил, что существует 25-процентная вероятность того, что «всё пойдёт действительно, действительно плохо».
В четверг компания заявила: «Если замедление просто позволит наименее осторожным участникам догнать в технологическом плане, это может сделать всех менее защищёнными.
«Мы считаем, что для мира было бы благом иметь возможность замедлить или временно приостановить разработку передового ИИ, чтобы дать социальным структурам и исследованиям в области выравнивания [ИИ] возможность угнаться за прогрессом».
Однако компания предупредила, что координация глобального замораживания будет чрезвычайно сложной, указав на острую конкуренцию между США и Китаем в сфере ИИ.
«Осмысленное замедление или пауза потребуют, чтобы несколько хорошо обеспеченных ресурсами лабораторий, находящихся на переднем крае или рядом с ним, в нескольких странах согласились остановиться на одинаковых условиях», — говорится в заявлении.
«Это также потребует, чтобы каждая из них могла проверить, что другие действительно остановились... Обучающие запуски гораздо легче скрыть, чем шахты для ракет».
Госпожа Фаваро и господин Кларк заявили, что сотрудники Anthropic сейчас пишут в восемь раз больше кода, чем в период с 2021 по 2025 год, и что ИИ всё лучше предлагает новые идеи и планирует исследования, что, по их словам, является шагом к ИИ, который строит сам себя.
Другие эксперты утверждают, что компания преувеличивает возможности ИИ или фабрикует предупреждения об ИИ, чтобы добиться введения нормативных актов, которые могут навредить конкурентам.
Это произошло после массовой распродажи акций производителей микросхем для ИИ, после того как полупроводниковая компания Broadcom разочаровала инвесторов своими прогнозами продаж.
Акции компании упали на 13%, что стёрло около 300 миллиардов долларов с её стоимости, а акции других компаний-производителей чипов — Micron, SK Hynix и Arm — также резко упали.
Эта распродажа вызвала опасения по поводу «пузыря» в сфере ИИ из-за вопросов о спросе на чипы Broadcom.
Попробуйте полный доступ к The Telegraph бесплатно сегодня. Получите доступ к их удостоенному наград веб-сайту и основному новостному приложению, а также к полезным инструментам и экспертным руководствам для ваших денег, здоровья и отпуска.