Anthropic отказались от обещания приостановить обучение ИИ из соображений безопасности
Anthropic, компания, создававшая искусственный интеллект Claude и строившая свой бренд на принципах безопасности прежде всего, отказалась от центрального обязательства своей Политики ответственного масштабирования — обещания никогда не обучать системы ИИ без заранее гарантированных адекватных мер безопасности Разногласия по поводу безопасности ИИ стали причиной ухода из OpenAI директора Anthropic Дарио Амодея и основания собственной компании. Безопасность Anthropic ставили во главу угла, но теперь дали заднюю. Спустя менее суток после того, как Пентагон поставил компании ультиматум: до пятницы предоставить ИИ для неограниченного военного использования или лишиться контракта и быть признанной "риском для цепочки поставок" — статус, который обычно присваивается иностранным противникам. OpenAI, Google и xAI такое разрешение уже предоставили, у них тоже контракты с Пентагоном.
Главный научный директор Джаред Каплан, курирующий политику безопасности, заявил, что компания больше не считает, что она служит своей цели. "Мы пришли к выводу, что никому не будет пользы, если мы прекратим обучение ИИ-моделей", — сказал Каплан. "Мы действительно не считали, учитывая стремительное развитие ИИ, что для нас имеет смысл брать на себя односторонние обязательства, когда конкуренты рвутся вперед".
Новая версия политики, единогласно одобренная Амодеем и советом директоров Anthropic, гласит: "Если один разработчик ИИ приостановит разработку для внедрения мер безопасности, в то время как другие продолжат обучать и развёртывать ИИ-системы без серьёзных мер защиты, это может привести к миру, который будет менее безопасным".
Согласно пересмотренной политике, Anthropic обязуется соответствовать или превосходить усилия конкурентов в области безопасности и обещает приостанавливать разработку ИИ только в том случае, если руководство компании считает, что Anthropic является лидером отрасли и оценивает риски катастрофы как существенные. Компания также планирует регулярно публиковать так называемые "Дорожные карты безопасности передовых технологий" — документы, описывающие будущие цели в области безопасности, — и будет предоставлять дополнительные сведения о результатах тестирования безопасности своих моделей.
Каплан представил это изменение как прагматичный шаг, а не отступление. "Если все наши конкуренты прозрачно поступают правильно в отношении катастрофических рисков, мы обязуемся делать так же хорошо или лучше, — сказал он. — Но мы не считаем целесообразным прекращать участие в исследованиях ИИ в ситуации, когда другие продолжают двигаться вперёд, а мы на самом деле не вносим никакого дополнительного риска в экосистему".
Отличный комментарий!