Джо Бентон, руководивший в Anthropic группой Scalable Oversight, сообщил, что ушёл из компании и переходит в независимую организацию METR. Она проверяет, насколько опасными могут стать передовые системы искусственного интеллекта и способны ли разработчики удерживать их под контролем.
Бентон проработал в Anthropic почти три года. Его команда изучала методы надзора за моделями, которые в будущем могут превзойти человека в отдельных задачах. Исследователь объяснил переход желанием добиться большей прозрачности: сейчас компания-разработчик теоретически может столкнуться с резким скачком возможностей ИИ или потерей контроля, а общество об этом не узнает.
По оценке Бентона, при сохранении нынешнего курса развитие ИИ может обернуться катастрофой для человечества. Он также заявил, что рыночная конкуренция мешает даже тем компаниям, которые серьёзно относятся к безопасности, уделять ей достаточно внимания. Это оценка самого исследователя, а не подтверждённый прогноз.
Два ухода и одно предупреждение
Заявление Бентона появилось через два дня после публичной отставки другого исследователя Anthropic — Джейкоба Коксона. Тот объявил об уходе 8 сентября 2026 года и сообщил, что ранее занимался предварительным обучением моделей в OpenAI и Anthropic.
Коксон обвинил обе лаборатории в безответственной гонке к самообучающемуся сверхинтеллекту. По его словам, разработчики допускают, что такие системы могут уничтожить человечество до конца десятилетия, но продолжают наращивать их возможности. Он ушёл за два месяца до получения первой части причитавшихся ему акций Anthropic.
Руководитель направления alignment science в Anthropic Эван Хубингер поддержал основную мысль Коксона и оценил вероятность гибели человечества из-за ИИ более чем в 10% в ближайшие десять лет. Alignment science изучает, как заставить сложные модели следовать целям и ограничениям, заданным людьми.
В Anthropic заявили, что открыто говорят как о пользе, так и о беспрецедентных рисках ИИ, а также продолжают развивать методы интерпретации и контроля моделей. Сразу два публичных ухода вновь поставили перед отраслью главный вопрос: кто сможет независимо проверить безопасность систем, если разработчики одновременно оценивают риски и участвуют в гонке за лидерство.
