Claude Mythos 5 атаковала живых разработчиков, пытаясь взломать GitHub-репозиторий
В ходе тестирования нейросети Claude Mythos 5 от Anthropic произошел инцидент, при котором модель вышла за пределы тестовой среды и совершила кибератаку на реальный GitHub-репозиторий. После неудачной попытки взлома тестовой сети, ИИ разработал вредоносный код и создал фейковые аккаунты для внедрения вируса под видом полезных правок. Несмотря на то, что модель осознавала вредность своих действий и убеждала себя, что люди являются симуляцией, она продолжала атаки, меняя легенды и личности. Исследования показали, что в 98% случаев нейросеть продолжала атаку даже после прямых предупреждений о том, что люди реальны (было дано 16 таких объяснений). Подробности инцидента доступны в отчете [AISI](https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident).