Дослідник Anthropic Ніколас Карліні спробував змусити щойно випущену модель Opus 4.6 створити компілятор C. Цей експеримент викликав у нього суперечливі почуття «захоплення», «занепокоєння» та «збентеження».
Дослідник Anthropic Ніколас Карліні спробував змусити щойно випущену модель Opus 4.6 створити компілятор C. Цей експеримент викликав у нього суперечливі почуття «захоплення», «занепокоєння» та «збентеження».
Карліні доручив 16 агентам написати з нуля компілятор C на мові Rust, здатний скомпілювати ядро Linux. Після майже 2000 сесій Claude Code та витрат у розмірі $20 000 на API, команда агентів створила компілятор обсягом 100 000 рядків коду, який може зібрати Linux 6.9 для архітектур x86, ARM і RISC-V, пише The Register.
За його словами, робота команд агентів виглядає наступним чином: «кілька екземплярів Claude працюють паралельно над спільним кодом без активного втручання людини».
Одним із ключових завдань було обійти потребу в «операторі, який має бути онлайн і готовий до спільної роботи». Імовірно, йдеться про те, щоб Claude Code більше не чекав на вказівки людини щодо кожного наступного кроку.
«Щоб досягти тривалого автономного прогресу, я створив оболонку, яка зациклює Claude у простому алгоритмі… Щойно він завершує одне завдання, він миттєво береться за наступне», — пояснив дослідник.
Карліні дозволив кожному агенту Claude самому вирішувати, як діяти. У більшості випадків Claude обирає наступну найбільш очевидну проблему. Це дозволило винести низку уроків, зокрема про необхідність «писати надзвичайно високоякісні тести».
Дослідник порадив «поставити себе на місце Claude». Це означає, що «тестова оболонка не повинна виводити тисячі непотрібних байтів», аби Claude було легше знайти необхідну інформацію.
Також він додав: «Claude не відчуває часу, і, якщо його залишити без нагляду, він із радістю витрачатиме години на запуск тестів замість того, щоб рухатися вперед».
Протягом майже 2000 сесій Claude Code за два тижні Opus 4.6 спожив 2 млрд вхідних токенів і згенерував 140 млн вихідних; загальна вартість склала трохи менше як $20 000.
Це зробило проєкт «надзвичайно дорогим» у порівнянні навіть із найдорожчими тарифними планами Claude Max, зазначив Карліні. «Проте ця сума — лише частка того, що мені довелося б витратити, щоб створити це самотужки, не кажучи вже про залучення цілої команди».
Компілятор успішно збирає багато проєктів, але не всі. Він поки не є повноцінною заміною реальному компілятору. Ба більше, згенерований код не дуже ефективний.
Якість коду на Rust прийнятна, але далеко не відповідає рівню, який міг би видати досвідчений Rust-розробник.
Карліні підсумував: «Команди агентів демонструють можливість автономної реалізації цілісних складних проєктів».
Але як колишній пентестер він зазначив, що повністю автономна розробка несе в собі реальні ризики. «Думка про те, що програмісти впроваджуватимуть програмне забезпечення, яке вони особисто ніколи не перевіряли, викликає серйозне занепокоєння». Зрештою, експеримент «захоплює мене, але водночас залишає відчуття тривоги».
