В области искусственного интеллекта активно обсуждается вопрос о том, в какой степени большие языковые модели (LLM) и построенные на их основе агенты могут достичь истинной автономной генерации кода и функций, особенно для новых и динамических задач. Представление о том, что агенты, предназначенные для решения различных задач, потребуют динамического создания функций, весьма актуально для передовых исследований в области LLM.

Большие языковые модели быстро развивались, выходя за рамки простой генерации текста и становясь мощными инструментами в разработке программного обеспечения, способными понимать и генерировать код¹. Это естественным образом привело к разработке "агентов" — систем, в которых LLM интегрируются с инструментами и механизмами управления для выполнения сложных, многоэтапных задач. Статья углубляется в вопрос о том, могут ли агенты не только использовать предопределенные инструменты, но и создавать их в процессе работы.

Современные большие языковые модели демонстрируют значительные успехи в возможностях кодирования, умело генерируя простые фрагменты кода.⁶ Они могут помогать разработчикам в таких задачах, как суммаризация кода, его расширение (вставка отладочных операторов), генерация модульных тестов и продвинутое автодополнение, значительно улучшая рабочий процесс разработчика.¹

Помимо простых фрагментов, LLM способны генерировать "естественно-языковые контуры" (NL outlines) для функций кода. Эти контуры предоставляют высокоуровневые обзоры и разбивают код на логические разделы, способствуя его пониманию и сопровождению. Эта возможность также обеспечивает двунаправленную синхронизацию между кодом и естественным языком, где LLM могут автоматически обновлять одно на основе изменений в другом.⁷ Такая способность указывает на сложное понимание структуры и намерения кода, что демонстрируется моделями, такими как Gemini и GPT-4.⁷ Возможность LLM генерировать естественно-языковые контуры для функций кода означает, что их потенциал выходит далеко за рамки базового автодополнения или отладки кода. Естественно-языковые контуры представляют собой высокоуровневую абстракцию кода, суммирующую его основные идеи и разбивающую его на логические разделы.

Это означает, что LLM могут понимать назначение и архитектурную структуру функции кода, а не только ее синтаксис. Такая способность аналогична работе человеческого архитектора программного обеспечения, проектирующего модули, или технического писателя, создающего всеобъемлющую документацию. Традиционно эти роли требовали глубокого понимания системного проектирования и четкой коммуникации. Таким образом, эта возможность позиционирует LLM не просто как кодировщиков, но как потенциальных партнеров в выполнении более высокоуровневых задач разработки программного обеспечения, включая проектирование, документирование и даже ревью кода. Это предвещает будущее, в котором LLM будут вносить вклад во весь жизненный цикл разработки программного обеспечения, ускоряя понимание, упрощая сопровождение и улучшая общий опыт разработчиков.⁷

Хотя LLM могут генерировать различные формы кода, сложность и специфичность, требуемые для агентных задач, представляют собой более серьезную проблему.⁶ Для агентов требование часто смещается от генерации кода общего назначения к созданию высокоспециализированных функций, адаптированных к новым и динамическим задачам, которые, возможно, не были явно частью их обучающих данных или предопределенных наборов инструментов. Традиционная парадигма предполагает, что разработчики заранее определяют инструменты и функции, которые LLM затем могут вызывать, генерируя соответствующие параметры.⁹ В этом сценарии LLM действует как "пользователь инструмента", выбирая и конфигурируя существующие функциональные возможности, а не как "создатель инструмента".

Многоагентные системы искусственного интеллекта специально разработаны для решения сложных и динамичных проблем путем их разделения между специализированными агентами, каждый из которых отвечает за определенную функцию.³ Эта архитектура вдохновлена человеческими организационными структурами, где команды специалистов сотрудничают для достижения общей цели.³ Это отражает реальные рабочие процессы разработки программного обеспечения, где различные роли (например, системный аналитик, кодировщик, тестировщик) взаимодействуют и способствуют решению сложной задачи.²

Подход Anthropic к агентам и рабочим процессам

Исследования Anthropic подчеркивают важное архитектурное различие между "рабочими процессами" и "агентами". Рабочие процессы определяются как системы, где большие языковые модели (LLM) и инструменты оркестрируются через предопределенные пути кода. В отличие от этого, агенты — это системы, где LLM динамически управляют своими собственными процессами и использованием инструментов, сохраняя контроль над тем, как они выполняют задачи.⁵ Anthropic отмечает, что агенты особенно подходят для открытых проблем, где невозможно предсказать необходимое количество шагов или жестко закодировать фиксированный путь.⁵

В многоагентных системах Anthropic используется паттерн "оркестратор-рабочий", где центральная LLM динамически разбивает задачи, делегирует их рабочим LLM и синтезирует результаты.⁵ Эти системы также позволяют агентам "самостоятельно формировать запросы" — генерировать последующие запросы для самих себя на основе промежуточных результатов — и адаптировать свое поведение для достижения конкретной цели, в отличие от статических, одноразовых взаимодействий.³ Такая модульная конструкция повышает отказоустойчивость и упрощает отслеживание логического потока и выявление сбоев.³

Сравнение с другими подходами к динамической генерации функций
Хотя подход Anthropic фокусируется на динамическом управлении и оркестрации использования инструментов, другие передовые исследования демонстрируют, что LLM могут идти дальше, фактически генерируя совершенно новые функции и блоки кода во время выполнения.¹¹ Например, OpenAI Cookbook описывает, как LLM могут создавать "динамически генерируемые инструменты" — функции или блоки кода, созданные самой LLM во время выполнения на основе поставленной задачи. Это устраняет необходимость заранее определять каждый возможный сценарий, позволяя решать более открытые, творческие и адаптивные задачи.¹¹

Эффективность многоагентных систем в разбиении сложных задач на подзадачи, обрабатываемые специализированными агентами, с последующей координацией усилий ³, указывает на то, что общая "интеллектуальность" или способность решать проблемы такой системы не является исключительно производной от необработанной мощности отдельной LLM. Вместо этого она возникает из синергии и распределенного познания специализированных компонентов. Это принцип системного проектирования, при котором параллельная обработка и меж-агентное взаимодействие приводят к более надежным, эффективным и адаптивным решениям для динамических сред.³ Успех многоагентных систем в динамических средах подразумевает, что для действительно открытых и разнообразных задач одна монолитная LLM может быть менее эффективной, чем оркестрированная команда специализированных агентов, работающих на основе LLM. Это смещает акцент с создания более крупных, более общих LLM на проектирование более интеллектуальных, более совместных архитектур агентов, подчеркивая важность протоколов связи и механизмов координации.³

По своей сути, агенты LLM — это системы, в которых LLM динамически управляют своими собственными процессами и использованием инструментов на основе обратной связи из окружающей среды в цикле.⁵ Инструменты (или функции) являются основным средством, с помощью которого агенты взаимодействуют с внешним миром или выполняют конкретные вычисления.⁴ Фреймворки, такие как LangChain, LangGraph и CrewAI, предоставляют "строительные блоки" и "дорожные карты" для соединения различных компонентов ИИ, позволяя создавать сложные многоагентные рабочие процессы. Эти фреймворки управляют распределением задач, связью и координацией между агентами, позволяя им обмениваться информацией и результатами для совместного решения более крупных проблем.¹²

Представление о динамическом создании функций действительно становится реальностью в передовых исследованиях агентов LLM. LLM теперь могут генерировать "динамически генерируемые инструменты" или "блоки кода" во время выполнения на основе поставленной задачи.¹¹ Эта возможность представляет собой значительный скачок за пределы простого вызова предопределенных инструментов, позволяя LLM фактически создавать необходимый код для данной задачи на лету.

Такой динамический подход особенно полезен для открытого, творческого и адаптивного решения проблем, поскольку он устраняет необходимость для разработчиков заранее определять каждый возможный сценарий.¹¹ Практические применения включают анализ и визуализацию данных, манипуляцию и преобразование данных, генерацию и выполнение рабочих процессов машинного обучения, а также автоматизацию процессов и скриптов.¹¹ Исторически LLM в агентных системах в первую очередь концептуализировались как "пользователи инструментов", способные выбирать и применять функции из существующей библиотеки на основе контекста. Появление "динамически генерируемых инструментов" ¹¹ фундаментально меняет эту парадигму, сдвигая ее в сторону "синтеза инструментов".

Это означает, что LLM не просто выбирает наиболее подходящую существующую функцию; она способна создавать новую функцию, специально адаптированную к непосредственной, часто уникальной, проблеме. Эта возможность имеет решающее значение для решения действительно новых или специфических задач, для которых нет идеально подходящего заранее существующего инструмента. Эта способность значительно расширяет автономию, гибкость и адаптивность агентов LLM. Она предвещает будущее, в котором агенты смогут решать гораздо более широкий и непредсказуемый круг проблем без постоянного вмешательства человека для разработки инструментов. Это ключевой шаг к созданию более универсальных и адаптивных систем ИИ, позволяющий им работать в динамичных и непредвиденных средах.

Процесс обычно включает в себя генерацию LLM кода на Python (или других языках программирования), который представляет новую функцию или скрипт. Затем этот сгенерированный код выполняется в защищенной, изолированной среде, чаще всего в контейнере Docker.¹¹ Такая изоляция имеет первостепенное значение для безопасности, предотвращая прямой доступ LLM к хост-машине или ее модификацию с помощью потенциально вредоносного сгенерированного кода.¹¹ Контейнер Docker тщательно настраивается с минимальными правами доступа, включая явные ограничения на доступ к сети и файловой системе только к внутренней среде контейнера. Необходимые пакеты предварительно устанавливаются, так как контейнер не может устанавливать дополнительные по соображениям безопасности.¹¹ Ограничения ресурсов (например, pids-limit, tmpfs) также применяются для дальнейшего сдерживания выполнения.¹¹ Повсеместное акцентирование внимания в исследованиях на изолированных средах выполнения (контейнерах Docker) со строгими политиками безопасности ¹¹ является не просто технической деталью реализации; это фундаментальное предварительное условие для безопасного "самопрограммирования" LLM в реальных приложениях. Без таких надежных "песочниц" присущие риски, связанные с кодом, генерируемым LLM — включая потенциальные ошибки, галлюцинации или вредоносные намерения ¹³ — были бы непомерно высокими для практического развертывания. "Песочница" создает контролируемое, ограниченное пространство, где LLM может экспериментировать, генерировать и выполнять свой код без ущерба для целостности или безопасности более крупной системы. Таким образом, развитие безопасных сред выполнения так же критично, если не более, чем сама способность LLM генерировать код, для широкого внедрения автономных агентов. Это подчеркивает, что путь к повышенной автономии неразрывно связан со сложным, безопасным системным проектированием и снижением рисков, подчеркивая, что доверие и безопасность являются основополагающими столбами для практического развертывания ИИ.

В многоагентной установке этот процесс может быть оркестрован. Например, FileAccessAgent (с использованием предопределенного вызова инструмента) может обрабатывать чтение файлов с хоста и копирование их в контейнер Docker. Впоследствии PythonCodeExecAgent (с использованием динамически генерируемого вызова инструмента) будет получать этот контекст и генерировать скрипт Python, который затем выполняется в изолированной среде Docker.¹¹ Модели, такие как o3-mini, отмечаются за их исключительные STEM-возможности в генерации такого кода.¹¹

Помимо генерации новых функций для конкретных задач, передовой областью исследований являются "самосовершенствующиеся кодирующие агенты" (SICA). Эти агенты могут автономно редактировать и улучшать свой собственный базовый операционный код, включая обнаружение новых схем подсказок или оптимизацию использования инструментов.¹⁴ Это представляет собой метауровень автономии, где сама система ИИ становится разработчиком своих собственных возможностей. Разрабатываются такие фреймворки, как "AutoAgent", для обеспечения полностью автоматизированных сред без кода. Эти системы позволяют создавать и развертывать агентов LLM только с помощью естественного языка, и, что крайне важно, сам фреймворк поддерживает "эффективное и динамическое создание и модификацию инструментов, агентов и рабочих процессов без требований к кодированию или ручного вмешательства".¹⁶ Это демонстрирует убедительное видение саморазвивающихся систем ИИ. Способность агентов LLM не только генерировать код для внешних задач, но и изменять и улучшать свой собственный внутренний операционный код и стратегические подходы ¹⁴ является глубоким развитием. Этот рекурсивный цикл самосовершенствования, когда агент улучшает свою собственную способность кодировать и рассуждать, является теоретическим краеугольным камнем для возможной реализации Общего Искусственного Интеллекта (ОИИ). Если агент может итеративно совершенствовать свою собственную архитектуру и алгоритмы, это потенциально может привести к экспоненциальному ускорению его цикла разработки, достигая возможностей решения проблем, которые в настоящее время находятся за пределами человеческого проектирования. Хотя эта область исследований весьма многообещающа, она также усиливает критические проблемы, связанные с контролем, выравниванием и потенциалом непредвиденного поведения. Способность ИИ изменять свою собственную основную функциональность требует еще более строгих механизмов безопасности и этических соображений для обеспечения того, чтобы его самосовершенствование оставалось согласованным с человеческими ценностями и намеченными целями. Это раздвигает границы исследований в области управления и безопасности ИИ.

Несмотря на впечатляющие возможности, обсуждаемые выше, полностью автономные агенты на основе LLM по-прежнему сталкиваются со значительными проблемами, которые ограничивают их применимость и надежность в реальных приложениях.¹⁷

Надежность и галлюцинации: Основной проблемой является тенденция LLM генерировать "галлюцинации" — информацию, которая кажется правдоподобной, но фактически неверна или сфабрикована.¹⁷ Это напрямую влияет на надежность и достоверность автономно генерируемого кода, поскольку ошибки могут быть незаметными и труднообнаружимыми.

Сложность и поддерживаемость: Хотя LLM превосходно генерируют код для четко определенных проблем, они часто сталкиваются с задачами, требующими глубоких предметных знаний, инновационных решений или обработки очень сложных и неоднозначных требований.⁸ Даже если код функционально корректен, сгенерированный LLM код может обладать более высокой сложностью, что затрудняет его сопровождение и требует обширного человеческого пересмотра и тестирования для обеспечения качества и соответствия стандартам кодирования.⁸ Инструменты, такие как Devin, например, показали ограниченную автономию (15% успеха) в сложных задачах.⁸

Риски безопасности: Основной и критической проблемой является потенциал LLM непреднамеренно внедрять уязвимости безопасности в генерируемый код. Примеры включают жестко закодированные учетные данные, уязвимости внедрения (такие как SQL-инъекции или внедрение команд) и переполнения буфера.⁸ Эти риски усугубляются тем фактом, что LLM могут воспроизводить небезопасные практики кодирования из своих обучающих данных или страдать от "переобучения", имитируя субоптимальные решения.¹³

Этические и моральные последствия: Использование LLM в разработке программного обеспечения вызывает серьезные этические опасения, особенно в отношении ответственности за ошибки в генерируемом коде и потенциала усиления предвзятости из обучающих данных, что приводит к несправедливым или неинклюзивным результатам.⁸ Такие проблемы, как несоответствие (когда цели агента LLM расходятся с благополучием пользователя), поощрение чрезмерной зависимости, чрезмерная оптимизация, приводящая к злоупотреблениям, и игнорирование не-пользователей, являются критическими рисками, требующими тщательного рассмотрения.¹⁹

Постоянные и широко признанные проблемы галлюцинаций, уязвимостей безопасности и проблем с поддерживаемостью кода ⁸ в совокупности подчеркивают значительный "пробел в доверии" в текущих возможностях автономной генерации кода LLM. Хотя LLM могут демонстрировать впечатляющую генеративную способность, последовательное качество, присущая безопасность и долгосрочная надежность этого кода, особенно для критически важных или высокорисковых приложений, еще не достигли уровня, позволяющего полностью автономную работу без надзора. Этот пробел требует осторожного подхода и надежных механизмов проверки. Текущее состояние автономной генерации кода предполагает, что для приложений, где корректность, безопасность и этическое соответствие имеют первостепенное значение, полная автономность без надзора, вероятно, останется лишь стремлением в обозримом будущем. Вместо этого будет преобладать парадигма "человек в контуре" или "человек под надзором", отдающая приоритет безопасности и надежности над чистой автоматизацией. Это подчеркивает, что технологические возможности должны быть сбалансированы с практической надежностью для развертывания в реальном мире.

Для снижения выявленных рисков крайне важно интегрировать лучшие практики безопасности в процесс разработки кода, генерируемого ИИ.¹³ Это включает использование инструментов статического анализа (например, Bandit для кода Python) для обнаружения проблем безопасности ⁸ и внедрение фреймворков для принудительного выполнения во время выполнения. Например, \tool — это фреймворк, разработанный для обеспечения безопасности и надежности агентов LLM, позволяющий определять пользовательские политики безопасности и обнаруживать/перехватывать риски во время выполнения, предотвращая небезопасные действия.²⁰

Постоянное обслуживание жизненно важно для агентов LLM для поддержания производительности, что включает автоматизированное тестирование производительности, анализ отзывов и регулярные обновления их баз знаний.²¹ Устранение предвзятости в обучающих данных путем интеграции разнообразных источников данных и систематического обнаружения предвзятости также имеет важное значение.¹⁹ Обширное обсуждение многогранных проблем — от технических вопросов, таких как уязвимости безопасности и проблемы надежности, до более широких этических последствий, таких как предвзятость, подотчетность и несоответствие ⁸ — ясно указывает на то, что просто генерации кода недостаточно для ответственного развертывания.

Акцент быстро смещается от простого расширения границ того, что могут делать LLM, к созданию всеобъемлющих практик ответственного проектирования ИИ. Это включает в себя не только создание более мощных моделей, но и разработку надежных мер безопасности, строгих конвейеров проверки и четких этических рамок для обеспечения их безопасной, полезной и надежной интеграции в реальные системы. Будущее автономной генерации кода заключается не только в технологическом прогрессе, но и в установлении надежных принципов управления и проектирования. Это гарантирует, что по мере того, как LLM получают все большую автономию и влияние, их действия остаются согласованными с человеческими ценностями и благополучием общества, превращая эту область в ту, где этические соображения и протоколы безопасности так же важны, как и вычислительная мощность.

Ниже представлена таблица, суммирующая ключевые проблемы в автономной генерации кода LLM и разработке агентов:

Большие языковые модели действительно демонстрируют возможности динамической генерации функций и блоков кода во время выполнения для новых, различных задач, выходя за рамки простого использования предопределенных инструментов.¹¹ Эта возможность имеет решающее значение для многоагентных систем, чтобы адаптироваться к динамическим и открытым средам.⁵ Более того, передовые исследования "самосовершенствующихся кодирующих агентов" демонстрируют, что LLM могут даже автономно редактировать и совершенствовать свой собственный операционный код и стратегии, намекая на будущее рекурсивного самосовершенствования и метапрограммирования.¹⁴

Однако, критический нюанс заключается в степени автономии и готовности к реальному миру для сложных, неконтролируемых сценариев. Сохраняются значительные проблемы, касающиеся надежности, потенциала галлюцинаций, качества и поддерживаемости кода, а также, что наиболее важно, уязвимостей безопасности и этических последствий.⁸

Таким образом, хотя LLM могут динамически генерировать функции, достижение полной, неконтролируемой автономии для новых, сложных и высокорисковых задач по-прежнему является значительной проблемой. Текущая траектория и выявленные ограничения убедительно указывают на то, что человеко-агентные системы на основе LLM (LLM-HAS) являются наиболее практичным, ответственным и эффективным путем вперед.¹⁷

В этом будущем сотрудничества LLM будут дополнять человеческих разработчиков, автоматизируя рутинные задачи кодирования, генерируя сложные контуры функций, создавая динамические инструменты для конкретных экземпляров проблем и даже самосовершенствуя свою собственную операционную логику. Тем не менее, человеческий надзор, предметная экспертиза, этическое суждение и способность вмешиваться и исправлять остаются незаменимыми для обеспечения надежности, безопасности и согласованности этих мощных систем ИИ с человеческими намерениями и ценностями. Конечная цель состоит не в полной замене разработчиков, а в расширении их возможностей с помощью передовых инструментов ИИ, которые могут справляться с возрастающими уровнями сложности и динамизма, способствуя симбиотическим отношениям, в которых человеческий интеллект направляет, проверяет и в конечном итоге извлекает выгоду из возможностей ИИ. Этот сбалансированный подход определит следующую эру разработки программного обеспечения.

1. Run LLMs Locally with Continue VS Code Extension | Exxact Blog, дата последнего обращения: июня 15, 2025, https://www.exxactcorp.com/blog/deep-learning/run-llms-locally-with-continue-vs-code-extension
2. Enhancing LLM Code Generation: A Systematic Evaluation of Multi-Agent Collaboration and Runtime Debugging for Improved Accuracy, Reliability, and Latency - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2505.02133v1
3. Multi-Agent AI Systems: Orchestrating AI Workflows - V7 Labs, дата последнего обращения: июня 15, 2025, https://www.v7labs.com/blog/multi-agent-ai
4. LLM powered autonomous agents drive GenAI productivity and efficiency - K2view, дата последнего обращения: июня 15, 2025, https://www.k2view.com/blog/llm-powered-autonomous-agents/
5. Building Effective AI Agents - Anthropic, дата последнего обращения: июня 15, 2025, https://www.anthropic.com/research/building-effective-agents
6. NeurIPS Poster Divide-and-Conquer Meets Consensus: Unleashing the Power of Functions in Code Generation, дата последнего обращения: июня 15, 2025, https://neurips.cc/virtual/2024/poster/94430
7. Natural Language Outlines for Code: Literate Programming in the LLM Era - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2408.04820v4
8. Generative AI in Software Development: Balancing Innovation and Challenges, дата последнего обращения: июня 15, 2025, https://c3.unu.edu/blog/generative-ai-in-software-development-balancing-innovation-and-challenges
9. Language Model Tool API - Visual Studio Code, дата последнего обращения: июня 15, 2025, https://code.visualstudio.com/api/extension-guides/tools
10. How to Build A Multi Agent AI System in 2025 - Intuz, дата последнего обращения: июня 15, 2025, https://www.intuz.com/blog/how-to-build-multi-ai-agent-systems
11. Build Your Own Code Interpreter - Dynamic Tool Generation and ..., дата последнего обращения: июня 15, 2025, https://cookbook.openai.com/examples/object_oriented_agentic_approach/secure_code_interpreter_tool_for_llm_agents
12. Multi-agent LLMs in 2024 [+frameworks] | SuperAnnotate, дата последнего обращения: июня 15, 2025, https://www.superannotate.com/blog/multi-agent-llms
13. contextualizing llms to enhance security in code generation - ResearchGate, дата последнего обращения: июня 15, 2025, https://www.researchgate.net/publication/388006312_CONTEXTUALIZING_LLMS_TO_ENHANCE_SECURITY_IN_CODE_GENERATION
14. A Self-Improving Coding Agent - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2504.15228v2
15. A Self-Improving Coding Agent, дата последнего обращения: июня 15, 2025, https://arxiv.org/abs/2504.15228
16. AutoAgent: A Fully-Automated and Zero-Code Framework for LLM Agents - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/abs/2502.05957
17. A Survey on Large Language Model based Human-Agent Systems - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2505.00753v1
18. A Call for Collaborative Intelligence: Why Human-Agent Systems Should Precede AI Autonomy - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2506.09420v1
19. LLM Agents: How They Work and Where They Go Wrong - Holistic AI, дата последнего обращения: июня 15, 2025, https://www.holisticai.com/blog/llm-agents-use-cases-risks
20. \tool: Customizable Runtime Enforcement for Safe and Reliable LLM Agents - arXiv, дата последнего обращения: июня 15, 2025, https://arxiv.org/html/2503.18666v1

LLM Agents: Revolutionizing Task Automation and AI Integration - SmythOS, дата последнего обращения: июня 15, 2025, https://smythos.com/developers/agent-development/llm-agents/