Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, dzieli złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozkłada się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od prostego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Oddzielną kwestią pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i cofnąć się do wcześniejszego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.