Streszczenie techniczne: Jednym z najbardziej widowiskowych przełomów AI ostatnich miesięcy są agenci Computer Use / GUI Agents (Anthropic Computer Use, OpenAI Operator, otwarty framework Browser-Use oraz Qwen2.5-VL/3-VL), którzy potrafią patrzeć na ekran wirtualnego pulpitu, ruszać kursorem myszy i klikać przyciski w dowolnym programie. Jednak twarda matematyka inżynieryjna pokazuje brutalną prawdę: w procesach wieloetapowych czysty agent wizyjny jest 150 razy wolniejszy i 40 razy droższy od agenta opartego na protokole MCP/API, a kluczem do niezawodności 99.9% jest hybrydowy graf stanów (State Graph) z weryfikatorami.
1. Jak działają agenci Computer Use / Browser-Use na poziomie pikseli i DOM?
Nowa generacja modeli wizyjno-językowych (VLM) została wytrenowana do bezpośredniego mapowania obrazu ekranu (np. rozdzielczość 1280×800 lub 1920×1080) na znormalizowane współrzędne kursora (x, y) ∈ [0, 1000] oraz akcje niskiego poziomu (left_click, type_text, key_combination, scroll). W bardziej zaawansowanych frameworkach przeglądarkowych (jak Browser-Use łączący Playwright z drzewem dostępności Chromium — Accessibility Tree / DOM distillation) model otrzymuje ponumerowane elementy interaktywne ([14] <button>Zatwierdź fakturę</button>), co eliminuje błędy celowania w piksele.
Na benchmarku OSWorld (mierzącym wykonanie złożonych zadań na prawdziwym systemie Ubuntu/Windows) skuteczność modeli wzrosła w ciągu kilkunastu miesięcy z 12.4% do ponad 42–56%, a na zadaniach czysto przeglądarkowych (WebArena) przekroczyła 65–72%.
2. Pułapka wykładniczego spadku niezawodności (P = pⁿ) w pętlach autonomicznych
Dlaczego wynik 70% lub nawet 95% na pojedynczym kroku nie wystarcza w systemach klasy enterprise? Załóżmy, że proces biznesowy (np. pobranie danych z 3 portali giełd transportowych, sprawdzenie limitu kupieckiego i wystawienie zlecenia) wymaga wykonania n = 25 kolejnych kroków. Jeśli pojedyncza akcja autonomicznego agenta ma skuteczność p = 0.95 (95%), to prawdopodobieństwo bezbłędnego ukończenia całego procesu bez nadzoru wynosi:
P_sukces = pⁿ = 0.95²⁵ ≈ 0.277 (27.7%)
W ponad 72% przypadków czysty, niesterowany agent autonomiczny („ReAct loop”) utknie po drodze na zmienionym oknie modalnym, limicie czasu lub halucynacji parametrów!
3. Porównanie: Agent GUI (Computer Use) vs Agent API/MCP vs Hybrydowy Graf Stanów (DAG)
| Kryterium inżynieryjne | Czysty Agent GUI (Computer Use / Zrzuty ekranu) | Niesterowana pętla ReAct (Swobodne wywołania API) | Hybrydowy Graf Stanów (DAG + MCP + Fallback GUI) |
|---|---|---|---|
| Średnie opóźnienie pojedynczego kroku | 2.4 s – 4.5 s (zrzut ekranu + inferencja VLM) | 0.6 s – 1.2 s | 15 ms – 180 ms (deterministyczne węzły kodu) |
| Zużycie tokenów na 1 pełny proces (20 kroków) | 45 000 – 110 000 tokenów (obrazy w każdej turze) | 12 000 – 25 000 tokenów | 1 800 – 4 200 tokenów (AI tylko w węzłach decyzyjnych) |
| Skuteczność End-to-End na produkcji | 45% – 68% | 75% – 86% | 99.4% – 99.9% (dzięki walidatorom i retry) |
| Kiedy stosować? | Zamknięte portale bez API i stary soft legacy | Eksploracyjny research i asystenci czatowi | Systemy transakcyjne B2B, ERP, finanse i logistyka |
4. Wzorzec produkcyjny 2026: Deterministyczny szkielet + AI w węzłach nieustrukturyzowanych
Najlepsza praktyka inżynieryjna, która wyłoniła się w 2026 roku (stosowana m.in. w architekturach typu LangGraph, Temporal + MCP oraz dedykowanych orkiestratorach w Go), opiera się na zasadzie: „Nie każ modelowi LLM robić w pętli tego, co 10 linijek kodu w Go/Pythonie zrobi w 2 milisekundy ze 100% pewnością”:
- Krok 1 (Kod deterministyczny): Pobranie wiadomości e-mail / pliku PDF / rekordu z bazy SQL.
- Krok 2 (Węzeł AI — ekstrakcja i rozumowanie): Model rozumujący analizuje nieustrukturyzowaną treść zapytania spedycyjnego lub umowy i zwraca ściśle typowany obiekt JSON zgodny ze schematem.
- Krok 3 (Węzeł Computer Use — tylko jako mostek Legacy): Wyłącznie wtedy, gdy zewnętrzny portal (np. stary portal ubezpieczyciela lub giełda bez API) nie posiada interfejsu REST/SOAP, izolowany kontener Playwright/Browser-Use loguje się i pobiera brakujący dokument, po czym sterowanie natychmiast wraca do twardego kodu.