Jeszcze niedawno dyskusja o sztucznej inteligencji w pracy koncentrowała się na jednym pytaniu: czy AI zastąpi część pracowników?
Dziś problem staje się bardziej złożony.
Algorytmy mogą nie tylko analizować kandydatów, oceniać pracowników czy podpowiadać menedżerom określone decyzje. Coraz częściej system otrzymuje również możliwość wykonania działania.
Może zmienić status konta, odebrać dostęp do aplikacji, wysłać wiadomość, zaktualizować dane czy uruchomić kolejne procesy.
Granica między „AI doradza” a „AI decyduje i działa” zaczyna mieć więc bardzo konkretne znaczenie biznesowe, prawne i związane z cyberbezpieczeństwem.
Uber dostał niemal 825 mln euro kary za automatyczne blokowanie kierowców
Dobrym przykładem problemu jest sprawa Ubera.
21 sierpnia 2026 roku holenderski organ ochrony danych poinformował o nałożeniu na firmę kary w wysokości niemal 825 mln euro w związku ze stosowaniem zautomatyzowanych systemów decyzyjnych wobec kierowców.
Według źródłowego materiału konta kierowców mogły być automatycznie dezaktywowane w sytuacjach związanych m.in. z podejrzeniem oszustwa lub oceną ich aktywności, a jednym z zarzutów regulatora był niewystarczający udział człowieka w procesie.
Nie był to jeszcze autonomiczny agent AI w dzisiejszym znaczeniu tego pojęcia.
Sprawa pokazuje jednak coś istotniejszego: system może podejmować decyzję, która w ciągu kilku sekund realnie wpływa na możliwość wykonywania pracy.
AI przestaje tylko odpowiadać. Zaczyna wykonywać zadania
Klasyczny chatbot działa przede wszystkim w warstwie informacyjnej.
Użytkownik zadaje pytanie, model generuje odpowiedź.
Jeżeli odpowiedź jest błędna, człowiek nadal musi wykonać kolejny krok.
Agent AI może działać inaczej.
Może otrzymać cel, dostęp do określonych narzędzi i możliwość samodzielnego dobierania kolejnych czynności potrzebnych do jego realizacji.
Przykładowo agent może:
-
przeczytać wiadomość e-mail,
-
wyszukać dokument,
-
sprawdzić dane w CRM,
-
zmienić uprawnienie użytkownika,
-
przygotować odpowiedź,
-
wysłać ją bezpośrednio,
-
uruchomić proces w innym systemie.
To właśnie moment, w którym błąd AI przestaje być wyłącznie błędem informacyjnym.
– W przypadku zwykłego chatbota błędem może być nieprawidłowa odpowiedź. W przypadku agenta skutkiem błędu może być już konkretne działanie – zablokowanie konta, zmiana uprawnień, wysłanie wiadomości albo uruchomienie operacji finansowej – wskazuje Kamil Sadkowski, analityk cyberzagrożeń w ESET.
Agent AI potrzebuje uprawnień. I właśnie tutaj zaczyna się ryzyko
Aby agent był użyteczny, musi mieć możliwość wykonywania operacji.
Jeżeli ma obsługiwać skrzynkę pocztową, potrzebuje dostępu do poczty.
Jeżeli ma zarządzać dokumentami, potrzebuje dostępu do repozytorium.
Jeżeli ma reagować na incydenty bezpieczeństwa, może potrzebować możliwości blokowania kont lub urządzeń.
Im więcej uprawnień otrzymuje, tym większe są jednak potencjalne konsekwencje błędu.
To problem doskonale znany z klasycznego cyberbezpieczeństwa.
Konto użytkownika posiadającego zbyt szerokie uprawnienia jest bardziej niebezpieczne w przypadku przejęcia.
Podobnie należy myśleć o agencie AI.
Zasada najmniejszych uprawnień powinna dotyczyć również AI
Jedną z podstawowych zasad bezpieczeństwa jest least privilege, czyli zasada najmniejszych uprawnień.
Użytkownik powinien mieć dostęp tylko do tych zasobów, które są mu rzeczywiście potrzebne.
Ta sama reguła powinna dotyczyć agentów.
Jeżeli agent analizuje faktury, nie oznacza to automatycznie, że musi mieć prawo do wykonywania przelewów.
Jeżeli bada podejrzane zachowanie konta, może nie potrzebować możliwości trwałego zablokowania użytkownika.
– Każde dodatkowe uprawnienie zwiększa potencjalne konsekwencje błędu albo skutecznego ataku. Z punktu widzenia bezpieczeństwa agent AI powinien być traktowany podobnie jak użytkownik posiadający dostęp do firmowych systemów – jego uprawnienia także trzeba ograniczać – podkreśla Kamil Sadkowski.
To szczególnie ważne w przypadku operacji trudnych do odwrócenia.
Prompt injection może zmienić problem techniczny w realne działanie
Agenci AI wprowadzają również nowe scenariusze cyberataków.
Model językowy może analizować treści pochodzące spoza organizacji: e-maile, strony internetowe, dokumenty czy załączniki.
Napastnik może próbować umieścić w takim materiale instrukcję mającą wpłynąć na zachowanie agenta.
To jeden z wariantów prompt injection.
Źródłowy materiał wskazuje, że ukryta instrukcja może znajdować się np. w wiadomości, dokumencie lub stronie www. Jeżeli agent ma szerokie uprawnienia, skutkiem udanego ataku może być nie tylko wygenerowanie błędnej odpowiedzi, ale wykonanie niepożądanej operacji.
Wyobraźmy sobie system, który automatycznie analizuje faktury przesyłane do firmy.
Jeżeli agent potrafi jednocześnie odczytać fakturę, zmienić dane kontrahenta i uruchomić płatność, potencjalne konsekwencje manipulacji są zupełnie inne niż w przypadku modelu, który jedynie podsumowuje dokument.
Human-in-the-loop nie powinien oznaczać „kliknij zatwierdź”
Najprostszą odpowiedzią na ryzyko automatyzacji mogłoby być ręczne zatwierdzanie każdej czynności.
Tylko że wtedy część korzyści wynikających z agentów znika.
Firma musi więc zdecydować, które działania AI może wykonywać samodzielnie, a które wymagają udziału człowieka.
Właśnie temu służy koncepcja human-in-the-loop.
Nie powinno to jednak oznaczać sytuacji, w której pracownik dostaje dziesiątki alertów i mechanicznie klika „zatwierdź”.
Człowiek musi:
-
rozumieć, czego dotyczy decyzja,
-
znać jej potencjalne konsekwencje,
-
móc zatrzymać proces,
-
móc zmienić decyzję,
-
i – jeśli to możliwe – móc odwrócić wykonane działanie.
Źródłowy materiał zwraca uwagę, że udział człowieka jest szczególnie ważny w sytuacjach dotyczących pieniędzy, danych, infrastruktury oraz możliwości wykonywania pracy.
Im trudniej odwrócić decyzję, tym mniej autonomii powinno mieć AI
Nie wszystkie działania mają ten sam poziom ryzyka.
Agent może bez udziału człowieka:
-
uporządkować dokumenty,
-
przygotować zestawienie,
-
sklasyfikować zgłoszenia,
-
zaproponować odpowiedź,
-
wyszukać potrzebne informacje.
Ale zupełnie inaczej należy traktować działania takie jak:
-
wykonanie płatności,
-
trwałe usunięcie danych,
-
zablokowanie dostępu do infrastruktury,
-
rozwiązanie umowy,
-
zamknięcie konta klienta,
-
odmowa świadczenia usługi.
Dobrą praktyką jest więc ocenianie autonomii nie według tego, czy AI technicznie potrafi wykonać działanie, ale według potencjalnego kosztu jego błędu.
RODO już ogranicza w pełni zautomatyzowane decyzje
Problem nie zaczyna się wraz z agentami AI.
RODO od lat zawiera przepisy dotyczące zautomatyzowanego podejmowania decyzji.
Art. 22 daje osobie prawo, aby nie podlegała decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeżeli decyzja wywołuje wobec niej skutki prawne albo w podobny sposób istotnie na nią wpływa.
Przepis przewiduje wyjątki, ale również wtedy mogą być wymagane odpowiednie zabezpieczenia.
W określonych przypadkach obejmują one co najmniej prawo do:
-
uzyskania interwencji człowieka,
-
przedstawienia własnego stanowiska,
-
zakwestionowania decyzji.
To ma szczególne znaczenie, gdy automatyczna decyzja wpływa na możliwość wykonywania pracy, dostęp do usług czy sytuację finansową człowieka.
AI w HR należy do najbardziej wrażliwych zastosowań
Nowy wymiar problemu przynosi AI Act.
Rozporządzenie uznaje określone systemy AI stosowane w obszarze zatrudnienia i zarządzania pracownikami za systemy wysokiego ryzyka.
Dotyczy to m.in. systemów wykorzystywanych do:
-
rekrutacji i selekcji kandydatów,
-
podejmowania decyzji wpływających na warunki zatrudnienia,
-
awansów,
-
zakończenia stosunku pracy,
-
przydzielania zadań na podstawie zachowania lub cech pracownika,
-
monitorowania i oceny pracy.
Powód jest prosty.
Takie systemy mogą wpływać na przyszłość zawodową, źródło utrzymania i prawa pracownika.
System rekomendujący zwolnienie to nie to samo co system wykonujący zwolnienie
Warto przy tym odróżnić kilka poziomów automatyzacji.
Na pierwszym AI może po prostu przygotowywać dane.
Na drugim rekomenduje decyzję człowiekowi.
Na trzecim człowiek zatwierdza działanie przed jego wykonaniem.
Na czwartym system samodzielnie podejmuje decyzję i ją wykonuje.
Każdy kolejny poziom oznacza większą autonomię i potencjalnie większe ryzyko.
Dla organizacji to kluczowe rozróżnienie.
System, który informuje menedżera, że pracownik osiąga określone wyniki, jest czymś innym niż system, który samodzielnie blokuje jego konto i inicjuje zakończenie współpracy.
Czy AI może samodzielnie zwolnić pracownika?
Technicznie można stworzyć system, który po spełnieniu określonych kryteriów inicjuje cały proces.
Pytanie prawne i organizacyjne jest jednak znacznie bardziej skomplikowane.
W UE automatyczne decyzje mające istotny wpływ na człowieka podlegają ograniczeniom wynikającym m.in. z RODO, a systemy HR obejmuje dodatkowo reżim AI Act.
Dlatego „algorytm wręczający wypowiedzenie” powinien być traktowany jako scenariusz wysokiego ryzyka, a nie zwykła automatyzacja administracyjna.
Nawet jeżeli AI uczestniczy w takim procesie, organizacja musi bardzo precyzyjnie zaprojektować odpowiedzialność i realną rolę człowieka.
Firma nie może powiedzieć: „tak zdecydował algorytm”
Autonomia systemu nie usuwa odpowiedzialności organizacji.
Wręcz przeciwnie.
Im więcej decyzji przekazywanych jest oprogramowaniu, tym ważniejsze staje się określenie:
-
kto zatwierdził reguły działania systemu,
-
kto ustalił zakres jego uprawnień,
-
kto monitoruje jego zachowanie,
-
kto odpowiada za błędy,
-
jak można zakwestionować decyzję,
-
jak można zatrzymać działanie systemu.
Firma nie może traktować AI jak niezależnego menedżera, na którego można przerzucić odpowiedzialność.
Agent AI powinien mieć właściciela
W praktyce każda organizacja wdrażająca agentów powinna wiedzieć, kto odpowiada za konkretny system.
Może to być właściciel procesu biznesowego, dział IT albo wyznaczona osoba odpowiedzialna za AI Governance.
Najważniejsze jest, aby odpowiedzialność nie była rozproszona pomiędzy kilka zespołów.
Dla każdego agenta warto określić:
- cel działania,
- zakres danych,
- dostępne systemy,
- uprawnienia,
- działania dozwolone bez człowieka,
- działania wymagające zatwierdzenia,
- mechanizm awaryjnego zatrzymania.
Potrzebny jest „kill switch”
Wraz ze wzrostem autonomii agentów coraz ważniejsza będzie możliwość natychmiastowego zatrzymania procesu.
Można ją potraktować jak cyfrowy wyłącznik bezpieczeństwa.
Jeżeli agent:
-
zaczyna wykonywać nietypową liczbę operacji,
-
próbuje korzystać z nieoczekiwanych zasobów,
-
przekracza próg finansowy,
-
podejmuje serię nieodwracalnych działań,
system powinien móc automatycznie zatrzymać dalsze operacje i przekazać kontrolę człowiekowi.
To szczególnie ważne dlatego, że agent może wykonywać działania z prędkością niemożliwą dla człowieka.
Błąd, który pracownik popełniłby raz, automat może powtórzyć tysiące razy.
Logi stają się kluczowe
Jeśli agent może podejmować działania, organizacja musi być w stanie później odtworzyć jego zachowanie.
Powinna wiedzieć:
-
jakie dane otrzymał,
-
jakie decyzje podjął,
-
z jakich narzędzi skorzystał,
-
jakie operacje wykonał,
-
co zatwierdził człowiek,
-
w którym momencie doszło do problemu.
Bez tego analiza incydentu może być bardzo trudna.
Audytowalność staje się więc jednym z podstawowych elementów bezpieczeństwa agentów.
Nie każdy agent potrzebuje dostępu do produkcji
W klasycznym IT istnieje rozdzielenie środowisk testowych i produkcyjnych.
Podobne myślenie warto stosować wobec agentów AI.
System powinien najpierw działać w środowisku ograniczonym.
Można pozwolić mu przygotowywać działania, ale nie wykonywać ich automatycznie.
Dopiero gdy firma pozna jego zachowanie i typowe błędy, zakres autonomii może być stopniowo zwiększany.
To bezpieczniejsze niż wdrożenie od pierwszego dnia systemu z pełnym dostępem do całej infrastruktury.
7 pytań przed przekazaniem agentowi kolejnego uprawnienia
Przed zwiększeniem autonomii warto odpowiedzieć na kilka pytań.
1. Czy agent naprawdę potrzebuje tego dostępu?
Jeżeli nie – nie powinien go otrzymywać.
2. Jaki jest najgorszy możliwy skutek błędu?
Nie analizujmy wyłącznie typowego scenariusza.
3. Czy działanie można odwrócić?
Usunięcie szkicu e-maila i wykonanie przelewu to zupełnie inne ryzyka.
4. Czy potrzebna jest zgoda człowieka?
Szczególnie przy decyzjach dotyczących ludzi, pieniędzy i dostępu.
5. Czy istnieje limit działania?
Np. limit kwoty transakcji albo liczby zmian wykonywanych jednocześnie.
6. Czy możemy zatrzymać system?
Awaryjne odcięcie uprawnień powinno być proste.
7. Czy potrafimy później wyjaśnić, co agent zrobił?
Jeżeli nie ma odpowiednich logów, autonomia może być zbyt duża.
Firmy nie powinny rezygnować z agentów AI
Ryzyka nie oznaczają, że organizacje powinny zatrzymać automatyzację.
Agenci mogą przejąć wiele powtarzalnych działań, przyspieszać procesy i ograniczać ręczną pracę.
Problemem nie jest autonomia sama w sobie.
Problemem jest autonomia bez granic.
Źródłowy materiał dobrze podsumowuje tę zmianę: organizacja powinna wiedzieć nie tylko, co agent potrafi zrobić, ale przede wszystkim, co wolno mu wykonać bez udziału człowieka.
Pytanie „czy możemy to zautomatyzować?” przestaje wystarczać
Przez lata biznes oceniał automatyzację przede wszystkim przez pryzmat efektywności.
Czy da się skrócić proces?
Czy można obniżyć koszt?
Czy system wykona zadanie szybciej niż człowiek?
W epoce agentów trzeba dodać jeszcze jedno pytanie:
czy chcemy, żeby system mógł wykonać tę czynność samodzielnie?
Bo zdolność techniczna i dopuszczalna autonomia to nie to samo.
W przypadku prostych, łatwo odwracalnych zadań odpowiedź może być oczywista.
W przypadku decyzji wpływających na pracę, pieniądze, dane czy dostęp do kluczowej infrastruktury granica powinna być ustawiona znacznie ostrożniej.
Sprawa Ubera pokazuje, że nie jest to problem hipotetyczny.
AI może już wpływać na to, czy człowiek będzie mógł dalej wykonywać swoją pracę.
Dlatego najważniejszym elementem wdrażania agentów może okazać się nie ich inteligencja.
Tylko dobrze zaprojektowane ograniczenia.
FAQ – agenci AI, automatyczne decyzje i human-in-the-loop
Co to jest agent AI?
Agent AI to system zdolny nie tylko generować odpowiedzi, ale również korzystać z narzędzi i wykonywać działania prowadzące do realizacji określonego celu. Może np. pracować z pocztą, dokumentami, bazami danych czy aplikacjami.
Czym agent AI różni się od chatbota?
Chatbot przede wszystkim odpowiada użytkownikowi. Agent może dodatkowo wykonywać działania w innych systemach. Dlatego skutkiem błędu agenta może być np. zmiana uprawnień lub wykonanie konkretnej operacji.
Co to jest zasada najmniejszych uprawnień?
Polega na przyznaniu użytkownikowi lub systemowi tylko takich uprawnień, które są potrzebne do wykonania zadania. Materiał ESET wskazuje, że ta sama zasada powinna być stosowana wobec agentów AI.
Co oznacza human-in-the-loop?
To model, w którym człowiek pozostaje częścią procesu i może kontrolować określone decyzje systemu. Przy działaniach wysokiego ryzyka powinien mieć możliwość zrozumienia sytuacji, zatrzymania procesu i zmiany lub odwrócenia działania.
Czy RODO zabrania automatycznych decyzji?
RODO daje osobie prawo, aby nie podlegała decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeśli wywołuje ona skutki prawne lub podobnie istotnie wpływa na tę osobę. Przewidziane są wyjątki oraz zabezpieczenia.
Czy AI używane do zwalniania pracowników jest systemem wysokiego ryzyka?
AI Act klasyfikuje jako wysokiego ryzyka określone systemy stosowane w zatrudnieniu, m.in. do podejmowania decyzji dotyczących awansu lub zakończenia stosunku pracy oraz monitorowania i oceny pracowników.
Co to jest prompt injection?
To technika wpływania na model poprzez odpowiednio przygotowane instrukcje znajdujące się w treści przetwarzanej przez system. W przypadku agenta posiadającego szerokie uprawnienia może to prowadzić nie tylko do błędnej odpowiedzi, lecz także do wykonania niepożądanej operacji.
Czy człowiek powinien zatwierdzać każdą czynność agenta?
Nie zawsze. W pełni ręczne zatwierdzanie wszystkiego ogranicza korzyści z automatyzacji. Udział człowieka powinien rosnąć wraz z potencjalnym znaczeniem i nieodwracalnością skutków działania.
Zostaw komentarz