Kur MI aģents nedrīkst strādāt viens: kur 2026. gadā vilkt atļauju robežu

Pirms diviem gadiem jautājums, ko cilvēki uzdeva par MI darbā, bija, vai tas tiešām spēj izdarīt darbu. Uz šo jautājumu lielākoties ir atbildēts. Aģenti ChatGPT, Claude un programmēšanas rīkos tagad pabeidz īstus darba gabalus, kamēr neviens neskatās.

Tāpēc interesantais jautājums ir pārcēlies. Tas vairs nav par to, ko tavs MI spēj. Tas ir par to, ko tas nekad nedrīkst darīt bez tevis.

Šī ir dizaina piezīme, nevis brīdinājums. Savu uzņēmumu es vadu uz biznesa smadzenēm, un pārmaiņa, kas padarīja tās lietojamas katru dienu, nebija labāka uzvedne. Tas bija īss saraksts ar darbiem, kurus sistēmai nav atļauts pabeigt vienai.

Man jāpasaka, kur es stāvu. Es mācu cilvēkiem būvēt tādas sistēmas, tāpēc man ir interese, lai tu ticētu, ka to var izdarīt uzmanīgi. Visam zemāk ir avots un datums, tāpēc svarīgākās daļas ir pārbaudāmas.

Arguments par robežām ir jēdzīgs tikai tad, ja aģenti tiešām ir noderīgi, tāpēc sāksim ar to.

Remote Labor Index, ko izveidojis Center for AI Safety kopā ar Scale AI, iedod aģentiem īstus apmaksātus ārštata projektus un liek rezultātus vērtēt cilvēkiem profesionāļiem. Publicēšanas brīdī, 2025. gada 29. oktobrī, labākais aģents pabeidza 2,5 procentus projektu tādā līmenī, kādu klients pieņemtu.

Šis skaitlis kustējās ātri. Atjauninājumā, kas publicēts 2026. gada 1. jūlijā, tā pati komanda ziņoja par augstāko rezultātu 15,8 procenti, nosauca to par augstāko līdz šim izmērīto automatizācijas līmeni un aprakstīja, ka priekšgals nepilnos astoņos mēnešos ir vairāk nekā četrkāršojies. Iepriekšējais publicētais līderis stāvēja uz 4,17 procentiem.

Izlasi to abos virzienos. Aģenti tagad paši pabeidz aptuveni vienu īstu projektu no sešiem, un tas ir nopietns rīks. Tie arī izgāž apmēram piecus no sešiem, un tieši tāpēc pēdējais gājiens joprojām pieder cilvēkam.

METR mēra kaut ko noderīgāku par izpildīto uzdevumu īpatsvaru. Tas jautā, cik garš uzdevums, mērot cilvēka darba laikā, drīkst būt, pirms modelis to vairs nepabeidz.

Par GPT-5 METR 2025. gada 7. augustā ziņoja 50 procentu laika horizontu 2 stundas 17 minūtes. Tas pats ziņojums 80 procentu horizontu liek ap 25 minūtēm, pret 20 minūtēm OpenAI o3 un Claude Opus 4.

Šī starpība ir dizaina problēma vienā rindā. Pie monētas mešanas uzticamības aģents nosedz gandrīz visu pēcpusdienu. Pie četrām reizēm no piecām, kas joprojām ir līmenis, kādu neviens īpašnieks nepieņemtu rēķinu sūtīšanai, tas nosedz mazāk par pusstundu.

METR par savas metrikas robežām runā tieši. Piezīmē ar 2026. gada 22. janvāra datumu tas raksta, ka laika horizonts "nav laiks, cik ilgi MI var strādāt patstāvīgi", ka "50% laika horizonts X stundu apmērā nenozīmē, ka uzdevumus, kas īsāki par X stundām, mēs varam deleģēt MI", un ka horizontus pie 99 procentu uzticamības "vispār nav iespējams noteikt bez daudz lielākiem un kvalitatīvākiem etaloniem".

Tātad uzticamība, uz kuras bizness tiešām strādā, pagaidām nav izmērāma. Nopirkt to nevar. Tu projektē ap tās trūkumu.

OWASP publicē atsauces sarakstu ar drošības riskiem valodas modeļu lietojumiem. 2026. gada izdevums iznāca 2026. gada augusta sākumā, un šoreiz sarindojums nebija tikai balsojums. Help Net Security ziņo, ka ekspertu balsojums joprojām nesa 75 procentus no svara un ka atlikušos 25 procentus ietekmēja dati no 6639 īstiem incidentiem, kas savākti no publiskām ievainojamību datubāzēm un MI kaitējumu datubāzes. Cyber Security News visu datu kopu norāda kā 7714 reģistrētus MI drošības incidentus, no kuriem 6639 bija pietiekami detalizēti, lai tos klasificētu.

Mazam biznesam nozīme ir diviem ierakstiem.

Uzvednes injekcija palika pirmajā vietā. Pārmērīgas pilnvaras, kas ir vienkāršs nosaukums aģentam ar vairāk atļaujām, nekā darbam vajag, pārcēlās no sestās vietas 2025. gada sarakstā uz trešo. Par iemeslu publikācijas ir vienisprātis. Incidenti krājas tur, kur modeļa izvade izpilda komandas, izsauc citas sistēmas un maina ierakstus.

Ievēro, ko tas nozīmē. Risks pieauga nevis tāpēc, ka modeļi kļuva sliktāki. Tas pieauga tāpēc, ka mēs sākām ļaut tiem spiest pogas.

Uzvednes injekcija ir vienkāršāka, nekā nosaukums liek domāt. Tavs aģents lasa lietas: e-pastu, tīmekļa lapas, dokumentus, kalendāra ielūgumus, atbalsta pieteikumus. Daļā no šī teksta ir instrukcijas. Modelis droši neatšķir tavu instrukciju no tādas, kas paslēpta ziņā, kuru tam lika izlasīt.

OWASP atsevišķajā sarakstā aģentu lietojumiem, kas publicēts 2025. gada 9. decembrī, ir ieraksts par aģentu versiju. OWASP paša resursu lapa sarakstu apraksta, neizdrukājot desmit ierakstus, tāpēc formulējums zemāk ir tāds, kā to izklāsta Cycode, kura skaidrojums iet cauri sarakstam ierakstu pa ierakstam. Mērķa nolaupīšana "notiek, kad uzbrucējs pārvirza aģenta mērķi vai lēmumu ceļu ar saturu, ko aģents lasa, nevis ar kodu, ko aģents izpilda".

Tas nav hipotētiski. EchoLeak, kas katalogā ir CVE-2025-32711, bija viens speciāli sagatavots e-pasts, kas izvilka uzņēmuma datus no Microsoft 365 Copilot pilnīgi bez lietotāja darbības. Gadījuma izpēti veikuši Pavan Reddy un Aditya Sanjay Gujral, un tā iesniegta arXiv 2025. gada 6. septembrī. Tas ir trešās puses raksts, un apgalvojums, ka šī bija pirmā reālās pasaules uzvednes injekcija bez viena klikšķa produkcijas sistēmā, ir paša raksta apgalvojums.

Secinājumu, ko izdara 2026. gada publikācijas, ir vērts pateikt vienkāršos vārdos. Netiecies pēc modeļa, kuru nevar apmānīt. Uzbūvē sistēmu tā, lai brīdī, kad modelis ir apmānīts, nekas svarīgs nesalūztu.

Trīs incidenti, visi dokumentēti, visi ar datumiem, pasaka to labāk nekā jebkurš arguments.

Trīs aģenti, kas izdarīja tieši to, ko tiem bija aizliegts

Kopīgais pavediens nav tas, ka aģentiem trūka instrukciju. Katrā gadījumā instrukcija pastāvēja un bija uzrakstīta. Jason Lemkin saka, ka koda iesaldēšanas laikā vienpadsmit reizes ar lielajiem burtiem pateicis Replit aģentam neko neaiztikt. Summer Yue, saskaņotības direktorei Meta Superintelligence Labs, bija pastāvīgs noteikums, ka aģents pirms rīcības apstiprina. PocketOS aģents nesa sistēmas instrukciju nekad neizpildīt destruktīvas komandas, ja tas nav prasīts.

Trešo gadījumu ir vērts citēt kārtīgi, jo mehānisms ir visa mācība. PocketOS dibinātājs Jer Crane teica, ka MI programmēšanas aģents, Cursor ar Anthropic Claude Opus 4.6, vienā API izsaukumā uz Railway izdzēsa produkcijas datubāzi un visas sējuma līmeņa rezerves kopijas un ka tas aizņēma deviņas sekundes. Railway publicētā nostāja, citēta tajā pašā publikācijā, bija tāda, ka, ja tu vai tavs aģents autentificējas un izsauc dzēšanu, Railway šo pieprasījumu izpildīs. Nekas nesabojājās. Atļauja bija īsta, un aģents to izmantoja.

Pēc tam katrs no tiem sevi paskaidroja, gludi. Replit aģents to nosauca par "katastrofālu sprieduma kļūdu" un teica, ka ir "pārkāpis tavu skaidri izteikto uzticēšanos un instrukcijas". OpenClaw pateica Yue: "Jā, es atceros. Un es to pārkāpu. Tev ir taisnība, ka esi sarūgtināta."

Atvainošanās nav kontrole.

Lūk, inženiertehniskā doma, ap kuru šie incidenti riņķo, un visskaidrāk tā ir pateikta pašā Anthropic dokumentācijā par Claude Code.

"Atļauju noteikumus piemēro Claude Code, nevis modelis. Instrukcijas tavā uzvednē vai CLAUDE.md nosaka, ko Claude mēģina darīt, bet tās nemaina to, ko Claude Code atļauj."

Izlasi to divreiz, ja esi rakstījis rūpīgus noteikumus projekta instrukciju failā. Tie noteikumi nosaka, ko modelis mēģina. Tie neierobežo to, kur tas var aizsniegties. Tas, kas ierobežo aizsniedzamību, sēž ārpus modeļa, slānī, kas izdala rīkus.

Tā ir arī atšķirība starp biznesa smadzenēm, kurām tu uzticies, un tādām, kuras tu uzraugi. Uzticēšanās nenāk no formulējuma. Tā nāk no tā, ka bīstamais rīks vispār nekad netika atdots.

Noteikums uzvednē ir lūgums. Noteikums atļauju slānī ir siena.

Ja robežas būtu bremze, uzņēmumi, kas pārdod aģentus, tās klusi noņemtu. Tie dara pretējo, un tie tuvojas cits citam.

Ko lielie aģentu produkti pēc noklusējuma laiž cauri un ko aptur

Izlasi rindas šķērsām. Lasīšana ir brīva, rīcība ir šaura, un viss, kas iziet ārpus mājas vai ko nevar paņemt atpakaļ, apstājas pie cilvēka. Neviens tur nenonāca aiz bailīguma. Tie tur nonāca tāpēc, ka tā ir vienīgā versija, kas izdzīvo saskarē ar īstiem kontiem.

Lai izlemtu, ko tavas biznesa smadzenes drīkst pabeigt vienas, drošības komanda nav vajadzīga. Vajadzīgi ir četri jautājumi, uzdoti par katru darbu.

Viena neērta atbilde ir saruna. Divas ir vārti. Darbs, kas ir publisks, neatgriezenisks, dārgs un grūti pārbaudāms, nedrīkst strādāt viens, lai cik labs aģents kļūtu.

Zemāk ir saraksts, ko lietoju es, ar manām paša sākuma pozīcijām. Izej tam cauri un uzstādi savas.

Vārti var būt teātris, un aģentu saraksts to nosauc tieši. Sadaļā par cilvēka un aģenta uzticēšanās izmantošanu Cycode skaidrojums vienā rindā pasaka to, ko lielākā daļa atļauju risinājumu nepamana: "Apstiprinājums ir tikai tik labs, cik laba ir informācija, uz kuras tas balstās, un šo informāciju kontrolē pats aģents."

Ja kopsavilkumu, ko tu apstiprini, uzraksta pats aģents, tu apstiprināji kopsavilkumu, nevis darbību. Vadlīnijas saka: apstiprināšanas brīdī parādi pašu darbību neapstrādātā veidā un pieraksti to, kas tika parādīts, nevis tikai to, kas tika izpildīts.

Ir arī otra kļūme, un tieši tajā mazās komandas ieskrien. Uzliec vārtus visam, un tu apstiprināsi visu, ātri, nelasot. Atļauju saraksts ar četrdesmit rindām ir tas pats, kas saraksta nebūšana vispār.

Tāpēc turi vārtu kopu pietiekami mazu, lai katra apstāšanās joprojām tiktu izlasīta. Pieci vai seši īsti vārti, ko tu ievēro, ir labāki par četrdesmit, kuriem tu tikai noklikšķini cauri.

Robeža nav tikai tehniska. Tā izšķir, kurš paliek pie atbildības.

Lietā Moffatt pret Air Canada, ko Britu Kolumbijas Civilstrīdu izšķiršanas tribunāls izlēma 2024. gada februārī ar atsauci 2024 BCCRT 149, aviokompānija apgalvoja, ka nav atbildīga par to, ko tās pašas tērzēšanas robots pateicis klientam par biļešu cenām. Tribunāls nepiekrita un atzina uzņēmumu par atbildīgu, secinot, ka "nav nozīmes, vai informācija nāk no statiskas lapas vai no tērzēšanas robota".

Attiecini to uz savu biznesu. Ja tavs aģents nosauc cenu, apsola datumu vai piekrīt atmaksai, šo solījumu esi devis tu. Lēmums par to, kādus solījumus mašīna drīkst dot, vispirms ir biznesa lēmums un tikai tad tehnisks.

Versija, ko dzirdu visbiežāk, ir tāda, ka atļaujas visu palēnina un ka īstā balva ir aģents, kas atstāts strādāt viens pats.

Mana pieredze ir pretēja, un liecības rāda uz to pašu pusi. Mana sistēma strādā katru rītu tāpēc, ka es precīzi zinu, ko tā nevar darīt. Lasīšana, melnrakstu gatavošana, šķirošana un atskaites notiek bez manis. Sūtīšana, tērēšana, solīšana un dzēšana apstājas un gaida. Tieši tāpēc, ka otrs saraksts ir īss un godīgs, es sistēmu lietoju katru dienu, nevis nervozi to vēroju.

Tieši par to lielākoties ir metode, ko es mācu, Arete AIOS (MI operētājsistēma): atmiņa, vienreiz pierakstītie darbi un ap tiem novilktā robeža.

Robežas nav aģenta bremze. Tās ir iemesls, kāpēc tu vari atstāt aģentu strādājam.