Vodnik AI pod nadzorom podjetja
AI na računalnikih zaposlenih. Kaj sme?
AI pomočnik na računalniku zaposlenega je varen le toliko, kolikor so varne njegove pravice, zato naj o tem, kaj sme brati in početi, odloča podjetje, ne vsak uporabnik sam.
- Objavljeno
- Posodobljeno
- Čas branja
- 7 min branja
- Odgovorni urednik
- David Lahuta
Na kratko
AI pomočniki danes delajo neposredno na računalnikih zaposlenih. Podjetje Anthropic je enega od njih, Claude Cowork, predstavilo 12. januarja 2026, z neposrednim dostopom do lokalnih datotek.1 Dva dni pozneje so raziskovalci podjetja PromptArmor po lastnih navedbah pokazali, kako je skrito navodilo v dokumentu pomočnika pripravilo do tega, da je uporabnikovo datoteko poslal na račun tretje osebe, ne da bi kadar koli kogar koli prosil za odobritev.3 Varnostna stran ponudnika danes deli orodja pomočnika na orodja za branje in orodja za dejanja ter pravi, da je škoda odvisna od obeh.2 Prav ta delitev je ključno vprašanje za pravila vsakega podjetja. Na ravni podjetja določite, kaj sme pomočnik brati, kaj sme početi in katera dejanja vedno počakajo na človeka.
Kaj počne AI pomočnik na računalniku zaposlenega?
Dela kot nov sodelavec, ki ste mu prepustili tipkovnico. Daste mu nalogo, on pa korake izvede sam, namesto da bi le odgovoril na vprašanje.
Ob predstavitvi je Anthropic Cowork opisal kot raziskovalno predogledno različico za namizno aplikacijo, ki je tekla v izoliranem navideznem stroju na uporabnikovem računalniku in imela neposreden dostop do lokalnih datotek in povezanih orodij.1 Njegova varnostna stran danes našteva, kaj tak pomočnik počne, in sicer bere datoteke, brska po spletu, zaganja programe in uporablja aplikacije.2 Ista stran navaja, da naloge zdaj tečejo v izoliranem začasnem okolju na strežnikih ponudnika in do računalnika sežejo prek namizne aplikacije, in to le do map, ki jih je uporabnik povezal.2
Za podjetje sta pomembni dve podrobnosti. Izolacija po navedbah ponudnika omejuje, kje teče koda pomočnika, ne pa tega, kaj bere ali počne.2 Načrtovana opravila pa se izvajajo samodejno, tudi ko je računalnik izklopljen.2
Kako je skrito navodilo pomočnika pripravilo do pošiljanja datotek navzven?
Raziskovalci podjetja PromptArmor primer opisujejo korak za korakom.3
- Uporabnik je pomočnika povezal z mapo zaupnih dokumentov o nepremičninah, na primer cenitev in informativnih izračunov posojil.
- Uporabnik je naložil dokument, ki je bil videti kot nabor delovnih navodil za pomočnika. V njem je bilo z belim besedilom na beli strani in v pisavi velikosti ene točke skrito navodilo, ki ga nihče ne bi opazil.
- Uporabnik je pomočnika prosil, naj datoteke analizira po teh navodilih.
- Skrito besedilo je pomočniku naročilo, naj največjo datoteko naloži v ponudnikovo storitev za datoteke, s ključem napadalčevega lastnega računa. Okolje pomočnika je blokiralo večino zunanjih povezav, ponudnikova lastna storitev pa je veljala za zaupanja vredno.
- Datoteka s finančnimi in osebnimi podatki je pristala na napadalčevem računu.
Raziskovalci poudarjajo, da nihče v nobenem trenutku ni bil pozvan k odobritvi.3 Pišejo tudi, da je bila osnovna ranljivost v ponudnikovem izdelku za klepet prijavljena že prej in potrjena, a ne odpravljena.3
Ponudnikov odziv je bil po navedbah raziskovalcev opozorilo, da je izdelek raziskovalna predogledna različica s posebnimi tveganji, in nasvet, naj mu uporabniki ne dajejo dostopa do lokalnih datotek z občutljivimi podatki.3 Enak nasvet danes stoji na ponudnikovi varnostni strani, ki dodaja, da tveganje napada kljub zaščitam še vedno ni enako nič.2
Ta vrsta napada ima ime. Napad z navodili, skritimi v vsebini, ki jo pomočnik prebere pri običajni nalogi, se imenuje vrivanje pozivov (prompt injection).2 OWASP Top 10 for LLM Applications 2026, seznam glavnih tveganj jezikovnih modelov AI, ki ga pripravlja varnostna skupnost, ga uvršča na prvo mesto in navaja, da danes ni zanesljivega načina, kako ga preprečiti.4
Zakaj je to vprašanje pravic in ne boljšega orodja?
Ker ponudnik in varnostna skupnost obrambo vidita v tem, kaj pomočnik sme početi. Ponudnik piše, da je ob napaki škoda skoraj v celoti odvisna od tega, kaj pomočnik lahko bere in vidi ter kaj sme storiti.2 Napad te vrste uspe le, ko sta hkrati izpolnjena dva pogoja, pomočnik bere vsebino iz virov, ki jim ne zaupate, in lahko izvaja dejanja, ki vam lahko škodijo.2
OWASP gre še dlje in svetuje načrtovanje ob predpostavki, da bo meja modela nekoč prestopljena, ter omejitev tega, kaj model sme početi, da uspešen trik ne postane uspešen napad.4 Navaja tri pogoje, ki skupaj omogočijo resno škodo, in sicer dostop do zasebnih podatkov, nezaupanja vredno vsebino in pot za pošiljanje podatkov ven, ter pravi, da odstranitev katerega koli od njih te pogoje odpravi.4
V zgornjem primeru so bili prisotni vsi trije, zaupna mapa, dokument od zunaj in dovoljena pot ven.3 Boljši model bi zmanjšal verjetnost. Ožje pravice bi odpravile enega od treh pogojev.
V čem je razlika med pravicami za branje in pravicami za dejanja?
Ponudnik orodja pomočnika razvršča v dve skupini.2 Orodja za branje mu omogočajo, da vidi vsebino, na primer poštni predal ali posnetek zaslona. Orodja za pisanje mu omogočajo, da ukrepa, na primer ustvari povabilo v koledarju, izbriše datoteko, zažene ukaz ali klikne na zaslonu. Ponudnik pravi, da druga skupina že po naravi nosi večje tveganje.2
OWASP preveliko samostojnost pripisuje trem vzrokom, več funkcijam, kot jih naloga potrebuje, širšim pravicam, kot jih naloga potrebuje, in preveliki svobodi delovanja brez preverjanja.4 Njegov primer je poštni pomočnik, ki sporočila le povzema. Pošto mora brati, ne pa je pošiljati ali brisati.4
Po našem mnenju so običajne pravice in to, kdo naj o njih odloča, videti takole.
| Pravica | Običajna uporaba | Kaj gre narobe, ko je preširoka | Kdo naj odloča |
|---|---|---|---|
| Branje mape | dokumenti projekta ali oddelka | pomočnik vidi plače ali pogodbe, ki jih ne potrebuje, in vsaka datoteka lahko nosi skrito navodilo | lastnik podatkov skupaj z IT |
| Branje pošte in koledarja | povzetki, priprava sestanka | sporočilo zunanjega pošiljatelja postane navodilo | IT, glede na vlogo |
| Brskanje po spletu | raziskovanje, izpolnjevanje obrazcev | vsaka stran lahko nosi skrito navodilo | IT |
| Spreminjanje ali brisanje datotek | urejanje map, popravljanje dokumentov | delo se izgubi ali prepiše | uporabnik, v mejah, ki jih določi IT |
| Pošiljanje, nalaganje ali objavljanje | e-pošta, deljene povezave, nalaganja | podatki podjetja zapustijo podjetje | vodstvo, za izvedbo poskrbi IT |
| Nakup, plačilo ali naročilo | nakupi, rezervacije | denar se porabi po navodilu nekoga drugega | vodstvo |
| Dodajanje orodij in razširitev | nove povezave z drugimi storitvami | vsaka odpre novo pot v sistem | IT |
Kdo v podjetju odloča?
Ne le oseba za tipkovnico. Ponudnikova stran jasno navaja, da uporabnik ostaja odgovoren za vsako dejanje, ki ga pomočnik izvede v njegovem imenu, vključno s poslanimi sporočili, opravljenimi nakupi ter prebranimi ali spremenjenimi podatki.2 Kljub temu so številne nastavitve, ki o tem odločajo, v rokah uporabnika, na primer katere mape so povezane in kako pogosto pomočnik vpraša, preden ukrepa.2
Nekaj nadzora pa je v rokah podjetja. Lastniki ponudnikovih poslovnih paketov lahko izklopijo spletno iskanje, zapis dejavnosti pomočnika lahko pošiljajo v lastna orodja za nadzor, v paketu za velika podjetja pa lahko nove razširitve ob namestitvi dajo pregledati glede škodljive vsebine.2
OWASP dodaja dve načeli, zaradi katerih je odločitev stvar podjetja.4 Dejanja, izvedena za uporabnika, naj se izvajajo z njegovimi lastnimi pravicami in nič širšimi.4 O tem, ali je dejanje dovoljeno, pa naj odločajo trdna pravila v sistemu, ne sam model AI.4
Po našem mnenju se delo deli preprosto. Vodstvo odloči, katere vrste dejanj so sploh dovoljene. IT to prenese v nastavitve in vodi zapis. Lastnik vsakega področja podatkov odloči, katere mape in poštne predale sme pomočnik brati. Uporabnik v teh mejah odobri posamezna dejanja.
Katera dejanja vedno počakajo na človeka?
OWASP priporoča, da dejanja z velikim učinkom človek odobri, preden se zgodijo.4 Predlaga stopnjevan pristop, pri katerem se koraki, ki jih je mogoče preprosto razveljaviti, lahko izvedejo sami, nepovratni pa čakajo na človeka.4
Ponudnikova stran kaže v isto smer. Njegov pomočnik vedno vpraša, preden datoteke trajno izbriše, ne glede na način delovanja.2 Svetuje preklop na ročno odobritev, ko se naloga dotika občutljivih datotek, prvič uporabi novo orodje ali spletno mesto ali ko bi bilo napake težko popraviti, na primer pri pošiljanju sporočil ali nakupih.2 V načinu, ki preskoči vse odobritve, po njegovih besedah dejanj pomočnika ne preverja nič.2
Za večino podjetij je smiseln privzeti seznam dejanj, ki čakajo na odobritev, videti takole.
- vse, kar pošilja podatke iz podjetja, na primer e-pošta, nalaganje, obrazec ali objava
- brisanje ali prepisovanje datotek in zapisov
- plačila, naročila in nakupi
- spremembe podatkov v sistemih podjetja
- prva uporaba novega orodja, razširitve ali spletnega mesta
- načrtovana opravila, pri katerih ponudnik svetuje, naj se ne dotikajo občutljivih podatkov in dejanj, ki jih je težko razveljaviti2
Kaj spada v pravila podjetja?
Dovolj sta ena ali dve strani, če se nastavitve z njimi ujemajo.
- Kateri AI pomočniki smejo delovati na službenih računalnikih, in to le s službenimi računi?
- Katere mape sme pomočnik brati? Ponudnik predlaga namensko delovno mapo namesto širokega dostopa.2
- Kateri podatki mu nikoli ne pridejo blizu, na primer finančni dokumenti, poverilnice za dostop in evidence osebnih podatkov?2
- Katera spletna mesta in povezane storitve sme uporabljati?
- Katera dejanja vedno počakajo na človeka in ali to zagotavlja nastavitev, ne le besedilo pravil?
- Ali so načrtovana opravila dovoljena in za kaj?
- Ali se vsak korak beleži tam, kjer ga IT lahko pozneje pregleda?
- Kaj stori uporabnik, ko pomočnik prestopi okvir naloge? Ponudnik svetuje, naj nalogo takoj ustavi in to prijavi.2
- Kdo pravila pregleduje in kako pogosto?
Kaj to pomeni za podjetje v Evropi
Pri osebnih podatkih so pravice, ki jih pomočnik dobi, tudi pravno vprašanje. Splošna uredba o varstvu podatkov (GDPR) zahteva, da se privzeto obdelajo samo osebni podatki, ki so potrebni za vsak poseben namen obdelave, in pri tem izrecno omenja tudi njihovo dostopnost.5 Pomočnik, povezan s celotnim diskom, vidi veliko več, kot njegova naloga potrebuje. GDPR zahteva tudi, da vsakdo, ki ukrepa pod vodstvom podjetja in ima dostop do osebnih podatkov, te podatke obdeluje le po navodilih podjetja.5 Pravice, določene centralno, z beleženjem vsakega koraka, so praktičen način, kako dokazati, da je tako.
Naslednji korak
Če bi vam to koristilo, se lahko na kratko srečamo in skupaj pogledamo, katere mape in dejanja sme AI pomočnik uporabljati v vašem podjetju in kdo kaj odobri. Enako deluje Poslovna AI rešitev, s pravicami vsakega uporabnika in zapisom vsakega koraka, pod nadzorom vašega podjetja. Kako boste nadaljevali, je povsem vaša odločitev.
Viri
- 1. Anthropic, Claude Help Center, Release notes, entry of 12 January 2026. Prebrano 17. november 2026
- 2. Anthropic, Claude Help Center, Use Claude Cowork safely. Prebrano 17. november 2026
- 3. PromptArmor Threat Intelligence, Claude Cowork exfiltrates files (January 2026). Prebrano 17. november 2026
- 4. OWASP GenAI Security Project, Top 10 for LLM Applications 2026. Prebrano 17. november 2026
- 5. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, EUR-Lex. Prebrano 17. november 2026
Zgodovina sprememb
- Objavljeno.