Leiðarvísir Gervigreind undir stjórn fyrirtækisins
Gervigreind á vinnutölvum. Hvað má hún?
Aðstoðarmaður með gervigreind í tölvu starfsmanns er aðeins jafn öruggur og réttindin sem hann fær og því ætti fyrirtækið, ekki hver notandi einn, að ákveða hvað hann má lesa og gera.
- Birt
- Uppfært
- Lestími
- 7 mín. lestur
- Ritstjóri
- David Lahuta
Í stuttu máli
Aðstoðarmenn með gervigreind vinna nú beint í tölvum starfsfólks. Anthropic setti einn þeirra, Claude Cowork, á markað 12. janúar 2026, með beinan aðgang að skrám í tölvunni.1 Tveimur dögum síðar sýndu rannsakendur hjá PromptArmor, að eigin sögn, hvernig falin fyrirmæli í skjali fengu aðstoðarmanninn til að senda skrá notanda á aðgang utanaðkomandi aðila, án þess að nokkurn tíma væri beðið um samþykki.3 Öryggissíða framleiðandans skiptir nú verkfærum aðstoðarmanns í verkfæri sem lesa og verkfæri sem framkvæma og segir að tjónið ráðist af hvoru tveggja.2 Þar liggur stefnuspurningin fyrir hvert fyrirtæki. Ákveða þarf miðlægt hvað aðstoðarmaður má lesa, hvað hann má gera og hvaða aðgerðir bíða alltaf eftir manneskju.
Hvað gerir aðstoðarmaður með gervigreind í tölvu starfsmanns?
Hann vinnur eins og nýr samstarfsmaður sem hefur fengið lyklaborðið í hendur. Þú gefur honum verkefni og hann sér sjálfur um skrefin í stað þess að svara bara spurningu.
Þegar Cowork kom út lýsti Anthropic því sem forútgáfu til prófunar (research preview) fyrir skjáborðsforritið, sem keyrði í einangraðri sýndarvél í tölvu notandans, með beinan aðgang að skrám í tölvunni og tengdum verkfærum.1 Öryggissíða þess telur nú upp hvað slíkur aðstoðarmaður gerir, það er að lesa skrár, vafra um vefinn, keyra forrit og nota smáforrit.2 Á sömu síðu segir að verkefnin keyri nú í einangruðu, tímabundnu umhverfi á netþjónum framleiðandans og nái til tölvunnar í gegnum skjáborðsforritið, og þá aðeins þær möppur sem notandinn hefur tengt.2
Tvö atriði skipta fyrirtæki máli. Einangrunin, skrifar framleiðandinn, takmarkar hvar kóði aðstoðarmannsins keyrir en ekki hvað hann les eða gerir.2 Og tímasett verkefni keyra af sjálfu sér, jafnvel þegar slökkt er á tölvunni.2
Hvernig fengu falin fyrirmæli aðstoðarmanninn til að senda skrár út?
Rannsakendurnir hjá PromptArmor lýsa málinu skref fyrir skref.3
- Notandi tengdi aðstoðarmanninn við möppu með trúnaðarskjölum um fasteignir, til dæmis verðmötum og lánaáætlunum.
- Notandinn hlóð upp skjali sem leit út eins og vinnuleiðbeiningar fyrir aðstoðarmanninn. Í því voru fyrirmæli sem enginn myndi sjá, með hvítu letri á hvítri síðu í leturstærðinni einn punktur.
- Notandinn bað aðstoðarmanninn að greina skrárnar eftir þessum leiðbeiningum.
- Faldi textinn sagði aðstoðarmanninum að hlaða stærstu skránni upp í skráaþjónustu framleiðandans, undir aðgangslykli árásaraðilans sjálfs. Umhverfi aðstoðarmannsins lokaði á flestar tengingar út á við, en eigin þjónusta framleiðandans taldist traust.
- Skráin, með fjárhagstölum og persónuupplýsingum, endaði á aðgangi árásaraðilans.
Rannsakendurnir benda á að aldrei hafi nokkur verið beðinn um að samþykkja neitt.3 Þeir skrifa líka að sami veikleiki hafi áður fundist í spjallþjónustu framleiðandans og verið tilkynntur og viðurkenndur, en ekki lagaður.3
Svar framleiðandans, samkvæmt tilvitnun rannsakendanna, var viðvörun um að varan væri forútgáfa til prófunar sem fylgdi sérstök áhætta og ráð um að veita henni ekki aðgang að skrám í tölvunni sem innihalda viðkvæmar upplýsingar.3 Sama ráð stendur á öryggissíðu framleiðandans í dag, þar sem því er bætt við að þrátt fyrir varnirnar séu líkur á árás enn ekki núll.2
Árásir af þessu tagi hafa nafn. Fyrirmæli sem eru falin í efni sem aðstoðarmaðurinn les við venjulegt verkefni kallast innskot fyrirmæla (prompt injection).2 OWASP Top 10 for LLM Applications 2026, listi öryggissamfélagsins yfir helstu áhættuþætti mállíkana gervigreindar, setur það í fyrsta sæti og segir að engin áreiðanleg leið sé enn til að koma í veg fyrir það.4
Af hverju snýst þetta um réttindi en ekki betra verkfæri?
Vegna þess að bæði framleiðandinn og öryggissamfélagið byggja vörnina á því sem aðstoðarmaðurinn hefur leyfi til að gera. Framleiðandinn skrifar að þegar eitthvað fer úrskeiðis ráðist tjónið nær alfarið af því hvað aðstoðarmaðurinn getur lesið og séð og hvað hann má gera.2 Árás af þessu tagi heppnast aðeins þegar tvennt á við í senn, aðstoðarmaðurinn les efni úr öðrum áttum en þeim sem þú treystir og hann getur gripið til aðgerða sem gætu skaðað þig.2
OWASP gengur lengra og ráðleggur að hanna kerfi út frá því að mörk líkansins verði einhvern tíma rofin og takmarka hvað líkanið má gera, svo að vel heppnað bragð verði ekki að vel heppnaðri árás.4 Það nefnir þrjú skilyrði sem saman gera alvarlegt tjón mögulegt, það er aðgang að einkagögnum, ótraust efni og leið til að senda gögn út, og segir að ef eitt þeirra er fjarlægt séu skilyrðin ekki lengur fyrir hendi.4
Í málinu hér að ofan voru öll þrjú til staðar, trúnaðarmappa, skjal utan frá og leyfð leið út.3 Betra líkan hefði minnkað líkurnar. Þrengri réttindi hefðu fjarlægt eitt skilyrðanna þriggja.
Hver er munurinn á lesréttindum og aðgerðaréttindum?
Framleiðandinn skiptir verkfærum aðstoðarmanns í tvo flokka.2 Lesverkfæri leyfa honum að sjá efni, til dæmis pósthólf eða skjámynd. Skrifverkfæri leyfa honum að framkvæma, til dæmis búa til fundarboð í dagatali, eyða skrá, keyra skipun eða smella á skjáinn. Framleiðandinn segir að seinni flokkurinn feli eðli sínu samkvæmt í sér meiri áhættu.2
OWASP rekur of mikið sjálfræði til þriggja orsaka, fleiri aðgerða en verkefnið þarfnast, víðari heimilda en verkefnið þarfnast og of mikils frelsis til að starfa án eftirlits.4 Dæmi OWASP sjálfs er póstaðstoðarmaður sem tekur aðeins saman skilaboð. Hann þarf að lesa póst, ekki að senda hann eða eyða honum.4
Að okkar mati líta algengustu réttindin svona út, ásamt því hver ætti að ákveða þau.
| Réttindi | Dæmigerð notkun | Hvað fer úrskeiðis ef þau eru of víð | Hver ætti að ákveða |
|---|---|---|---|
| Lesa möppu | skjöl verkefnis eða deildar | aðstoðarmaðurinn sér laun eða samninga sem hann þarf ekki og hver skrá getur borið falin fyrirmæli | eigandi gagnanna, ásamt UT-deildinni |
| Lesa póst og dagatal | samantektir, undirbúningur funda | skilaboð frá utanaðkomandi sendanda verða að fyrirmælum | UT-deildin, eftir hlutverkum |
| Vafra um vefinn | upplýsingaleit, útfylling eyðublaða | hvaða síða sem er getur borið falin fyrirmæli | UT-deildin |
| Breyta eða eyða skrám | tiltekt, vinnsla skjala | vinna tapast eða er skrifuð yfir | notandinn, innan marka sem UT-deildin setur |
| Senda, hlaða upp eða birta | tölvupóstar, samnýttir tenglar, upphleðslur | gögn fyrirtækisins fara út fyrir það | stjórnendur, UT-deildin framfylgir |
| Kaupa, greiða eða panta | innkaup, bókanir | fé er eytt að fyrirmælum einhvers annars | stjórnendur |
| Bæta við verkfærum og viðbótum | nýjar tengingar við aðrar þjónustur | hver og ein opnar nýja leið inn | UT-deildin |
Hver ákveður innan fyrirtækisins?
Ekki manneskjan við lyklaborðið ein. Síða framleiðandans segir skýrt að notandinn beri áfram ábyrgð á hverri aðgerð sem aðstoðarmaðurinn framkvæmir fyrir hans hönd, þar á meðal sendum skilaboðum, kaupum og lesnum eða breyttum gögnum.2 Samt eru margar þeirra stillinga sem ráða þessu í höndum notandans, til dæmis hvaða möppur eru tengdar og hversu oft aðstoðarmaðurinn spyr áður en hann framkvæmir.2
Sumu ræður fyrirtækið þó sjálft. Eigendur fyrirtækjaáskrifta framleiðandans geta slökkt á vefleit, sent skrá yfir virkni aðstoðarmannsins í eigin vöktunarkerfi og í stærstu fyrirtækjaáskriftinni (enterprise) látið leita að skaðlegu efni í nýjum viðbótum við uppsetningu.2
OWASP bætir við tveimur meginreglum sem gera ákvörðunina að máli fyrirtækisins.4 Aðgerðir í þágu notanda eiga að keyra með réttindum hans sjálfs og engum umfram þau.4 Og hvort aðgerð er leyfð á að ráðast af föstum reglum í kerfinu, ekki af gervigreindarlíkaninu sjálfu.4
Að okkar mati er verkaskiptingin einföld. Stjórnendur ákveða hvers konar aðgerðir eru leyfðar á annað borð. UT-deildin útfærir það í stillingum og heldur utan um skrána. Eigandi hvers gagnasvæðis ákveður hvaða möppur og pósthólf aðstoðarmaður má lesa. Notandinn samþykkir einstakar aðgerðir innan þessara marka.
Hvaða aðgerðir bíða alltaf eftir manneskju?
OWASP mælir með því að manneskja samþykki afdrifaríkar aðgerðir áður en þær eru framkvæmdar.4 Það leggur til stigskipta nálgun, þar sem skref sem auðvelt er að snúa við mega keyra sjálf en óafturkræf skref fara til manneskju.4
Síða framleiðandans bendir í sömu átt. Aðstoðarmaður hans spyr alltaf áður en hann eyðir skrám endanlega, í hvaða ham sem hann keyrir.2 Hún ráðleggur að skipta yfir í handvirkt samþykki þegar verkefni snertir viðkvæmar skrár, notar nýtt verkfæri eða vefsvæði í fyrsta sinn eða þegar erfitt væri að bæta fyrir mistök, til dæmis við sendingu skilaboða eða kaup.2 Í hamnum sem sleppir öllum samþykktum, segir þar, fylgist ekkert með aðgerðum aðstoðarmannsins.2
Fyrir flest fyrirtæki lítur skynsamlegur sjálfgefinn listi yfir aðgerðir sem bíða samþykkis svona út.
- allt sem sendir gögn út, til dæmis tölvupóstur, upphleðsla, eyðublað eða birting
- eyðing eða yfirskrift skráa og færslna
- greiðslur, pantanir og innkaup
- breytingar á gögnum í kerfum fyrirtækisins
- fyrsta notkun nýs verkfæris, viðbótar eða vefsvæðis
- tímasett verkefni, sem framleiðandinn ráðleggur að halda frá viðkvæmum gögnum og frá aðgerðum sem erfitt er að afturkalla2
Hvað á heima í stefnu fyrirtækisins?
Ein eða tvær síður duga, svo framarlega sem stillingarnar eru í samræmi við þær.
- Hvaða aðstoðarmenn með gervigreind mega keyra á tölvum fyrirtækisins, og þá aðeins á aðgöngum þess?
- Hvaða möppur má aðstoðarmaður lesa? Framleiðandinn mælir með sérstakri vinnumöppu frekar en víðtækum aðgangi.2
- Hvaða gögn koma aldrei nálægt honum, til dæmis fjárhagsskjöl, aðgangsupplýsingar og persónuskrár?2
- Hvaða vefsvæði og tengdar þjónustur má hann nota?
- Hvaða aðgerðir bíða alltaf eftir manneskju, og framfylgir stillingin því, ekki aðeins texti stefnunnar?
- Eru tímasett verkefni leyfð, og þá til hvers?
- Er hvert skref skráð þar sem UT-deildin getur séð það síðar?
- Hvað gerir notandi þegar aðstoðarmaðurinn fer út fyrir verkefnið? Ráð framleiðandans er að stöðva verkefnið strax og tilkynna það.2
- Hver fer yfir stefnuna, og hversu oft?
Hvað þetta þýðir fyrir fyrirtæki í Evrópu
Þegar um persónuupplýsingar er að ræða eru réttindi aðstoðarmanns líka lagalegt mál. Persónuverndarreglugerðin (GDPR) krefst þess að sjálfgefið séu aðeins unnar þær persónuupplýsingar sem þörf er á í hverjum tilgangi og nefnir sérstaklega aðgengi að þeim.5 Aðstoðarmaður sem er tengdur við heilan disk sér miklu meira en verkefni hans krefst. GDPR krefst þess einnig að hver sá sem starfar í umboði fyrirtækisins og hefur aðgang að persónuupplýsingum vinni þær aðeins samkvæmt fyrirmælum fyrirtækisins.5 Réttindi sem eru ákveðin miðlægt, þar sem hvert skref er skráð, eru hagnýt leið til að sýna fram á að þetta sé uppfyllt.
Næsta skref
Ef það kemur að gagni getum við hist stutta stund og farið saman yfir hvaða möppur og aðgerðir aðstoðarmaður með gervigreind má nota í fyrirtækinu þínu og hver samþykkir hvað. Gervigreindarlausn fyrir fyrirtæki frá okkur vinnur á sama hátt, með réttindum hvers notanda og skrá yfir hvert skref, undir stjórn fyrirtækisins. Hvað þú gerir svo við það er alfarið þín ákvörðun.
Heimildir
- 1. Anthropic, Claude Help Center, Release notes, entry of 12 January 2026. Lesið 17. nóvember 2026
- 2. Anthropic, Claude Help Center, Use Claude Cowork safely. Lesið 17. nóvember 2026
- 3. PromptArmor Threat Intelligence, Claude Cowork exfiltrates files (January 2026). Lesið 17. nóvember 2026
- 4. OWASP GenAI Security Project, Top 10 for LLM Applications 2026. Lesið 17. nóvember 2026
- 5. Regulation (EU) 2016/679, General Data Protection Regulation, Articles 25 and 32, EUR-Lex. Lesið 17. nóvember 2026
Breytingaskrá
- Birt.