Aby sme mohli využívať systémy umelej inteligencie s istotou a dôverou, musia byť nielen spoľahlivé, ale aj bezpečné. Na tento aspekt vývoja a nasadzovania systémov AI poukazuje požiadavka na ich technickú odolnosť. Tá vyžaduje, aby sa systémy umelej inteligencie vyvíjali tak, že sa budú správať spoľahlivo a spôsobom, akým sme pôvodne zamýšľali. Zjednodušene povedané, aby systémy AI robili, to čo majú robiť a zároveň nerobili to, čo od nich nechceme, predovšetkým, ak by to mohlo mať negatívny dopad na našu bezpečnosť, zdravie, či základné práva. Zahŕňa tak kritériá, ktoré sa do veľkej miery prekrývajú s požiadavkami na kyberbezpečnosť, akými sú odolnosť voči útokom, alebo existencia záložných plánov pre prípad vzniku závažnej udalosti, ale obsahuje aj otázky týkajúce sa presnosti, spoľahlivosti či reprodukovateľnosti.
Podobne ako akýkoľvek iný softvérový systém, aj systémy umelej inteligencie musia byť chránené a odolné pred zneužitím a potencionálnymi útokmi. Tie sa môžu zameriavať na získanie či znehodnotenie citlivých dát, ale aj modelu samotného, prípadne sa môžu týkať napadnutí celej infraštruktúry. Neželaná zmena správania systému AI môže však nastať aj neúmyselne, napríklad ak takýto systém vystavíme neočakávaným situáciám, ktorým nie je pripravený čeliť (príkladom nasadenia môže byť chatbot Tay), či už je to v prípade nezamýšľaného použitia, či priamo úmyselného zneužitia. Je preto dôležité, aby sme preventívne analyzovali podobné riziká a zároveň nastavili primerané opatrenia na zamedzenie možnej ujmy v každej fáze vývoja, či nasadzovania systémov AI. Samozrejme, úroveň bezpečnostných opatrení závisí však aj od možného rozsahu rizika, ktoré systém umelej inteligencie predstavuje pre ľudí a od špecifického kontextu, v ktorom bude takýto systém nasadený.
Ďalšou z možností, na ktorú poukazuje požiadavka na spoľahlivosť a bezpečnosť je implementácia záložného plánu. To môže znamenať, že systémy umelej inteligencie sa v prípade potreby prepnú do bezpečnejšieho alebo robustnejšieho módu alebo že si pred pokračovaním v činnosti vyžiadajú zásah ľudského operátora, či dokonca sa úplne vypnú. To celé sa môže udiať aj z dôvodu zachovania reputácie spoločnosti, či jej zákazaníkov.
Nemenej podstatným aspektom dôveryhodných AI systémov je aj ich presnosť, resp. negatívne dôsledky, ktoré môžu vyplynúť z ich nepresných výstupov. Týka sa to schopnosti systémov utvárať validné predpovede, odporúčania, či rozhodnutia. Mali by sme preto byť transparentní pri meraní a porovnávaní ich presnosti a zistené nepresnosti, či slabiny otvorene komunikovať, avšak s prihliadnutím na už spomínané požiadavky na bezpečnosť a odolnosť voči zneužitiu.
Presne a jasne definované kritéria na presnosť úzko súvisia aj s otázkou reprodukovateľnosti. Výstupy zo systémov AI by mali byť,spoľahlivé, s ohľadom na to v akom kontexte a s akými vstupnými dátami pracuje, či s ohľadom na špecifické podmienky testovania a nasadenia. Zároveň by výskumníci mali byť schopní fungovanie a správanie takýchto systémov reprodukovať, napríklad pre potreby auditu, či preverenia ich funkčnosti.
