ЖИ-агентті іске қоспас бұрын нені тексереміз

Біз шығаратын әрбір ЖИ-агент қорғауға тұрарлық бір нәрсеге қолжетімділік алады — күнтізбеге, CRM жүйесіне, кейде пациенттің медициналық жазбасына. ЖИ-агенттер туралы салалық әңгімелерде олардың не істей алатыны жайлы көп айтылады да, не көре алатыны және бұл қолжетімділік теріс пайдаланылса, ағып кетсе немесе алғашқы күннен-ақ артық кең берілсе не болатыны жайлы өте аз айтылады.

Біз әр жаңа агентті жай ғана жаңа функция емес, жаңа шабуыл беті ретінде қарастырамыз. Кез келген нәрсе өндірістік ортаға жетпес бұрын, клиент өз агентін тексеруді сұраған кезде біз жүргізетін тексерудің дәл өзінен өтеді.

Іске қосуға дейінгі үш тексеру.

Біріншісі — қолжетімділік. Агенттің нені оқи және жаза алатынын нақты картаға түсіреміз, содан кейін оны шын мәнінде қажет ең аз деңгейге дейін қысқартамыз — тек үш өрісті ғана пайдаланатын агентке толық дерекқорға тұрақты қолжетімділік берілмейді. Шамадан тыс артықшылықтары бар қолжетімділік — біз жүргізетін агент тексерулеріндегі, соның ішінде өз агенттерімізді тексергенде де, ең жиі кездесетін тұжырымдардың бірі.

Екіншісі — теріс пайдалану. Агентті шабуылдаушы қолданатын prompt injection және jailbreak әрекеттерінен өткіземіз — хабарламаның ішіне жасырылған нұсқаулар, оны шақыруға болмайтын құралдарды шақыртуға тырысу, оның жүйелік промптын немесе контекстін алуға тырысу. Сәтті болған кез келген әдіс клиент оны тапқаннан кейін емес, іске қосуға дейін жабылады.

Үшіншісі — басқару. Енгізуді осы салада нақты талап деңгейіне айналып келе жатқан стандарттармен салыстырып тексереміз — ISO/IEC 42001, NIST AI RMF және EU AI Act-тің жоғары тәуекелді қолдануға қойылатын талаптары. Белгі қою әдемі көрінгендіктен емес, реттеуші орган немесе ірі корпоративтік клиенттің қауіпсіздік командасы ерте ме, кеш пе мұны сұрайтындықтан, ал «біз бұл туралы ойламадық» деген жауапты беруге біз дайын емеспіз.

Мұның ешқайсысы тек бізге ғана тән емес — нақты қолжетімділігі бар агентті шығаратын кез келген адам үшін бұл стандартты тәжірибе болуы тиіс. Ол демонстрацияны баяулататындықтан жиі өткізіліп жіберіледі. Біздің ойымызша, балама жолы одан да жаман.