The post has been translated automatically. Original language: Kazakh
Artificial intelligence (hereinafter – AI) is increasingly applied across organizations' business processes – for data analysis, communication automation, content generation, and decision-support. As the scope of AI application expands, the question of how an organization can confirm that the associated risks are under control grows correspondingly more significant. The formal existence of an AI usage policy does not in itself guarantee its effective application in practice – this is confirmed through AI audit.
AI audit is a relatively new field, distinct from traditional IT audit in terms of its object and methods of review. However, the underlying principle remains unchanged: the object of review is not the technology itself, but the set of processes and control procedures built around it. The key areas typically included in the scope of such an audit are outlined below.
1. Governance
The first area of review is whether the organization has a formalized AI usage policy and a corresponding governance system in place. The following aspects are assessed: whether responsibility for the implementation and operation of specific solutions is assigned; whether a procedure for approving the list of permissible data is established; and whether a centralized register of AI tools in use is maintained.
Without answers to these questions, further assessment loses its meaning – the effectiveness of risk management cannot be confirmed in the absence of clarity as to who is responsible for such management. Review of the governance system precedes the technical assessment of individual models.
2. Data
The next area involves assessing the origin, quality, and processing of the data used by the model. This includes the representativeness of the data, the presence of bias, and the lawfulness of personal data use, including whether the necessary consent of data subjects has been obtained.
This stage is one of the most resource-intensive, given the volume and heterogeneity of the data sets involved, which makes comprehensive verification difficult. Particular importance is placed on data loss prevention (DLP) tools, protocols for handling confidential information, and criteria determining which data sets may be incorporated into the model.
3. The Model
This area involves assessing the technical characteristics of the model: its resilience to attempts to bypass established restrictions through specially crafted queries (prompt injection); the degree of explainability of the model's outputs; and the presence of safeguards against unauthorized copying or extraction of the model (model stealing).
It is essential that such assessment be conducted throughout the model's entire lifecycle, not only at the implementation stage: changes in data and operating conditions may alter the model's risk profile over time, making a one-time review insufficient.
4. Business Processes
A separate area concerns the degree to which AI is integrated into operational processes. This includes reviewing whether quality control procedures exist for AI-generated outputs prior to their use in reporting or decision-making; the level of dependency on a specific vendor or model; and the risks of excessive reliance on AI without verification by personnel.
In essence, this assesses whether human oversight of AI outputs is genuinely embedded in operational activity, rather than existing only on paper.
5. Regulatory and Methodological Framework
A distinctive feature of AI audit is the absence of a single, universally recognized standard, owing to the relative novelty of the field. Nevertheless, a number of reference points have emerged that auditors increasingly rely on:
- NIST AI Risk Management Framework – an AI risk management framework that has gained broad recognition as a practical benchmark;
- ISO/IEC 42001:2023 – an international standard establishing requirements for AI management systems within organizations, along with related ISO/IEC standards (AI terminology, bias and risk management, neural networks);
- EU AI Act – European Union legislation classifying AI systems by risk level and establishing corresponding requirements for each category;
- GDPR, CCPA, PIPL (China) – govern the processing of personal data by AI systems within their respective jurisdictions;
- the OECD Principles on AI and the IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems – establish ethical benchmarks applied even in jurisdictions lacking dedicated regulation.
For organizations operating in international markets or listed on foreign exchanges, familiarity with this regulatory framework is a practical necessity. Relevant questions may be raised by a regulator, an investor, or an external or internal auditor in the course of standard review procedures.
Conclusion
AI audit is not aimed at identifying shortcomings in the technology itself, but at confirming that the benefits of its application are not accompanied by a loss of organizational control. Timely establishment of the relevant processes – a register of tools, a data-handling policy, and procedures for verifying critical outputs – reduces the likelihood of significant deficiencies being identified in the course of subsequent review.
Жасанды интеллект (бұдан әрі – ЖИ) ұйымдардың бизнес-процестерінде барған сайын кеңінен қолданылуда – деректерді талдау, коммуникацияларды автоматтандыру, контент генерациялау және шешім қабылдауды қолдау үшін. ЖИ қолдану аясы кеңейген сайын, ұйымның онымен байланысты тәуекелдердің бақылауда екенін қалай растай алатыны туралы мәселенің маңызы да артады. ЖИ пайдалану саясатының ресми түрде болуы оның іс жүзінде тиімді қолданылуына кепілдік бермейді – мұны растау үшін ЖИ аудиті қолданылады.
ЖИ аудиті – дәстүрлі АТ-аудиттен тексеру объектісі мен әдістері бойынша ерекшеленетін, салыстырмалы түрде жаңа сала. Дегенмен негізгі қағида өзгеріссіз қалады: тексеру объектісі технологияның өзі емес, оның айналасында құрылған процестер мен бақылау рәсімдерінің жиынтығы болып табылады. Төменде осындай аудиттің көлеміне кіретін негізгі бағыттар қарастырылған.
1. Басқару (Governance)
Бірінші бағыт – ЖИ қолдану саясатының және оны басқару жүйесінің ресми түрде бекітілгендігі. Мынадай аспектілер бағаланады: нақты шешімдерді енгізу мен пайдалануға жауапкершілік бекітілген бе; рұқсат етілген деректер тізімін бекіту тәртібі белгіленген бе; қолданылатын ЖИ құралдарының орталықтандырылған тізілімі жүргізіле ме.
Бұл сұрақтарға жауап болмаса, әрі қарайғы бағалаудың мәні болмайды – басқару субъектісі анық болмаған жағдайда тәуекелді басқарудың тиімділігін растау мүмкін емес. Басқару жүйесін тексеру жеке модельдерді техникалық бағалаудан бұрын жүргізіледі.
2. Деректер
Келесі бағыт – модель пайдаланатын деректердің шығу тегін, сапасын және өңдеу процестерін бағалау. Деректердің репрезентативтілігі, біржақтылықтың (bias) болуы, сондай-ақ жеке деректерді пайдаланудың заңдылығы, оның ішінде субъектілердің қажетті келісімінің болуы тексеріледі.
Бұл кезең деректер массивтерінің көлемі мен әртектілігіне байланысты ең еңбексыйымды кезеңдердің бірі болып табылады, бұл оларды толық тексеруді қиындатады. Деректердің ағып кетуінің алдын алу құралдары (DLP), құпия ақпаратпен жұмыс істеу хаттамалары және деректерді модельге қосу критерийлері ерекше маңызға ие болады.
3. Модель
Бұл бағыт модельдің техникалық сипаттамаларын бағалауды қамтиды: арнайы құрастырылған сұраулар арқылы шектеулерді айналып өтуге әрекеттерге төзімділігі (prompt injection), нәтижелердің түсіндірілу дәрежесі (explainability), сондай-ақ модельді рұқсатсыз көшіруден немесе алудан (model stealing) қорғаудың болуы.
Мұндай бағалаудың модельдің бүкіл өмірлік циклі бойында, тек енгізу кезеңінде ғана емес, жүргізілуі маңызды: деректер мен пайдалану жағдайларының өзгеруі уақыт өте модельдің тәуекел профилін өзгертуі мүмкін, сондықтан бір реттік тексеру жеткіліксіз болып табылады.
4. Бизнес-процестер
Жеке бағыт – ЖИ-дің операциялық процестерге интеграциялану дәрежесін бағалау. ЖИ нәтижелерін есептілікте немесе шешім қабылдауда пайдалану алдында сапасын бақылау рәсімдерінің болуы; нақты жеткізушіге немесе модельге тәуелділік деңгейі; персонал тарапынан тексерусіз ЖИ-ге шамадан тыс сенудің тәуекелдері тексеріледі.
Мәні бойынша, ЖИ нәтижелерін адамдардың бақылауы тек формалды түрде ғана емес, операциялық қызметте нақты жүзеге асырылатыны бағаланады.
5. Нормативтік-құқықтық және әдіснамалық база
ЖИ аудитінің ерекшелігі – саланың салыстырмалы жаңалығына байланысты бірыңғай жалпыға танылған стандарттың болмауы. Дегенмен, қазіргі уақытта аудиторлар тексеру барысында сүйенетін бірқатар бағдарлар қалыптасты:
- NIST AI Risk Management Framework – практикалық бағдар ретінде кеңінен танылған ЖИ тәуекелдерін басқару фреймворкі;
- ISO/IEC 42001:2023 – ұйымдардағы ЖИ менеджмент жүйелеріне қойылатын талаптарды белгілейтін халықаралық стандарт, сондай-ақ ISO/IEC сериясының ілеспе стандарттары (ЖИ саласындағы терминология, біржақтылық пен тәуекелдерді басқару, нейрондық желілер);
- EU AI Act – тәуекел деңгейі бойынша ЖИ жүйелерін жіктейтін және әр санатқа тиісті талаптарды белгілейтін Еуропалық Одақтың заңнамалық актісі;
- GDPR, CCPA, PIPL (Қытай) – тиісті юрисдикцияларда ЖИ жүйелерінің жеке деректерді өңдеу тәртібін реттейді;
- ЖИ саласындағы ЭЫДҰ принциптері мен IEEE-дің автономды және интеллектуалды жүйелер этикасы жөніндегі бастамасы – арнайы реттеу болмаған юрисдикцияларда да қолданылатын этикалық бағдарларды белгілейді.
Халықаралық нарықтарда қызмет ететін немесе шетелдік биржаларда листингтен өткен ұйымдар үшін аталған нормативтік базаны білу практикалық қажеттілік болып табылады. Тиісті сұрақтарды реттеуші, инвестор немесе стандартты тексеру рәсімдері шеңберінде сыртқы не ішкі аудитор қоюы мүмкін.
Қорытынды
ЖИ аудиті технологияның өз кемшіліктерін анықтауға емес, оны қолданудың артықшылықтарының ұйым тарапынан бақылауды жоғалтумен қатар жүрмейтінін растауға бағытталған. Процестерді уақтылы қалыптастыру – құралдар тізілімі, деректермен жұмыс саясаты, маңызды нәтижелерді бақылау рәсімдері – кейінгі тексеру барысында елеулі кемшіліктердің анықталу ықтималдығын төмендетеді.
Share
