설명가능 인공지능(Explainable AI)이 금융 분야의 다음 화두로 떠오르는 가운데, 국내 핀테크 연구개발 기업 주식회사 오공일공(영문명 5010 Technologies, 이하 5010 Tech)이 기술설명회를 열었다. AI 기반 의사결정이 금융 전반으로 확산되는 가운데, 그 위험을 어떻게 관리하고 판단 근거를 어떻게 설명·검증할 것인가를 주제로 다룬 자리로, 산업·기술업계 관계자를 포함한 150여 명이 참석했다. 이 자리에서 5010 Tech는 거대언어모델(LLM)이 직접 수치나 결정을 만들지 않고, 결정론적(deterministic) 계산이 모든 판단 근거를 산출하도록 설계한 위험 탐지 엔진을 소개했다.
왜 지금 ‘설명가능 금융 AI’인가
최근 글로벌 인공지능 규제 환경은 고위험(high-risk) AI 시스템에 대해 추적 가능성(traceability)과 설명 가능성, 인간 감독을 강화하는 방향으로 빠르게 움직이고 있다. 대표적으로 유럽연합(EU)의 인공지능법(AI Act)은 고위험 AI에 위험관리, 자동 로깅, 인간 감독 등의 의무를 부과하고 있다. 이러한 규제 흐름은 AI가 내린 결정의 ‘추적과 설명’ 능력을 사실상 기본 요건으로 끌어올리고 있다.
금융처럼 규제가 강하고 신뢰가 핵심인 영역에서는 이 변화가 더욱 크게 다가온다. ‘무엇이 위험한가’를 출력하는 것을 넘어, ‘왜 위험한가’를 감사 가능한 근거로 제시할 수 있는 기술의 가치가 커질 수밖에 없기 때문이다. 실제로 많은 조직이 자사 AI가 무엇을 하는지는 설명하더라도, 특정 결정이 어떻게 내려졌는지를 재구성하는 데는 어려움을 겪고 있다는 지적이 나온다.
‘결정은 코드가, 설명은 AI가’… 설계 원리로 규제에 대응
5010 Tech의 접근이 눈길을 끄는 지점도 여기에 있다. 이 회사는 위험을 판정하는 모든 수치를 결정론적 코드가 산출하도록 하고, 거대언어모델은 그 위에서 ‘왜 위험한가’를 설명하는 역할만 담당하도록 구조를 분리했다. 동일한 입력에는 항상 동일한 출력이 나오므로 판정 근거를 감사하고 재현할 수 있다.
“거대언어모델은 숫자도 결정도 만들지 않는다. 결정론적 계산이 시스템의 척추이고, LLM은 그 위에서 ‘왜 위험한가’를 설명하는 계층일 뿐이다.” 핵심은 이 설명 가능성과 감사 가능성이 사후에 덧붙인 기능이 아니라 설계 원리 자체에서 나온다는 점이다. 규제가 요구하는 추적 가능성과 인간 감독에 구조적으로 부합한다는 것이 5010 Tech가 내세우는 차별점이다.
이날 설명회에서는 AI 기반 의사결정의 위험 관리라는 주제가 비중 있게 다뤄졌다. 자동화된 판단과 AI 도구가 빠르게 확산되는 가운데, 그 판단 근거를 설명하고 검증하지 못하면 오작동과 규제 리스크에 노출될 수 있다는 문제의식이 제시됐다. 이는 특정 산업에 국한되지 않고, AI를 도입하는 여러 조직이 공통적으로 마주하는 과제이기도 하다.
이러한 맥락에서 위험을 사전에 탐지하고 그 근거를 설명할 수 있는 엔진의 필요성이 강조됐다. 5010 Tech가 소개한 전략 인지형 위험 탐지·평가 엔진(SFE)은 사전에 정의된 전략의 관점에서 현재 시장이 얼마나 위험한지를 판정하고 그 근거를 인자 단위로 설명하는 방식으로, 이러한 요구에 대응하는 사례로 제시됐다.
‘순수 수학적 모델링 기업’의 지향
2024년 설립된 5010 Tech는 복잡한 데이터로부터 위험을 정량적으로 판정하고 그 근거를 설명하는 인공지능 기술을 연구해온 기업이다. 판단의 근거를 감(感)이나 직관이 아니라 재현 가능한 수학적 모델로 설명하겠다는 문제의식에서 출발했으며, 서울과 두바이, 미국에 법인을 두고 있다.
5010 Tech는 2024년 3월 서울 양재 엘타워에서 첫 기술설명회를 개최한 이래, 유관 업계 종사자들을 대상으로 매년 주기적으로 기술설명회를 이어오고 있다. 빠르게 발전하는 AI 기술에 업계가 함께 대응하고, 설명 가능하고 감사 가능한 금융 AI에 대한 이해를 넓혀가자는 취지에서다.
회사는 자사를 “금융공학 회사가 아니라 순수 수학적 모델링 기업”으로 규정한다. 화려한 예측을 파는 것이 아니라 재현 가능하고 감사 가능하며 설명 가능한 기술을 만든다는 것이다. 설명가능하고 감사 가능한 금융 AI 의사결정의 표준을 제시함으로써 국내 핀테크·AI 산업의 신뢰 기반을 강화하겠다는 목표를 밝혔다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
