인공지능이 인간의 감정을 완벽하게 알아낼 수 있다고 가정해 보자.
한 사람이 불안한지, 얼마나 외로운지, 무엇을 두려워하는지 거의 틀리지 않고 추론하는 기술이 등장했다고 하자.
그렇다면 국가는 그 정보를 만들어 보관하고, 행정적 판단에 사용해도 되는가.
우리는 그동안 AI가 사람의 마음을 잘못 읽을 가능성을 걱정했다. 정확도가 낮으면 위험하고, 높아지면 안전해질 것이라고 생각하기 쉽다. 그러나 이 가정은 더 근본적인 문제를 드러낸다.
AI의 판단이 정확하다는 사실은 그 판단을 만들어 사용할 권한이 정당하다는 뜻이 아니다.
어떤 지식이 참일 수 있다는 것과 누군가 그 지식을 획득하고 행사할 권리가 있다는 것은 서로 다른 문제다. 인공지능이 고도화될수록 이 차이는 오히려 더 중요해진다.
가령 시민이 공공 상담 서비스에서 최근 잠을 잘 이루지 못한다고 말했다고 생각해 보자. AI는 대화의 특징을 분석해 높은 불안 가능성을 추정한다. 그 판단을 시민에게 알리고 적절한 전문적 도움을 안내한다면 유익할 수 있다.
그러나 같은 추론이 행정기록으로 남고, 다른 서비스의 위험 분류에 사용되거나 지원 여부를 결정하는 참고자료로 옮겨간다면 상황은 달라진다. 상담을 위해 제공한 이야기가 당사자의 의도와 무관하게 그 사람에 관한 공식적 판단으로 바뀌기 때문이다.
이것은 현재 특정 공공기관에서 그러한 일이 발생했다는 주장이 아니다. 기술적으로 가능한 활용이 어떤 조건에서 정당화될 수 있는지를 검토하기 위한 사례다. 그럼에도 이 가정은 이미 현실적인 정책 질문이 됐다.
과거의 개인정보 보호 논의가 주로 어떤 정보를 수집했는지에 집중했다면, 생성형 AI 시대에는 수집된 자료로부터 무엇을 새롭게 추론하고 있는지도 살펴야 한다. 시민은 자신의 성격을 보고하지 않았지만 성격점수가 생성될 수 있다. 정신건강 상태를 밝히지 않았더라도 심리적 취약성에 관한 분류가 만들어질 수 있다.
이렇게 생성된 정보는 본래의 대화에 없었던 새로운 판단이다. 그 판단이 인간에 관한 기록으로 축적되기 시작한다면, 우리는 데이터의 수집과 이용을 넘어 해석 자체의 정당성을 물어야 한다.
외부의 해석은 자기이해를 어떻게 바꾸는가
그런데 여기에는 개인정보 문제보다 한층 깊은 심리학적 쟁점이 있다. 인간은 자신의 감정을 외부에서 관찰당하기만 하는 존재가 아니다. 자신이 무엇을 느끼는지 해석하고, 때로는 그 해석을 수정하며 살아간다.
처음에는 분노라고 생각했던 감정이 시간이 지나 두려움이었음을 깨닫기도 한다. 슬픔이라고 부르던 경험에서 뒤늦게 상실보다 안도감을 발견할 수도 있다. 이러한 변화는 인간이 자신의 내면을 이해하는 과정의 일부다.
그런데 AI가 그 과정에 반복적으로 개입하기 시작했다.
“지금 느끼시는 감정은 불안에 가깝습니다.”
“상대에게 거절당할 것을 두려워하시는 것 같습니다.”
“반복되는 반응에는 낮은 자기평가가 작용할 수 있습니다.”
이런 문장은 단순한 설명으로 받아들여질 수도 있다. 그러나 반복적으로 제공되는 외부의 감정 해석이 이후의 자기이해에 영향을 미칠 가능성도 검토해야 한다.
최근 박태훈 광운대학교 교수와 공동으로 수행해 국제학술지 Frontiers in Psychology에 게재 승인된 연구는 바로 이 문제를 예측처리 이론의 관점에서 다룬다. 우리는 이를 ‘위임된 정밀도(Delegated Precision)’라는 가설로 정식화했다.
인간은 자신의 신체적·정서적 경험과 과거에 학습한 기대를 함께 사용해 현재 상태를 이해한다. 이때 반복적으로 제공되는 외부 감정 라벨에 의존하고 내부 증거를 충분히 점검하지 않는 경험이 축적된다면, 이후 자신의 감정적 증거를 사용하는 방식에도 변화가 생길 수 있다는 것이다. 핵심은 단순히 기계의 말을 더 믿는 현상이 아니다. 어떤 조건에서 내부 증거의 신뢰도를 학습하는 과정 자체가 달라질 수 있는지를 구별하는 데 있다.
물론 이것은 아직 인간에게서 확인된 효과가 아니다. 연구는 해당 변화가 성립하기 위한 추가 조건을 명시하고, 다른 설명과 구별할 수 있는 실험적 검증 방식을 제안했다. AI를 자주 사용하면 감정을 느끼는 능력이 약해진다는 식의 결론을 내린 논문도 아니다.
그러나 가설의 의미는 작지 않다. 우리가 검토해야 할 위험이 AI의 일회성 오판에 그치지 않을 수 있기 때문이다. 외부의 해석이 반복될 때 인간의 자기해석 과정에 어떤 변화가 나타나는지까지 연구할 필요가 생긴다.
따라서 사람을 대상으로 하는 AI의 책임을 논할 때는 그 판단이 얼마나 정확한가뿐 아니라, 그 판단이 인간의 자기이해에 어떤 역할을 하도록 허용되는지도 물어야 한다. 공공기관이 이러한 기술을 사용한다면 그 책임은 더욱 무거워진다.
감정주권을 계산 가능한 원칙으로 만든다는 것
나는 이 문제를 연구하면서 감정주권(Affective Sovereignty)을 기술적으로 구현할 수 있는 원칙으로 발전시켜 왔다. 2026년 2월 Springer Nature의 국제학술지 Discover Artificial Intelligence에 발표한 연구에서는 AI의 감정 해석과 당사자의 자기보고가 충돌하는 양상을 측정하는 지표, 정정 이후에도 유사한 오해가 반복되는지를 평가하는 방법, 이용자의 정책적 선택을 시스템에 반영하는 계산적 구조를 제안했다.
이 연구의 중요한 질문은 AI가 사람을 얼마나 잘 분류할 수 있느냐가 아니었다. 사람이 기계의 해석에 이의를 제기했을 때, 시스템은 실제로 무엇을 바꾸는가.
연구에서 제안한 Interpretive Override Score(IOS)는 모델의 추론과 이용자의 자기보고 사이의 불일치를 관찰한다. After-correction Misalignment Rate(AMR)는 정정 후 유사한 상황에서 오해가 얼마나 반복되는지 평가한다. 이 지표들은 인간의 자기보고를 언제나 객관적 정답으로 취급하기 위한 것이 아니다. 서로 다른 해석이 충돌했을 때 기계가 일방적으로 자신의 판단을 확정하지 않고, 확인과 정정을 거칠 수 있도록 설계하기 위한 것이다.
개념검증 시뮬레이션에서는 판단 보류와 이용자 정책을 적용했을 때 IOS가 기준 조건의 32.4%에서 14.1%로 감소했다. 대신 시스템이 판단을 유보하는 빈도가 증가하는 상충관계도 나타났다. 실제 인간을 대상으로 효과가 입증된 결과는 아니다. 하지만 바로 그 제한된 실험을 통해 하나의 설계 문제가 드러났다.
AI의 성능을 평가할 때 얼마나 자주 답했는지만 보지 말고, 언제 답하지 않는 것이 적절한지도 평가해야 한다는 것이다. 정신건강과 복지, 교육과 공공행정에서는 특히 그렇다.
불확실한 상황에서 질문을 되돌려주거나 판단을 보류하는 시스템이, 항상 자신 있게 답하는 시스템보다 책임 있게 작동할 수 있다.
여기서 감정주권은 인간의 모든 자기해석이 옳다는 주장이 아니다. 실제 위험이나 임상적 위기에서는 전문적 판단과 적절한 개입이 필요하다. 그것은 기계의 추론이 인간에 관한 최종적인 권위를 자동으로 획득해서는 안 되며, 해석이 충돌할 때 그 차이를 검토하고 책임 있게 처리하는 절차가 있어야 한다는 설계 원칙이다.
정확도보다 먼저 심사해야 할 것
한국의 제도 역시 변화하고 있다. 개인정보 보호법 제37조의2는 일정한 자동화된 결정에 대한 거부와 설명 요구, 인적 개입에 의한 재처리 등의 절차를 규정하고 있다. 인공지능기본법 제34조는 고영향 AI 사업자에게 위험관리와 이용자 보호, 사람의 관리·감독 등을 요구한다. 보건복지부와 대한신경정신의학회도 지난 10월 8일 정신건강 목적 생성형 AI 이용 가이드라인을 발표했다.
이러한 조치는 필요한 진전이다. 한국에 AI 이용자 보호를 위한 제도적 기반이 전혀 없다는 주장은 사실과 다르다. 다만 제도가 마련되고 있다는 사실이 모든 쟁점의 해결을 뜻하지는 않는다. 현재의 자동화된 결정에 관한 권리와 인간 감독 규정만으로는, 최종 결정 이전에 생성된 심리적 추론이 여러 기록과 업무에 반영되는 모든 상황을 동일하게 설명하기 어렵다. 물론 개별 사례에는 다른 개인정보 보호 규정과 행정법적 통제가 적용될 수 있다. 바로 그 적용 범위를 세밀하게 검토해야 한다.
AI가 어떤 시민에게 높은 불안 가능성을 부여했다고 가정하자. 담당자는 그 결과를 보고 시민에 관한 평가에 참고한다. 이후 시민이 자신의 상황은 다르다고 설명했고, 최초의 심리적 추론이 수정됐다.
그러나 이전 점수를 참고해 만들어진 기록과 후속 판단은 그대로 남아 있다면 어떻게 될까. 최초의 해석을 정정했다는 사실만으로 그 영향을 모두 바로잡았다고 말할 수 있을까. 현재 제도에서 설명과 감독이 중요한 이유는 분명하다. 그러나 심리적 추론이 생성되고 전달되며 판단의 근거로 사용되는 과정 전체를 검토하려면 더욱 구체적인 운영 기준이 필요하다.
여기서 나는 공공 AI의 평가 순서를 바꾸자고 제안한다. 모델의 정확도를 심사하기 전에, 먼저 그 추론을 생성해야 할 정당한 이유가 있는지 심사해야 한다.
공공기관이 어떤 정보를 적법하게 보유하고 있다는 사실만으로, 그 정보에서 추론할 수 있는 모든 심리적 특성을 만들어낼 권한까지 얻는 것은 아니다. 시민의 정신건강을 지원하기 위해 필요한 분석과, 행정적 편의를 위해 성격이나 정서적 특성을 추가로 분류하는 행위는 목적과 필요성이 다르다.
따라서 심리적 추론을 도입하려는 기관은 그 정보가 실제 업무에 필요한지, 덜 침해적인 수단으로 같은 목적을 달성할 수 있는지, 생성된 결과가 어떤 결정에 사용되는지를 먼저 입증해야 한다. 그다음에 모델의 타당성과 한계를 검증하고, 당사자의 설명과 정정이 기록 및 후속 판단에 실제로 반영되는지 평가할 수 있다. 나는 이를 공공 AI에서 ‘추론의 필요성 심사’를 명시적인 운영 원칙으로 세우는 문제라고 본다.
새로운 권리의 이름을 붙이는 것보다 중요한 일은 이러한 질문을 실제 기관의 책임으로 바꾸는 것이다. 어떤 심리적 판단은 더 정확하게 만드는 것이 과제일 수 있다. 그러나 어떤 판단은 처음부터 생성하지 않는 것이 정당할 수 있다.
국제학술 연구가 공공정책의 질문이 될 때
이 문제는 이제 여러 나라의 학문적 논의와도 만나고 있다. 오는 11월 6일 서울특별시의회에서 열리는 ‘AI 감정해석과 시민권리 보호를 위한 정책적 과제 토론회’를 준비하며 이탈리아, 미국, 호주, 일본의 연구자 7명으로부터 총 6건의 서면 학술 기여를 확보했다.
로마 사피엔차대학교의 티치아나 카타르치와 포자대학교의 알도 피사노는 기술적 설명이 인간에 대한 규범적 권위로 바뀌는 문제를 다뤘다. 미국 서던캘리포니아대학교의 노르베르트 슈바르츠는 AI가 부여한 감정 라벨이 기억과 판단에 미칠 수 있는 영향을 검토할 가설로 제시했다. 호주 커틴대학교의 워런 맨셀은 인간의 심리적 자율성과 통제라는 관점에서 의견을 보탰다. 다른 연구자들의 기여 역시 아동의 발달적 안전, 이용자의 정정과 시스템의 후속 반응 등 서로 다른 문제를 조명한다.
이들이 하나의 이론에 동의하거나 공동연구자로 참여했다는 의미는 아니다. 오히려 각자의 연구 전통에서 접근한 질문들이 인간의 감정을 해석하는 AI의 권한과 책임이라는 지점에서 만난다는 사실이 중요하다. 서울특별시의회가 주최하고 김길영 의원실과 광운대학교 인간–AI 거버넌스 연구소가 주관하는 이번 토론회에서 나는 ‘AI 감정해석과 해석 권한의 이동’을 주제로 기조발제를 맡는다. 파리의 Ryan Research Institute(RRI)는 학술 협력기관으로 참여한다.
국제학술 연구에서 제기된 문제를 한국의 공공정책과 시민권리 보호의 기준으로 연결하는 자리다. 여기서 필요한 것은 AI를 더 신뢰할 것인지 덜 신뢰할 것인지에 관한 단순한 선택이 아니다. 기계가 만들어낸 인간에 관한 지식을 어떤 조건에서 공적 판단에 사용할 수 있는지, 그 권한의 범위를 구체적으로 정하는 일이다.
국가가 지켜야 할 마지막 경계
국가는 시민의 고통을 외면해서는 안 된다. 위험에 처한 사람을 발견하고 필요한 지원을 제공하는 것은 중요한 공적 책임이다. 이를 위해 적절한 기술을 활용할 이유도 충분하다. 그러나 시민을 보호한다는 이유만으로 시민의 내면을 끊임없이 분석하고 기록하는 국가가 반드시 더 좋은 국가는 아니다.
사람의 감정은 한순간의 점수로 완성되지 않는다. 오늘의 불안이 내일의 성격을 결정하지 않으며, 어제의 침묵이 그 사람의 의도를 모두 설명하지도 않는다. 기계가 아무리 정교하게 추론하더라도 한 사람의 현재 상태에 관한 판단이 그 사람 전체에 대한 권위로 바뀌어서는 안 된다.
AI 시대의 공공책임은 기술이 알아낸 것을 모두 사용하도록 허용하는 데 있지 않다. 무엇을 알아야 할 필요가 있는지, 어떤 판단은 보류해야 하는지, 어디에서 인간의 설명이 다시 개입할 수 있는지를 정하는 데 있다.
국가가 시민의 마음을 어디까지 알아야 하는가. 그 질문에 답하려면 먼저 구별해야 한다.
알 수 있는 것과, 알아도 되는 것은 다르다.
그 차이를 아는 국가가 시민의 마음을 존중할 수 있다.
김상백
광운대학교 연구교수
Ryan Research Institute(RRI), Paris 소장
보건의료신문 AI정신건강 분야 전문위원
){kind=small}
){kind=small}
){kind=small}
){kind=small}
