대규모 언어 모델(LLM, Large Language Model)은 다음에 올 가장 그럴듯한 토큰(단어)을 예측하도록 설계되어 있습니다. 이 구조는 모델이 "모른다"고 말하는 것보다 "그럴듯하게 들리는 것"을 생성하도록 유인합니다. 그 결과, 모델은 존재하지 않는 책, 논문, 판례, 인물을 실제인 것처럼 자신 있게 생성합니다. 이를 환각(hallucination)이라고 부릅니다.

환각은 무작위적이지 않습니다. 모델이 해당 주제에 대한 훈련 데이터가 부족할수록, 또는 질문이 매우 구체적인 사실을 요구할수록 환각 가능성이 높아집니다. 특히 법률, 의학, 역사적 세부 사항에서 자주 발생합니다.

2023년 이후 AI 기업들은 환각을 줄이기 위한 여러 기법을 개발했습니다. 가장 주목받는 방법은 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 이 방법은 모델이 답변을 생성하기 전에 신뢰할 수 있는 외부 데이터베이스를 먼저 검색하도록 강제합니다. 또한 모델이 확신이 없을 때 "모른다"고 명시적으로 말하도록 학습시키는 연구도 진행 중입니다.

AI 시스템에서 책임을 묻는 것이 어려운 이유는 결정이 여러 주체에 분산되기 때문입니다. AI를 개발한 연구자, 이를 제품화한 기업, 정책에 적용한 정부기관, 그리고 일상에서 사용하는 개인 — 이 모든 주체가 각자의 역할을 했지만, 피해가 발생했을 때 누구도 전적인 책임을 지지 않으려 합니다. 이를 책임의 공백(accountability gap)이라고 합니다.

SyRI 사건에서 네덜란드 정부는 "시스템이 그렇게 결정했다"는 논리를 내세웠습니다. 그러나 법원은 AI의 결정도 그것을 채택한 인간 기관의 결정임을 명확히 했습니다. 도구가 자동화되었다고 해서 책임까지 자동화되지는 않습니다.

현재 EU AI법(EU AI Act, 2024년 발효)은 AI 시스템을 위험도에 따라 분류하고, 고위험 AI(의료, 사법, 복지 등)에 대해서는 배포자가 반드시 인간 감독을 유지해야 한다고 규정합니다. 이는 "AI가 결정했다"는 변명을 법적으로 차단하는 구조입니다.

AI 모델의 편향은 크게 세 단계에서 발생합니다. 첫 번째는 데이터 수집 단계입니다. 인터넷 데이터는 영어권·남성·선진국 편향이 강합니다. 특정 집단이 과소 대표되면, 모델은 그 집단에 대해 덜 정확하거나 더 부정적인 예측을 합니다. 두 번째는 레이블링 단계입니다. 인간 레이블러들의 주관적 판단이 데이터에 주입됩니다. 세 번째는 최적화 단계입니다. 모델이 전체 정확도를 최대화하도록 학습될 때, 소수 집단에 대한 오류는 전체 수치에 미치는 영향이 작아 무시됩니다.

특히 위험한 것은 AI가 편향을 단순히 반영하는 데 그치지 않고 증폭한다는 점입니다. 예를 들어, 채용 AI가 과거 남성 채용 데이터로 학습되면 남성 지원자를 선호하게 됩니다. 이 AI가 실제 채용에 사용되면 남성 채용이 더 많아지고, 그 결과 데이터는 더욱 남성 편향이 됩니다. 이 순환을 피드백 루프(feedback loop)라고 합니다.

아마존은 2014년부터 이런 채용 AI를 개발했다가 2018년 내부 감사에서 여성 지원자에게 불이익을 주는 것을 발견하고 프로젝트를 폐기했습니다.

2016년 쵸울드파파니콜라우(Chouldechova)와 클라인버그(Kleinberg) 등의 연구자들은 수학적으로 중요한 사실을 증명했습니다. 결과 기반 공정성 지표들 — 예를 들어 교정 공정성(calibration), 균형 잡힌 오류율 — 은 집단 간 기저율(base rate)이 다를 경우 동시에 만족시킬 수 없습니다. 이를 공정성 불가능성 정리(Impossibility Theorem of Fairness)라고 합니다.

COMPAS 논쟁은 이 정리의 실제 사례였습니다. 두 집단의 재범률이 서로 다른 상황에서, 하나의 알고리즘이 모든 공정성 기준을 동시에 만족하는 것은 수학적으로 불가능했습니다.

공정성의 정의를 선택하는 행위는 기술적 결정이 아니라 정치적·윤리적 결정입니다. 어떤 오류(거짓 양성 vs 거짓 음성)를 더 용납할 수 있는지, 누구의 피해가 더 심각한지는 사회적 가치 판단을 요구합니다. 따라서 AI 공정성 논의는 알고리즘 설계자만의 문제가 아니라 사법 시스템, 정책 입안자, 피영향 공동체 모두가 참여해야 하는 민주적 논의입니다.

AI 시스템의 실패는 크게 네 가지 유형으로 분류할 수 있습니다. 기술적 실패는 소프트웨어 버그, 하드웨어 오류, 모델의 수치적 불안정성에서 비롯됩니다. 운영적 실패는 시스템이 설계된 맥락 밖에서 사용될 때 발생합니다. 사회기술적 실패는 AI와 인간이 상호작용하는 방식에서 예상치 못한 문제가 발생하는 경우입니다. 창발적 실패는 개별 구성 요소가 정상 작동하더라도 시스템 전체 차원에서 예측 불가능한 행동이 나타나는 경우입니다.

플래시 크래시 이후 미국 증권거래위원회(SEC)는 서킷 브레이커(circuit breaker) 메커니즘을 강화했습니다. 주가가 일정 수준 이상 급변하면 거래를 자동으로 중단시켜 알고리즘의 연쇄 반응을 차단하는 방식입니다. 이는 AI 시스템에 의도적으로 인간 개입 기회를 만드는 설계 패턴의 좋은 사례입니다.

딥러닝 모델은 고차원 입력 공간에서 특정 결정 경계를 학습합니다. 적대적 예제(adversarial example)는 이 결정 경계 근처에서 미세하게 조작된 입력으로, 인간에게는 원본과 동일하게 보이지만 모델에게는 완전히 다른 클래스로 분류됩니다. 이것이 가능한 이유는 고차원 공간에서 결정 경계가 인간의 지각 방식과 매우 다른 방향으로 형성되기 때문입니다.

더 위험한 것은 블랙박스 공격의 가능성입니다. 공격자가 모델의 내부 구조를 전혀 모르더라도, 모델의 출력값만을 관찰하면서 적대적 예제를 생성할 수 있습니다.

적대적 공격은 이미지, 텍스트, 음성, 센서 데이터 등 모든 종류의 AI 입력에서 발생할 수 있습니다. 방어 전략으로는 적대적 훈련(adversarial training)이 가장 널리 사용됩니다. 훈련 데이터에 적대적 예제를 포함시켜 모델이 이에 강인하도록 학습시키는 방법입니다. 그러나 방어와 공격은 끊임없이 진화하는 군비 경쟁 구조를 가지고 있습니다.

AI 감사(AI Audit)는 단순한 성능 테스트가 아닙니다. 좋은 AI 감사는 최소한 세 가지 층위를 포괄해야 합니다. 첫째, 기술적 감사는 모델의 정확도, 강인성, 보안 취약점을 측정합니다. 둘째, 공정성 감사는 다양한 집단에 대한 성능 차이와 편향을 측정합니다. 셋째, 영향 감사는 시스템이 실제 배포 환경에서 어떤 사회적 결과를 만들어내는지를 추적합니다.

영국 비자 사례는 내부 감사가 얼마나 쉽게 실패할 수 있는지를 보여줍니다. 시스템을 개발하고 배포한 조직이 동시에 감사를 담당하면 독립성이 결여됩니다. 이 때문에 독립적 제3자 감사(third-party audit)의 필요성이 강조됩니다.

AI 평가에서 중요한 경고가 있습니다. 굿하트의 법칙(Goodhart's Law): "측정치가 목표가 되는 순간, 그것은 더 이상 좋은 측정치가 아니다." AI 벤치마크에서 좋은 점수를 받기 위해 최적화된 모델이 실제 환경에서 실패하는 경우가 반복적으로 발생합니다. 평가 지표는 현실을 반영하는 도구일 뿐, 그 자체가 목적이 될 수 없습니다.