윤리학은 추상적인 철학이 아닙니다. AI 시대에 윤리는 누군가의 대출 심사, 취업 기회, 의료 진단을 결정하는 실제 코드 속에 존재합니다.
AI 결정에 '옳고 그름'이라는 개념을 적용하는 것이 가능할까요?
2019년, 미국의 대형 보험사 시그나(Cigna)는 AI 알고리즘을 사용해 의료비 청구를 자동으로 거부했습니다. 조사 결과, 의사들이 한 달에 평균 1.2초씩 각 환자 파일을 검토했음이 밝혀졌습니다. 프로퍼블리카(ProPublica)의 보도에 따르면 시스템은 단 2개월 만에 300,000건 이상의 청구를 검토하고 거부했으며, 이 중 상당수는 실제 의학적 필요가 있는 환자들의 청구였습니다. 거부된 환자들 대부분은 이의제기 방법조차 몰랐습니다.
윤리학의 세 가지 주요 프레임워크
윤리학(Ethics)은 "무엇이 옳은 행동인가?"를 묻는 학문입니다. AI 시스템에 이 질문을 적용할 때, 철학자들이 수백 년간 발전시킨 세 가지 주요 프레임워크가 즉각적으로 충돌합니다.
결과주의(Consequentialism)는 행동의 결과로 옳고 그름을 판단합니다. 공리주의(Utilitarianism)가 대표적이며, "최대 다수의 최대 행복"을 추구합니다. 시그나의 경우, 결과주의자는 "이 알고리즘이 전체적으로 더 많은 사람에게 이익을 주는가?"를 물을 것입니다.
의무론(Deontology)은 결과와 무관하게 행동 자체의 옳고 그름을 판단합니다. 칸트(Kant)의 철학에 기반하며, "환자를 단순한 수단으로 취급해서는 안 된다"는 원칙을 적용합니다. 1.2초의 검토는 인간의 존엄성을 침해하는 행위입니다.
덕 윤리학(Virtue Ethics)은 "좋은 사람이라면 어떻게 행동할까?"를 묻습니다. 아리스토텔레스에 기반하며, 의사의 덕목인 공감, 신중함, 정의를 AI 설계에 어떻게 반영할 수 있는지 고민합니다.
AI 윤리가 철학과 다른 이유
전통적인 윤리적 딜레마는 한 번에 한 사람 또는 소규모 집단에 영향을 미칩니다. AI는 다릅니다. 시그나 사례에서 단 하나의 알고리즘이 수십만 건의 결정을 내렸습니다. 이는 윤리적 실패가 전례 없는 규모로 증폭될 수 있음을 의미합니다.
또한 AI의 결정은 종종 불투명합니다. 대출이 거부됐을 때 왜 거부됐는지 설명하기 어렵습니다. 책임(accountability)의 주체도 불분명합니다. 알고리즘을 설계한 엔지니어인가, 도입을 승인한 경영진인가, 규제를 허용한 정부인가?
핵심 개념
AI 윤리의 고유한 도전: 규모(Scale) — 하나의 편향된 알고리즘이 수백만 명에게 영향을 미칩니다. 불투명성(Opacity) — 왜 그런 결정이 내려졌는지 설명하기 어렵습니다. 책임의 분산(Diffused accountability) — 누구도 단독으로 책임지지 않는 구조가 형성됩니다.
윤리적 판단의 실제 적용
시그나 사례에 세 가지 프레임워크를 적용해 봅시다. 결과주의적 관점에서 이 시스템이 정말로 더 나은 결과를 낳았는지 묻는다면, 거부된 청구 중 정당한 의료 필요가 있었던 비율이 핵심 데이터가 됩니다. 의무론적 관점에서는 환자에게 설명과 이의제기 기회를 제공하지 않은 것 자체가 윤리 위반입니다. 덕 윤리학적 관점에서는 의료 시스템이 갖춰야 할 공감과 신중함의 덕목이 완전히 제거되었습니다.
이 세 프레임워크는 모두 동일한 결론에 도달합니다. 그러나 현실의 AI 윤리 문제들은 항상 이렇게 명확하지 않습니다. 다음 수업들에서 우리는 훨씬 더 복잡한 사례들을 분석할 것입니다.
📝 Quiz · Lesson 1
퀴즈: 윤리란 무엇인가?
다음 세 문제에 답하여 개념을 확인하세요.
1. 시그나(Cigna)의 AI 시스템이 의료비 청구를 거부한 사례에서, 환자에게 이의제기 기회를 주지 않은 것이 윤리적으로 문제라고 주장하는 프레임워크는?
✅ 정확합니다! 의무론은 결과와 무관하게 행위 자체의 옳고 그름을 판단합니다. 칸트의 관점에서 환자를 단순한 처리 대상으로 취급하는 것은 그 자체로 윤리 위반입니다.
❌ 아닙니다. 의무론(Deontology)이 정답입니다. 칸트적 관점에서 인간을 수단으로만 취급하는 행위는 결과와 무관하게 옳지 않습니다.
2. AI 윤리가 전통적 윤리 문제와 구별되는 가장 중요한 특성은 무엇입니까?
✅ 맞습니다! 규모(Scale)는 AI 윤리의 핵심 도전입니다. 시그나 사례처럼 단 하나의 시스템이 2개월 만에 300,000건 이상의 결정을 내릴 수 있습니다.
❌ 틀렸습니다. AI 윤리의 가장 고유한 특성은 규모입니다. 하나의 편향된 알고리즘이 수백만 명에게 동시에 영향을 미칠 수 있어, 윤리적 실패가 전례 없는 규모로 증폭됩니다.
3. 결과주의(Consequentialism)적 관점에서 AI 알고리즘의 윤리성을 평가하려면 무엇이 가장 중요합니까?
✅ 정확합니다! 결과주의는 행동의 결과로 옳고 그름을 판단합니다. 속도, 의도, 법적 준수 여부가 아니라 실제 결과가 판단 기준입니다.
❌ 아닙니다. 결과주의는 결과를 판단 기준으로 삼습니다. 알고리즘의 속도나 개발자 의도가 아니라, 그 결정이 실제로 더 나은 결과를 만들어내는지가 핵심입니다.
🧪 Lab · Lesson 1
실습: 윤리 프레임워크 적용
AI 윤리학자와 대화하며 실제 사례에 세 가지 프레임워크를 적용해 보세요.
실습 목표
이 실습에서는 AI 윤리 전문가와 대화하며, 실제 AI 도입 사례에 결과주의·의무론·덕 윤리학을 적용하는 능력을 키웁니다.
AI가 제시하는 사례에 자신의 윤리적 입장을 밝히세요.
어떤 프레임워크를 근거로 삼았는지 명확히 설명하세요.
AI의 반론에 어떻게 응답할지 생각해 보세요.
💬 예시 발언: "저는 결과주의 관점에서 이 사례를 분석하면 전체적으로 부정적인 결과가 더 크다고 생각합니다. 왜냐하면..."
🤖 AI 윤리 토론 파트너
윤리 프레임워크 분석
🎯 Advanced · Lesson 2
누가 결정하는가?
AI 시스템이 잘못된 결정을 내렸을 때, 책임은 누구에게 있습니까? 엔지니어? 경영진? 정부? 이 질문은 생각보다 훨씬 복잡합니다.
AI가 해를 끼쳤을 때 법적·도덕적 책임은 누구에게 귀속됩니까?
2018년 3월 18일, 우버(Uber)의 자율주행 차량이 애리조나 주 템피(Tempe)에서 보행자 엘레인 헤르츠버그(Elaine Herzberg)를 치어 사망하게 했습니다. 차량에는 안전 운전자 라파엘라 바스케스(Rafaela Vasquez)가 탑승해 있었지만 당시 태블릿으로 동영상을 시청 중이었습니다. 미국 NTSB(국가교통안전위원회) 조사에 따르면, 우버의 소프트웨어는 보행자를 인식했지만 "알 수 없는 물체"로 분류했고, 비상 제동 시스템은 의도적으로 비활성화되어 있었습니다. 바스케스는 2023년 유죄를 인정했지만, 우버에 대한 형사 기소는 이루어지지 않았습니다.
거버넌스 공백: 누가 AI를 통제하는가
우버 사례는 AI 거버넌스(AI Governance)의 핵심 문제를 드러냅니다. 기술이 법과 제도보다 훨씬 빠르게 발전할 때, 책임의 주체가 불분명해집니다. 우버는 애리조나 주 정부의 허가를 받아 공공 도로에서 자율주행 테스트를 진행했습니다. 사고 당시 어떤 연방 규정도 자율주행 안전 기준을 명확히 규정하지 않았습니다.
이 사례에서 책임의 층위를 분석하면 다음과 같습니다:
개별 운전자: 바스케스는 주의 의무를 게을리했고 유죄를 인정했습니다.
기업: 우버는 비상 제동 시스템을 비활성화하는 결정을 내렸지만 형사 기소를 피했습니다.
규제 당국: 애리조나 주는 충분한 안전 기준 없이 테스트를 허가했습니다.
엔지니어: 소프트웨어를 설계한 팀은 보행자 분류 오류를 알고 있었을 가능성이 있습니다.
책임의 분산 문제
법철학자들은 이를 "많은 손의 문제(Problem of Many Hands)"라고 부릅니다. 여러 사람이 복잡한 시스템에 기여할 때, 어떤 결과에 대해서도 누구도 완전히 책임지지 않는 상황이 발생합니다. AI 시스템은 이 문제를 극단적으로 심화시킵니다.
전형적인 AI 시스템에는 데이터 수집자, 데이터 라벨러, 모델 훈련 엔지니어, 제품 매니저, 법무팀, 경영진, 규제 당국이 모두 관여합니다. 누군가 잘못된 결정을 내리더라도, "나는 내 역할만 했을 뿐"이라고 말할 수 있습니다.
거버넌스 원칙
EU AI 법(AI Act, 2024년 발효)은 이 문제를 해결하기 위해 "고위험 AI 시스템"에 대해 명확한 책임 주체를 지정하도록 요구합니다. 이는 법적 책임을 특정 역할에 귀속시키는 첫 번째 포괄적 시도입니다.
📝 Quiz · Lesson 2
퀴즈: 누가 결정하는가?
우버 자율주행 사고 사례와 AI 거버넌스 개념을 확인합니다.
1. 2018년 우버 자율주행 차량 사망 사고에서 NTSB가 밝힌 소프트웨어의 핵심 문제는 무엇이었습니까?
✅ 정확합니다! 시스템은 보행자를 감지했지만 올바르게 분류하지 못했고, 비상 제동은 의도적으로 비활성화되어 있었습니다. 이는 기술적 실패이자 의사결정의 실패입니다.
❌ 틀렸습니다. NTSB 조사에 따르면 소프트웨어는 보행자를 인식했지만 "알 수 없는 물체"로 잘못 분류했고, 비상 제동 시스템은 의도적으로 비활성화되어 있었습니다.
2. "많은 손의 문제(Problem of Many Hands)"가 AI 시스템에서 의미하는 것은?
✅ 맞습니다! 많은 손의 문제는 복잡한 시스템에서 책임이 분산되어 아무도 온전히 책임지지 않는 구조적 문제를 말합니다.
❌ 아닙니다. 많은 손의 문제는 복잡한 AI 시스템 개발에 여러 주체가 관여할 때, 어떤 해로운 결과에 대해서도 누구도 완전한 책임을 지지 않는 상황을 설명합니다.
3. EU AI 법(AI Act)이 "고위험 AI 시스템"에 대해 요구하는 핵심 조항은 무엇입니까?
✅ 정확합니다! EU AI 법은 책임의 분산 문제를 해결하기 위해 고위험 AI 시스템에 대해 법적 책임 주체를 명확히 지정하도록 요구합니다.
❌ 틀렸습니다. EU AI 법은 고위험 AI 시스템에 대해 명확한 책임 주체를 지정하도록 요구합니다. 이는 "많은 손의 문제"를 해결하기 위한 입법적 접근입니다.
🧪 Lab · Lesson 2
실습: AI 사고의 책임 분석
AI 법률 분석가와 대화하며 실제 사고 사례에서 누가 책임을 져야 하는지 논증해 보세요.
실습 목표
AI 사고가 발생했을 때 책임의 층위를 분석하고, 법적·도덕적 책임을 어떻게 귀속해야 하는지 논증하는 능력을 키웁니다.
AI가 제시하는 사례에서 책임 주체를 식별하세요.
각 주체의 책임 비중을 어떻게 배분할지 논거를 제시하세요.
현행 법이 충분한지 비판적으로 평가하세요.
💬 예시 발언: "저는 우버 사례에서 기업의 책임이 가장 크다고 봅니다. 왜냐하면 비상 제동 시스템을 의도적으로 비활성화한 결정은 경영진 수준에서 내려진 것이기 때문입니다."
🤖 AI 법률 분석 파트너
책임 귀속 분석
🎯 Advanced · Lesson 3
실제 피해, 실제 사람들
AI의 피해는 추상적이지 않습니다. 취업 거부, 대출 거절, 잘못된 의료 진단 — 이는 특정 사람들의 삶을 바꾸는 실제 사건입니다.
AI의 피해는 누구에게 가장 크게 집중됩니까?
2020년, MIT 미디어랩의 조이 부올람위니(Joy Buolamwini)와 팀닛 게브루(Timnit Gebru)의 연구를 바탕으로 미국 NIST(국립표준기술연구소)가 조사한 결과, IBM, 마이크로소프트, 페이스(Face++) 등 주요 기업의 얼굴 인식 AI가 흑인 여성을 백인 남성보다 최대 34.7% 높은 오류율로 인식하는 것으로 나타났습니다. 실제 결과: 미국 디트로이트에서 얼굴 인식 소프트웨어를 사용한 경찰이 로버트 윌리엄스(Robert Williams)라는 흑인 남성을 잘못 체포했습니다. 그는 30시간 구금되었으며, 나중에 AI가 그를 감시 영상 속 절도범과 잘못 매칭했다는 것이 밝혀졌습니다.
피해의 유형학
AI 윤리학자들은 AI가 유발하는 피해를 여러 유형으로 분류합니다. 이 분류는 피해를 진단하고 해결책을 찾는 데 필수적입니다.
배분적 피해(Allocative Harm): AI가 특정 집단에게 기회, 자원, 서비스를 불공정하게 배분합니다. 예) 흑인 지원자를 백인보다 낮게 평가하는 채용 알고리즘.
표현적 피해(Representational Harm): AI가 특정 집단을 비하하거나 고정관념화합니다. 예) 검색 엔진이 "CEO" 검색 시 대부분 백인 남성을 보여줍니다.
서비스 품질 피해(Quality-of-Service Harm): AI가 특정 집단에게 낮은 품질의 서비스를 제공합니다. 예) 음성 인식 AI가 아시아계 억양을 더 자주 오인식합니다.
개인정보 피해(Privacy Harm): AI가 동의 없이 개인 데이터를 수집하거나 처리합니다.
피해는 왜 불균등하게 분포됩니까
로버트 윌리엄스 사례는 중요한 패턴을 보여줍니다. AI 피해는 사회적으로 이미 취약한 집단에 불균형적으로 집중됩니다. 이는 우연이 아닙니다.
AI 훈련 데이터는 역사적 불평등을 반영합니다. 과거에 백인 남성이 "CEO"로 주로 사진에 찍혔다면, AI는 CEO = 백인 남성이라는 패턴을 학습합니다. 얼굴 인식 데이터셋이 주로 밝은 피부 톤으로 구성되었다면, 어두운 피부 톤에서 성능이 저하됩니다. 이것은 기술적 문제인 동시에 사회적·역사적 문제입니다.
중요한 사실
2021년 미국에서만 얼굴 인식 오류로 인한 잘못된 체포 사례가 최소 3건 공식 기록되었습니다. 모두 흑인 남성이었으며, 모두 나중에 무고로 밝혀졌습니다. 이 숫자는 공식 기록된 것만이며 실제는 더 많을 것으로 추정됩니다.
📝 Quiz · Lesson 3
퀴즈: 실제 피해, 실제 사람들
AI 피해의 유형과 실제 사례를 확인합니다.
1. 로버트 윌리엄스(Robert Williams) 사건에서 AI 얼굴 인식 시스템이 범한 오류의 유형은 무엇입니까?
✅ 맞습니다! 윌리엄스 사례는 AI의 오류로 인해 법적 처벌이라는 자원(이 경우 부정적 자원)이 불공정하게 배분된 전형적인 배분적 피해입니다.
❌ 아닙니다. 이 사례는 배분적 피해에 해당합니다. AI의 잘못된 매칭으로 인해 법적 처벌이 특정 개인에게 불공정하게 적용되었습니다.
2. NIST 조사에 따르면, 상용 얼굴 인식 AI의 정확도가 가장 낮은 대상은 누구였습니까?
✅ 정확합니다! 부올람위니와 게브루의 연구에 기반한 NIST 조사는 흑인 여성에 대한 오류율이 백인 남성보다 최대 34.7% 높다는 것을 발견했습니다.
❌ 틀렸습니다. NIST 조사에서 흑인 여성에 대한 오류율이 백인 남성보다 최대 34.7% 높은 것으로 나타났습니다. 이는 훈련 데이터의 편향을 반영합니다.
3. AI 피해가 취약 집단에 불균등하게 집중되는 근본적인 이유는 무엇입니까?
✅ 맞습니다! AI 훈련 데이터는 과거 사회의 불평등한 패턴을 담고 있으며, AI는 이 패턴을 학습하여 재현합니다. 이는 기술적이자 사회적·역사적 문제입니다.
❌ 아닙니다. AI 피해의 불균등 분포는 주로 훈련 데이터가 역사적 불평등을 반영하기 때문입니다. AI는 과거의 편향된 패턴을 학습하고 증폭시킵니다.
🧪 Lab · Lesson 3
실습: AI 피해 유형 진단
AI 피해 분석가와 대화하며 실제 사례에서 피해 유형을 식별하고 해결책을 제안해 보세요.
실습 목표
실제 AI 피해 사례를 분석하여 유형을 분류하고, 왜 특정 집단이 더 큰 피해를 받는지 구조적으로 설명하는 능력을 키웁니다.
AI가 제시하는 사례에서 피해 유형(배분적·표현적·서비스 품질·개인정보)을 식별하세요.
피해가 왜 특정 집단에 집중되는지 분석하세요.
이 피해를 줄이기 위한 구체적인 방안을 제안하세요.
💬 예시 발언: "이 사례는 배분적 피해에 해당합니다. 왜냐하면 특정 인종 집단이 대출에서 체계적으로 불리한 점수를 받기 때문입니다. 이 피해를 줄이려면..."
🤖 AI 피해 분석 파트너
피해 유형 진단
🎯 Advanced · Lesson 4
트롤리 문제, AI 버전
철학 교과서의 사고 실험이 자율주행 차량에서 현실이 되었습니다. 알고리즘이 충돌 시 누구를 구할지 미리 결정해야 할 때, 그 결정은 누가 내려야 합니까?
알고리즘이 생사를 결정해야 할 때, 그 코드는 누구의 가치관을 반영합니까?
2016년 MIT 미디어랩이 시작한 '모럴 머신(Moral Machine)' 프로젝트는 전 세계 233개국 230만 명 이상의 참여자를 대상으로 자율주행 차량의 충돌 상황에서의 도덕적 판단을 수집했습니다. 결과는 충격적이었습니다. 서양 국가들은 어린 사람을 구하는 경향이 강했으나, 동아시아 국가들은 노인을 더 보호하려는 경향을 보였습니다. 법을 준수하는 보행자를 더 보호해야 한다는 의견은 전 세계적으로 강했지만, 신분(지위)에 따른 판단 기준은 나라마다 크게 달랐습니다. 이 실험은 "보편적 AI 윤리"가 존재할 수 있는지에 대한 근본적 의문을 제기했습니다.
프로그래밍된 선택의 역설
자율주행 차량이 피할 수 없는 충돌 상황에 처했을 때, 소프트웨어는 어떤 행동을 취해야 합니까? 이 질문은 세 가지 깊은 문제를 동시에 제기합니다.
첫째, 알고리즘적 결정의 사전 프로그래밍 문제입니다. 인간 운전자는 충돌 순간 본능과 상황 판단에 따라 행동합니다. 그러나 AI는 사전에 프로그래밍된 규칙에 따라 작동해야 합니다. 즉, 누군가가 미리 "이 경우에는 A를, 저 경우에는 B를 선택하라"고 결정해야 합니다.
둘째, 문화적 상대성 문제입니다. 모럴 머신 연구는 동아시아와 서양 사이에서조차 충돌 상황의 도덕적 판단이 크게 다름을 보여줬습니다. 글로벌 시장에 판매되는 단일 알고리즘이 어떤 문화적 가치를 내재화해야 합니까?
셋째, 상업적 인센티브 문제입니다. 자동차 회사가 "우리 차는 승객보다 보행자를 보호합니다"라고 공개한다면 아무도 그 차를 사지 않을 것입니다. 이는 기업들이 이 결정을 투명하게 공개하지 않도록 만드는 강한 유인입니다.
결정을 내리지 않는 것도 결정입니다
일부 자율주행 기업들은 "우리 시스템은 충돌을 최소화하도록 설계되었으며, 특정 사람을 희생시키는 결정을 미리 프로그래밍하지 않는다"고 말합니다. 그러나 이것도 하나의 윤리적 선택입니다.
핵심 통찰
메르세데스-벤츠(Mercedes-Benz)는 2016년 자사의 자율주행 알고리즘이 충돌 불가피 상황에서 탑승자를 보호하는 방향으로 설계된다고 밝혔습니다. 이 공개 발언은 즉각 국제적 논쟁을 불러일으켰습니다. 탑승자 보호 우선 설계는 보행자에 대한 더 큰 위험을 의미하며, 이는 차를 살 능력이 없는 사람들이 더 큰 위험에 노출됨을 의미합니다.
📝 Quiz · Lesson 4
퀴즈: 트롤리 문제, AI 버전
자율주행 알고리즘의 도덕적 결정과 모럴 머신 연구를 확인합니다.
1. MIT 모럴 머신(Moral Machine) 연구의 핵심 발견은 무엇이었습니까?
✅ 정확합니다! 모럴 머신 연구는 문화권에 따라 충돌 상황의 도덕적 판단이 크게 다르다는 것을 보여주어, 단일 글로벌 AI 윤리 기준의 가능성에 근본적 의문을 제기했습니다.
❌ 틀렸습니다. 연구의 핵심 발견은 문화적 다양성이었습니다. 동아시아와 서양 국가들 사이에서도 도덕적 판단 기준이 크게 달랐으며, 이는 보편적 AI 윤리에 도전을 제기합니다.
2. 메르세데스-벤츠가 충돌 불가피 상황에서 "탑승자 보호 우선" 설계를 공개했을 때 제기된 윤리적 문제는 무엇이었습니까?
✅ 맞습니다! 탑승자 우선 설계는 차량을 구매할 경제력이 없는 사람들—보행자—이 더 큰 위험에 노출된다는 심각한 형평성 문제를 내포합니다.
❌ 아닙니다. 핵심 문제는 형평성이었습니다. 탑승자 우선 설계는 경제력이 없어 차를 살 수 없는 보행자들이 더 큰 위험에 노출된다는 것을 의미합니다.
3. 자율주행 알고리즘이 충돌 상황에서 "특정 사람을 희생시키는 결정을 미리 프로그래밍하지 않는다"고 말하는 것이 윤리적으로 문제인 이유는?
✅ 정확합니다! 도덕적 결정을 회피하는 것 자체가 도덕적 선택입니다. 어떤 알고리즘을 선택하든 충돌 결과는 누군가에게 영향을 미치며, 이 책임을 피할 수 없습니다.
❌ 아닙니다. 결정하지 않는 것도 결정입니다. 충돌 상황에서 어떤 알고리즘을 작동시키든 그 결과는 누군가의 생사에 영향을 미치며, 이 책임을 기술적 회피로 벗어날 수 없습니다.
🧪 Lab · Lesson 4
실습: 알고리즘 도덕 설계
AI 윤리 설계자와 대화하며 충돌 상황 알고리즘의 도덕적 원칙을 설계해 보세요.
실습 목표
자율주행 차량의 충돌 불가피 상황에서 어떤 원칙에 따라 알고리즘이 작동해야 하는지 설계하고, 그 설계의 윤리적 함의를 분석합니다.
AI가 제시하는 충돌 시나리오에 대해 여러분의 원칙적 입장을 밝히세요.
어떤 가치를 우선시했는지, 그 이유는 무엇인지 설명하세요.
여러분의 설계가 어떤 집단에게 유리하고 불리한지 평가하세요.
💬 예시 발언: "저는 피해 최소화 원칙에 따라 가장 많은 생명을 구하는 방향으로 설계해야 한다고 생각합니다. 그러나 이 접근의 문제점은..."
🤖 알고리즘 설계 윤리 파트너
충돌 알고리즘 도덕 설계
🎯 Advanced · Lesson 5
공정성은 단순하지 않다
수학적으로 증명된 사실: 모든 공정성 기준을 동시에 충족하는 알고리즘은 존재하지 않습니다. 공정성은 선택의 문제입니다.
서로 다른 공정성 정의 중 어느 것이 더 옳은지 판단할 수 있습니까?
2016년, 프로퍼블리카(ProPublica)는 미국 형사 사법 시스템에서 사용되는 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 알고리즘을 분석한 결과를 발표했습니다. COMPAS는 피고인의 재범 위험도를 예측하는 AI로, 보석 허가 및 가석방 결정에 사용되었습니다. 프로퍼블리카 분석에 따르면 흑인 피고인은 실제로 재범하지 않았음에도 "고위험"으로 분류될 가능성이 백인의 약 2배에 달했습니다. COMPAS 제조사 노스포인트(Northpoint)는 반박했습니다: "우리 알고리즘은 흑인과 백인 사이에서 동일한 정확도를 가집니다." 두 주장 모두 수학적으로 옳았습니다.
공정성 불가능 정리
COMPAS 논쟁은 2016년에 컴퓨터 과학자들이 수학적으로 증명한 "공정성 불가능 정리(Impossibility of Fairness)"를 실증했습니다. 세 가지 주요 공정성 기준이 존재하는데, 두 집단 간 기본 재범률이 다를 경우 이 세 기준을 동시에 충족하는 것은 불가능합니다.
예측 동등성(Calibration): "고위험" 점수를 받은 사람 중 실제로 재범하는 비율이 인종에 관계없이 같아야 합니다. → COMPAS가 충족.
거짓 양성 동등성(False Positive Parity): 재범하지 않았음에도 "고위험"으로 분류되는 비율이 인종에 관계없이 같아야 합니다. → COMPAS가 위반. 흑인 피고인이 2배 더 자주 고위험으로 분류됨.
거짓 음성 동등성(False Negative Parity): 실제 재범자가 "저위험"으로 분류되는 비율이 인종에 관계없이 같아야 합니다.
2016년 클라인베르크(Kleinberg) 등의 수학적 증명에 따르면, 두 집단 간 기본 재범률이 다른 한 이 세 기준을 동시에 만족하는 것은 불가능합니다. 어떤 공정성을 선택할지는 수학 문제가 아니라 가치 판단의 문제입니다.
공정성 선택의 정치적 함의
어떤 공정성 기준을 선택하느냐는 누가 더 많은 피해를 감수할지를 결정합니다. 이는 순수하게 기술적인 결정처럼 보이지만 실제로는 깊은 정치적·도덕적 선택입니다.
거짓 양성을 줄이면 무고한 흑인 피고인이 부당하게 높은 위험 점수를 받는 일을 줄일 수 있습니다. 그러나 이는 예측 동등성을 포기하거나 전체 시스템의 정확도를 낮추는 것을 의미합니다. 반대로 예측 정확도를 최대화하면 거짓 양성의 불균등한 분포를 유지하게 됩니다.
현실적 교훈
기업이나 정부 기관이 "우리 알고리즘은 공정합니다"라고 말할 때, 반드시 물어야 할 질문: "어떤 공정성 기준으로 측정했습니까? 그 기준을 선택한 이유는 무엇입니까?"
📝 Quiz · Lesson 5
퀴즈: 공정성은 단순하지 않다
COMPAS 사례와 공정성 불가능 정리를 확인합니다.
1. 프로퍼블리카와 COMPAS 제조사 노스포인트가 각각 "불공정하다"와 "공정하다"고 주장했을 때, 이 논쟁이 보여주는 것은?
✅ 정확합니다! 이 논쟁의 핵심은 서로 다른 공정성 기준의 충돌입니다. 예측 동등성 기준에서 COMPAS는 공정하고, 거짓 양성 동등성 기준에서는 불공정합니다. 두 주장 모두 수학적으로 옳습니다.
❌ 아닙니다. 두 주장 모두 수학적으로 옳습니다. 다른 공정성 기준을 사용했기 때문입니다. 공정성은 단일 정의가 아니라 선택의 문제입니다.
2. "공정성 불가능 정리"가 의미하는 것은 무엇입니까?
✅ 맞습니다! 클라인베르크 등의 수학적 증명에 따르면, 두 집단 간 기본 비율이 다를 경우 예측 동등성, 거짓 양성 동등성, 거짓 음성 동등성을 동시에 만족할 수 없습니다.
❌ 틀렸습니다. 공정성 불가능 정리는 두 집단의 기본 비율이 다를 때, 여러 공정성 기준을 동시에 충족하는 것이 수학적으로 불가능하다는 것을 증명합니다.
3. COMPAS에서 거짓 양성(False Positive)을 줄이면 어떤 결과가 발생합니까?
✅ 정확합니다! 공정성 기준 간에는 피할 수 없는 트레이드오프가 존재합니다. 거짓 양성을 줄이면 다른 공정성 기준이나 전체 정확도가 희생됩니다.
❌ 아닙니다. 공정성 기준 간에는 수학적 트레이드오프가 존재합니다. 거짓 양성을 줄이면 예측 동등성을 포기하거나 전체 시스템의 정확도가 낮아집니다.
🧪 Lab · Lesson 5
실습: 공정성 기준 선택
AI 공정성 연구자와 대화하며 어떤 공정성 기준을 선택해야 하는지 논증해 보세요.
실습 목표
COMPAS와 같은 예측 알고리즘에서 어떤 공정성 기준을 선택해야 하는지 논증하고, 그 선택의 사회적 함의를 분석합니다.
AI가 제시하는 시나리오에서 어떤 공정성 기준을 우선해야 하는지 입장을 밝히세요.
그 선택이 어떤 집단에게 유리하고 불리한지 분석하세요.
공정성 기준의 선택이 순수한 기술 문제인지 정치적 문제인지 논의하세요.
💬 예시 발언: "저는 거짓 양성 동등성을 우선시해야 한다고 생각합니다. 왜냐하면 무고한 사람을 고위험으로 분류하는 오류가 예측 정확도보다 더 큰 피해를 야기하기 때문입니다."
🤖 공정성 연구 파트너
공정성 기준 논쟁
🎯 Advanced · Lesson 6
동의, 자율성, AI
동의(consent)는 현대 윤리의 기반입니다. 그러나 AI 시스템은 우리가 인식하지 못하는 사이에 데이터를 수집하고, 행동을 예측하며, 선택을 조작합니다.
수백 페이지 이용약관에 서명하는 것이 진정한 동의입니까?
2014년, 페이스북(Facebook)은 사용자 689,003명을 대상으로 그들의 동의 없이 심리 실험을 진행했습니다. 페이스북은 뉴스피드 알고리즘을 조작하여 일부 사용자에게는 긍정적인 게시물을, 다른 사용자에게는 부정적인 게시물을 더 많이 노출했습니다. 그 결과 감정이 전파됨을 확인했으며, 이 연구는 《미국 국립과학원 회보(PNAS)》에 발표됐습니다. 참여자들은 이 실험에 대해 전혀 알지 못했습니다. 논란이 커지자 페이스북은 "데이터 사용 정책에 이미 동의했다"고 주장했습니다.
동의의 조건
의료 윤리에서 확립된 "충분한 정보에 의한 동의(Informed Consent)"는 네 가지 조건을 요구합니다. 이 기준을 페이스북 실험에 적용하면 네 조건 모두 충족되지 않습니다.
공개(Disclosure): 참여자에게 무엇이 일어나는지 설명해야 합니다. → 실험 사실이 전혀 공개되지 않았습니다.
이해(Comprehension): 설명을 이해할 수 있어야 합니다. → 수백 페이지 이용약관은 이해 불가능한 수준입니다.
자발성(Voluntariness): 압박 없이 자발적으로 참여해야 합니다. → 페이스북을 사용하는 것 자체가 동의로 간주됩니다.
역량(Competence): 결정을 내릴 역량이 있어야 합니다. → 실험 내용을 모르면 역량도 행사할 수 없습니다.
자율성과 조작의 경계
페이스북 실험은 더 큰 문제를 드러냅니다. AI 알고리즘은 우리의 감정 상태, 구매 결정, 정치적 견해를 형성할 수 있습니다. 사용자가 이를 인식하지 못한다면, 자율적 선택이 가능합니까?
2018년 케임브리지 애널리티카(Cambridge Analytica) 스캔들에서는 페이스북 데이터 8,700만 건이 동의 없이 정치 캠페인에 활용됐습니다. 이 데이터는 미국 대선과 브렉시트(Brexit) 캠페인에서 개인화된 정치 광고에 사용됐습니다. 유권자들은 자신의 심리 프로필을 기반으로 조작된 정보를 받았지만, 이를 알 방법이 없었습니다.
자율성의 역설
자율성(Autonomy)은 자신의 삶을 스스로 결정할 능력을 의미합니다. 그러나 AI가 우리의 정보 환경을 형성하고, 우리의 심리적 취약점을 타겟으로 삼는다면, 우리는 정말로 "자유롭게" 선택하는 것입니까?
📝 Quiz · Lesson 6
퀴즈: 동의, 자율성, AI
페이스북 실험 사례와 동의의 조건을 확인합니다.
1. 2014년 페이스북의 심리 실험에서 "충분한 정보에 의한 동의(Informed Consent)" 기준이 충족되지 않은 가장 근본적인 이유는?
✅ 정확합니다! 충분한 정보에 의한 동의의 첫 번째 조건은 공개(Disclosure)입니다. 참여자들이 실험 사실을 알지 못했으므로 다른 모든 조건도 충족될 수 없었습니다.
❌ 아닙니다. 핵심 문제는 참여자들이 실험이 진행 중이라는 사실을 전혀 알지 못했다는 점입니다. 공개(Disclosure)가 없으면 충분한 정보에 의한 동의는 불가능합니다.
2. 케임브리지 애널리티카 스캔들에서 수집된 페이스북 데이터는 어떻게 활용됐습니까?
✅ 맞습니다! 8,700만 건의 데이터가 미국 대선과 브렉시트 캠페인에서 개인화된 정치 광고에 활용됐습니다. 유권자들은 자신의 심리 프로필을 기반으로 조작된 정보를 받았습니다.
❌ 틀렸습니다. 케임브리지 애널리티카는 수집한 데이터를 미국 대선과 브렉시트 캠페인에서 개인화된 정치 광고에 활용했습니다. 유권자들은 자신도 모르게 심리적으로 타겟팅됐습니다.
3. "자율성의 역설"이 AI 맥락에서 의미하는 것은?
✅ 정확합니다! 자율성의 역설은 우리가 표면적으로 자유롭게 선택하는 것처럼 보이지만, AI가 우리의 정보 환경과 심리를 형성하고 조작할 때 진정한 자율적 선택이 가능한지 묻는 개념입니다.
❌ 아닙니다. 자율성의 역설은 AI가 우리의 정보 환경을 형성하고 심리적 취약점을 타겟팅할 때, 우리의 선택이 표면적으로는 자유로워 보이지만 실질적으로 조작될 수 있다는 모순을 지적합니다.
🧪 Lab · Lesson 6
실습: 동의와 자율성 분석
AI 윤리 연구자와 대화하며 디지털 환경에서의 진정한 동의가 가능한지 탐구해 보세요.
실습 목표
디지털 플랫폼에서 동의의 조건이 어떻게 훼손되는지 분석하고, 진정한 자율성을 보장하기 위한 구조적 방안을 탐구합니다.
현재 주요 플랫폼의 이용약관 동의 방식이 "충분한 정보에 의한 동의" 기준을 충족하는지 평가하세요.
알고리즘 추천 시스템이 자율성을 어떻게 제한하는지 구체적 예를 들어 설명하세요.
진정한 동의를 가능하게 하는 설계 원칙을 제안하세요.
💬 예시 발언: "유튜브 추천 알고리즘은 시청자의 자율성을 제한한다고 생각합니다. 왜냐하면 개인의 감정 상태에 최적화된 콘텐츠를 계속 제공하여..."
🤖 디지털 동의 분석 파트너
동의와 자율성 탐구
🎯 Advanced · Lesson 7
내부고발과 책임
AI 기업 내부의 윤리적 반대자들은 어떤 운명을 맞이합니까? 그리고 외부의 감시와 규제는 어디까지 가능합니까?
AI 시스템의 해악을 발견한 엔지니어는 어떻게 행동해야 합니까?
2020년 12월, 구글(Google)의 AI 윤리팀 공동 책임자 팀닛 게브루(Timnit Gebru) 박사가 해고됐습니다. 해고 직전 그녀는 대규모 언어 모델(LLM)의 환경적 비용과 편향 문제를 다룬 논문의 발표를 허용해 달라는 내부 요청을 했으나 거부당했습니다. 구글의 경영진은 논문 게재를 막으려 했고, 게브루가 이에 반발하자 해고가 이루어졌습니다. 구글 내부 직원 2,000명 이상이 항의 서명에 참여했습니다. 이듬해 또 다른 AI 윤리 연구자 마거릿 미첼(Margaret Mitchell)도 해고됐습니다. 두 사람의 공통점: 대형 AI 모델의 위험에 관한 연구를 공개하려 했다는 것입니다.
내부고발자의 딜레마
팀닛 게브루 사례는 AI 기업 내부에서 윤리적 반대 의견이 어떻게 다뤄지는지 보여주는 상징적 사건이 됐습니다. 내부고발자(whistleblower)는 조직 내부의 잘못을 외부에 알리는 사람입니다. AI 분야에서 이들이 직면하는 딜레마는 특히 복잡합니다.
첫째, 전문 지식의 역설: 내부고발자는 문제를 가장 잘 아는 사람이지만, 동시에 회사의 기밀 유지 의무를 지고 있습니다. 둘째, 구조적 취약성: 첨단 기술 분야는 고용 기회가 집중되어 있어, 해고는 경력 전체에 영향을 미칩니다. 셋째, 공공 이익과 개인 이익의 충돌: AI의 위험을 공개하는 것은 공공에게 이익이지만 개인에게는 막대한 비용을 초래합니다.
외부 감시 메커니즘
내부고발이 어렵다면, 외부 감시는 충분한 대안이 됩니까? 현실은 그렇지 않습니다. AI 시스템은 대부분 독점 소프트웨어로, 외부 연구자들이 내부를 들여다볼 수 없습니다. COMPAS 알고리즘은 상업적 기밀을 이유로 법정에서조차 코드 공개를 거부했습니다.
구조적 변화의 시도
2023년 미국에서는 AI 안전 법안(AI Safety Initiative)이 논의됐으며, EU AI 법은 고위험 AI 시스템에 대한 독립적 감사(Audit)를 의무화합니다. 그러나 "독립적"이라는 기준이 무엇인지, 감사 비용은 누가 지불하는지 등 많은 문제가 여전히 해결되지 않았습니다.
팀닛 게브루 이후 구글 내부에서는 AI 연구의 외부 발표에 더 엄격한 내부 검토 절차가 적용되기 시작했습니다. 이는 투명성을 높이기 위한 것인지, 아니면 비판적 연구를 더 효과적으로 통제하기 위한 것인지 논란이 됩니다.
📝 Quiz · Lesson 7
퀴즈: 내부고발과 책임
팀닛 게브루 사례와 AI 감시 메커니즘을 확인합니다.
1. 팀닛 게브루(Timnit Gebru)가 구글에서 해고된 직접적 원인은 무엇이었습니까?
✅ 맞습니다! 게브루는 LLM의 환경적 비용과 편향 문제를 다룬 논문의 발표를 내부적으로 요청했으나 거부당했고, 이에 반발하는 과정에서 해고됐습니다.
❌ 틀렸습니다. 게브루는 대규모 언어 모델의 위험성을 다룬 논문 발표를 허용해 달라고 요청했으나 거부당했고, 이에 반발하다 해고됐습니다.
2. COMPAS 알고리즘이 법정에서 코드 공개를 거부한 이유는 무엇이었습니까?
✅ 정확합니다! COMPAS 제조사는 상업적 기밀을 이유로 법정에서조차 코드 공개를 거부했습니다. 이는 형사 사법 결정에 영향을 미치는 알고리즘의 투명성 문제를 심각하게 제기했습니다.
❌ 아닙니다. COMPAS 제조사는 상업적 기밀(trade secret)을 이유로 코드 공개를 거부했습니다. 이는 알고리즘적 결정의 투명성에 대한 심각한 의문을 제기합니다.
3. EU AI 법이 고위험 AI 시스템에 대해 규정하는 감시 방안은 무엇입니까?
✅ 맞습니다! EU AI 법은 고위험 AI 시스템에 대해 독립적 감사를 의무화합니다. 이는 외부 감시 메커니즘을 법적으로 제도화하려는 시도입니다.
❌ 아닙니다. EU AI 법은 고위험 AI 시스템에 대해 독립적 감사(Audit)를 의무화합니다. 이는 내부고발 의존을 줄이고 체계적 외부 감시를 가능하게 하려는 제도적 시도입니다.
🧪 Lab · Lesson 7
실습: 내부고발 딜레마
AI 윤리 자문가와 대화하며 조직 내 윤리적 반대의 방법과 한계를 탐구해 보세요.
실습 목표
AI 기업 내부에서 윤리적 문제를 발견했을 때 어떻게 행동해야 하는지, 내부 채널과 외부 공개 사이의 딜레마를 분석합니다.
AI 기업 엔지니어가 시스템의 심각한 편향을 발견한 시나리오를 분석하세요.
내부 보고, 익명 제보, 공개 폭로 등 각 선택지의 장단점을 평가하세요.
내부고발자를 보호하는 어떤 제도적 장치가 필요한지 제안하세요.
💬 예시 발언: "팀닛 게브루의 경우처럼 내부 채널이 막혔을 때, 외부 공개가 윤리적으로 정당화된다고 생각합니다. 왜냐하면..."
🤖 AI 윤리 자문 파트너
내부고발 딜레마 분석
🎯 Advanced · Lesson 8
윤리적 AI 만들기
원칙 선언은 쉽습니다. 구체적인 절차, 구조, 제도 없이 "우리는 윤리적 AI를 지향합니다"는 공허합니다. 실제로 무엇이 필요합니까?
윤리적 AI는 어떻게 설계하고 배포하며 감시합니까?
2018년, 구글은 내부 직원들의 항의로 미국 국방부의 드론 이미지 분석 AI 프로젝트 "메이븐(Project Maven)"에서 철수했습니다. 3,100명 이상의 직원이 서명한 청원서는 "구글은 전쟁 사업에 참여해서는 안 된다"고 요구했습니다. 구글은 이후 "AI 원칙(AI Principles)"을 공개했으며, 그 중 하나는 "국제 규범을 위반하는 무기나 기술을 개발하지 않겠다"는 것이었습니다. 그러나 2024년, 구글은 이스라엘 정부와 "프로젝트 님버스(Project Nimbus)"라는 클라우드 및 AI 서비스 계약을 체결했으며, 이에 반발한 직원들이 다시 대규모 항의 시위를 벌였습니다.
윤리 원칙에서 구조로
구글 사례는 AI 윤리의 핵심 도전을 드러냅니다. 원칙(principles)은 쉽게 쓸 수 있지만, 구체적 상황에서 원칙과 이익이 충돌할 때 원칙을 지키는 구조(structure)가 있어야 합니다. 학자들은 기업의 "윤리 세탁(Ethics Washing)"을 경고합니다 — 실질적 변화 없이 윤리적 이미지만을 홍보하는 행태입니다.
실질적인 윤리적 AI 개발을 위해 연구자들이 제안하는 구조적 요소들은 다음과 같습니다:
영향 평가(Impact Assessment): AI 시스템 배포 전 잠재적 피해를 체계적으로 평가하는 의무화된 절차.
다양성 확보: AI 개발팀에 다양한 배경(인종, 성별, 전공)의 사람들을 포함시켜 blind spot을 줄이는 구조.
독립적 감사: 기업 외부의 독립적 기관이 AI 시스템을 정기적으로 감사하는 제도.
실질적 이의제기 채널: 내부 직원이 윤리적 우려를 보복 없이 제기할 수 있는 보호된 채널.
규제와 자율 규제 사이
AI 윤리를 보장하는 방식에는 두 가지 큰 접근법이 있습니다. 첫째는 정부 규제로, EU AI 법처럼 법적 기준을 강제하는 방식입니다. 둘째는 자율 규제로, 기업이 자체적인 기준을 만들고 지키는 방식입니다.
역사적 경험은 자율 규제만으로는 부족하다는 것을 보여줍니다. 담배 산업, 금융 산업, 소셜 미디어 산업 모두 자율 규제 시대에 심각한 사회적 피해를 일으켰습니다. 그러나 기술이 규제보다 빠르게 발전하는 현실에서 지나치게 경직된 규제는 혁신을 방해할 수 있다는 우려도 있습니다.
현재 진행형 과제
2024년 기준, 130개 이상의 국가가 AI 정책 또는 규제를 검토 중입니다. EU AI 법, 미국 AI 행정명령, 한국 인공지능법 등 다양한 입법 시도가 진행되고 있습니다. 그러나 AI 기술의 발전 속도와 국제적 경쟁 압력은 윤리적 AI 보장을 지속적인 도전으로 만들고 있습니다.
📝 Quiz · Lesson 8
퀴즈: 윤리적 AI 만들기
구글 메이븐 사례와 윤리적 AI 구조를 확인합니다.
1. 구글이 "프로젝트 메이븐(Project Maven)"에서 철수한 직접적인 원인은 무엇이었습니까?
✅ 정확합니다! 구글 내부 직원 3,100명 이상의 항의 청원이 프로젝트 철수의 직접적인 원인이었습니다. 이는 직원 행동주의(employee activism)의 대표적 성공 사례입니다.
❌ 틀렸습니다. 3,100명 이상의 구글 직원들이 항의 청원에 서명하면서 구글은 메이븐 프로젝트에서 철수했습니다. 이는 내부 직원 행동주의가 기업 결정에 영향을 미친 사례입니다.
2. "윤리 세탁(Ethics Washing)"이란 무엇입니까?
✅ 맞습니다! 윤리 세탁은 기업이 실질적인 구조적 변화 없이 "우리는 윤리적"이라는 홍보만 하는 행태를 비판하는 개념입니다. 구글의 AI 원칙 발표와 이후 행동의 불일치가 그 예입니다.
❌ 아닙니다. 윤리 세탁(Ethics Washing)은 기업이 실질적인 윤리적 변화 없이 윤리적 이미지만을 홍보하는 행태를 비판하는 개념입니다.
3. 실질적인 윤리적 AI를 위한 구조적 요소 중 "영향 평가(Impact Assessment)"란 무엇입니까?
✅ 정확합니다! 영향 평가는 AI 시스템을 배포하기 전에 다양한 집단에 미칠 수 있는 잠재적 피해를 체계적으로 분석하고 문서화하는 의무적 절차입니다.
❌ 틀렸습니다. 영향 평가(Impact Assessment)는 AI 시스템 배포 전에 잠재적 피해를 체계적으로 평가하는 의무화된 절차입니다. 이는 문제를 사전에 발견하고 수정하기 위한 핵심 도구입니다.
🧪 Lab · Lesson 8
실습: 윤리적 AI 설계 제안
AI 정책 설계자와 대화하며 실제 조직에서 윤리적 AI를 실현하는 구체적 방안을 설계해 보세요.
실습 목표
원칙 선언을 넘어, 실제 조직에서 윤리적 AI를 보장하는 구체적이고 실행 가능한 구조적 방안을 제안합니다.
특정 AI 도입 시나리오(예: 병원의 진단 AI, 기업의 채용 AI)를 선택하세요.
배포 전 어떤 영향 평가가 필요한지 구체적으로 제안하세요.
지속적인 감시와 이의제기를 위한 구조를 설계하세요.
💬 예시 발언: "병원에서 AI 진단 시스템을 도입할 때, 먼저 다양한 환자 집단에 대한 성능 격차를 측정하는 영향 평가가 필요합니다. 구체적으로는..."
🤖 AI 정책 설계 파트너
윤리적 AI 구조 설계
📋 모듈 테스트
AI 윤리와 실제 결정 — 8개 강의의 핵심 개념을 최종 점검합니다. 총 15문제입니다.
1. 결과주의(Consequentialism)와 의무론(Deontology)이 AI 윤리 판단에서 가장 근본적으로 다른 점은?
✅ 정확합니다!
❌ 결과주의는 결과로, 의무론은 행위 자체로 도덕성을 판단합니다.
2. 시그나(Cigna)의 AI 의료비 청구 거부 시스템에서 나타난 AI 윤리의 고유한 도전은?
✅ 맞습니다! 규모(Scale)는 AI 윤리의 핵심 도전입니다.
❌ AI 윤리의 고유한 도전은 규모입니다. 하나의 알고리즘이 수십만 건의 결정을 동시에 내릴 수 있습니다.
3. 우버 자율주행 차량 사망 사고(2018년)에서 NTSB가 발견한 소프트웨어의 결함은?
✅ 정확합니다! 이는 기술적 실패와 의도적 설계 결정의 복합적 결과였습니다.
❌ NTSB 조사에 따르면 시스템은 보행자를 감지했지만 잘못 분류했고, 비상 제동은 의도적으로 비활성화되어 있었습니다.
4. "많은 손의 문제(Problem of Many Hands)"가 AI 시스템에서 발생하는 이유는?
✅ 맞습니다! 책임의 분산이 핵심입니다.
❌ 많은 손의 문제는 복잡한 시스템에서 여러 주체가 관여할 때 아무도 완전한 책임을 지지 않는 구조적 문제입니다.
5. AI 피해의 유형 중 "배분적 피해(Allocative Harm)"에 해당하는 것은?
✅ 정확합니다! 배분적 피해는 기회, 자원, 서비스의 불공정한 배분을 말합니다.
❌ 배분적 피해는 AI가 특정 집단에게 기회나 자원을 불공정하게 배분할 때 발생합니다. 채용 기회의 불공정 배분이 전형적 예입니다.
6. 로버트 윌리엄스(Robert Williams) 사례에서 얼굴 인식 AI의 오류율이 흑인에게 높게 나타난 근본적인 이유는?
✅ 맞습니다! AI 편향은 역사적 불평등이 데이터에 반영된 결과입니다.
❌ 핵심 원인은 훈련 데이터의 구성입니다. 주로 밝은 피부 톤으로 구성된 데이터는 역사적 불평등을 반영하며, AI는 이를 학습합니다.
7. MIT 모럴 머신 연구가 자율주행 AI 윤리에 대해 제기한 핵심 의문은?
✅ 정확합니다! 문화적 상대성이 보편적 AI 윤리 기준의 가능성에 도전합니다.
❌ 모럴 머신 연구는 문화권마다 충돌 상황의 도덕적 판단이 크게 달라, 단일한 보편적 AI 윤리 기준이 가능한지에 의문을 제기했습니다.
8. COMPAS 알고리즘 논쟁에서 프로퍼블리카와 노스포인트가 각각 "불공정"과 "공정"이라고 주장한 이유는?
✅ 맞습니다! 공정성은 단일 기준이 아니라 선택의 문제입니다.
❌ 두 주장은 모두 수학적으로 옳습니다. 서로 다른 공정성 기준(예측 동등성 vs. 거짓 양성 동등성)을 사용했기 때문입니다.
9. 수학적으로 증명된 "공정성 불가능 정리"가 의미하는 것은?
✅ 정확합니다! 공정성 선택은 수학 문제가 아니라 가치 판단의 문제입니다.
❌ 공정성 불가능 정리는 집단 간 기본 비율이 다를 때 여러 공정성 기준의 동시 충족이 수학적으로 불가능함을 증명합니다.
10. 2014년 페이스북 심리 실험이 "충분한 정보에 의한 동의" 기준을 위반한 이유는?
✅ 맞습니다! 공개(Disclosure) 없이는 충분한 정보에 의한 동의가 불가능합니다.
❌ 핵심 문제는 참여자들이 실험 사실을 전혀 알지 못했다는 점입니다. 공개 없이는 어떤 형태의 동의도 성립하지 않습니다.
11. 케임브리지 애널리티카 스캔들에서 수집된 8,700만 건의 페이스북 데이터가 활용된 방식은?
✅ 정확합니다! 이는 AI를 통한 정치적 조작의 대표적 사례입니다.
❌ 케임브리지 애널리티카 데이터는 미국 대선과 브렉시트 캠페인에서 개인화된 정치 광고에 사용됐습니다. 유권자들은 자신의 심리 프로필로 타겟팅됐습니다.
12. 팀닛 게브루(Timnit Gebru) 해고 사건이 AI 업계에 드러낸 구조적 문제는?
✅ 맞습니다! 내부 윤리 반대자의 억압은 AI 업계의 구조적 문제입니다.
❌ 게브루 사건이 드러낸 핵심 문제는 상업적 이익이 위협받을 때 내부 윤리적 반대 의견이 체계적으로 억압될 수 있는 구조적 취약성입니다.
13. COMPAS 알고리즘이 법정에서 코드 공개를 거부한 근거는 무엇이며, 이것이 제기하는 윤리적 문제는?
✅ 정확합니다! 상업적 기밀을 이유로 한 코드 비공개는 형사 피고인의 적법 절차 권리와 충돌합니다.
❌ COMPAS는 상업적 기밀을 이유로 코드 공개를 거부했습니다. 이는 피고인의 재범 위험도를 결정하는 알고리즘의 투명성과 적법 절차 권리에 심각한 문제를 제기합니다.
14. 구글의 "프로젝트 메이븐(Project Maven)" 철수와 이후 "프로젝트 님버스(Project Nimbus)" 계약 체결 사례가 보여주는 것은?
✅ 맞습니다! 이는 윤리 세탁(Ethics Washing)의 위험과 구조적 보장의 필요성을 보여줍니다.
❌ 두 사건의 대비는 원칙 선언만으로는 부족하며, 상업적 이익과 충돌할 때에도 원칙이 지켜지는 구조적 보장이 필요함을 보여줍니다.
15. 이 모듈 전체를 통해 배운 AI 윤리의 핵심 통찰을 가장 잘 요약한 것은?
✅ 완벽합니다! AI 윤리는 기술, 사회, 정치가 교차하는 복잡한 문제이며, 구조적 접근이 필수입니다.
❌ AI 윤리는 기술적이자 사회적·정치적 문제입니다. 원칙 선언을 넘어 책임 구조, 독립적 감사, 실질적 이의제기 채널 등 구체적 메커니즘이 필요합니다.