머신러닝 모델은 본질적으로 통계적 패턴을 찾는 기계입니다. 텍스트에서 "의사"라는 단어 옆에 "그(he)"가 더 자주 등장한다면, 모델은 이를 패턴으로 학습합니다. 모델은 "의사는 남성이어야 한다"는 규칙을 만들지 않습니다. 단지 공동 출현 빈도(co-occurrence frequency)를 학습할 뿐입니다.

이것이 강력한 이유는 인간이 명시적으로 프로그래밍하지 않아도 복잡한 규칙성을 발견하기 때문입니다. 그러나 이것이 위험한 이유도 같습니다 — 데이터 속 사회적 불평등, 역사적 편견, 측정 오류까지 모두 '패턴'으로 학습하기 때문입니다.

초기 머신러닝에서는 인간 전문가가 어떤 특징(feature)을 학습해야 하는지 직접 설계했습니다. 의료 진단 AI라면 "혈압 수치", "나이", "콜레스테롤 수치"를 특징으로 정의하는 식입니다. 이를 특징 공학(feature engineering)이라고 합니다.

딥러닝의 혁신은 모델이 원시 데이터(픽셀, 텍스트 문자)로부터 스스로 유용한 특징을 발견하는 표현 학습(representation learning)을 가능하게 한 것입니다. AlexNet은 이미지의 어떤 특징이 "고양이"를 판별하는 데 유용한지를 스스로 학습했습니다.

AI 모델(model)은 수학적 함수입니다. 입력을 받아 출력을 계산하는 함수인데, 그 함수를 정의하는 것이 파라미터(parameter) 또는 가중치(weight)입니다. 훈련(training)은 이 파라미터들을 반복적으로 조정해 더 좋은 예측을 만드는 과정입니다.

신경망(neural network)은 이 파라미터들이 레이어(layer) 구조로 조직된 모델입니다. 입력 레이어가 데이터를 받아 여러 은닉 레이어(hidden layer)를 거쳐 출력 레이어로 전달됩니다. 각 레이어 사이의 연결에 가중치가 부여되며, 이 가중치들이 바로 모델이 "배운" 것입니다.

모델이 훈련 데이터를 너무 세밀하게 외워버리는 현상을 과적합(overfitting)이라고 합니다. 과적합된 모델은 훈련 데이터에서는 거의 완벽한 성능을 보이지만, 새로운 데이터에서는 실패합니다. 반대로 과소적합(underfitting)은 모델이 데이터의 패턴을 충분히 포착하지 못한 상태입니다.

목표는 일반화(generalization)입니다 — 훈련에서 보지 못한 데이터에 대해서도 정확한 예측을 내놓는 능력. 드롭아웃(dropout), 정규화(regularization), 데이터 증강(data augmentation) 같은 기법이 과적합을 방지하기 위해 사용됩니다.

비지도학습(unsupervised learning)은 레이블 없는 데이터에서 숨겨진 구조를 찾는 방법입니다. 대표적 기법인 클러스터링(clustering)은 유사한 데이터 포인트를 자동으로 그룹화합니다. 예를 들어 넷플릭스(Netflix)는 시청 기록을 바탕으로 사용자를 비슷한 취향의 그룹으로 클러스터링해 추천 알고리즘을 구동합니다.

또 다른 비지도학습 기법인 차원 축소(dimensionality reduction)는 고차원 데이터를 저차원으로 압축해 시각화하거나 핵심 특징만 추출합니다. PCA(주성분 분석)와 t-SNE가 대표적 알고리즘입니다.

강화학습(reinforcement learning)에서 에이전트(agent)는 환경(environment)과 상호작용하며 행동(action)을 선택하고 보상(reward)을 받습니다. 목표는 누적 보상을 최대화하는 정책(policy)을 학습하는 것입니다. 2016년 DeepMind의 AlphaGo가 바둑 세계 챔피언 이세돌을 꺾은 것도 강화학습이 핵심 기술이었습니다.

RLHF(인간 피드백을 통한 강화학습, Reinforcement Learning from Human Feedback)는 ChatGPT를 포함한 현대 언어 모델에서 핵심적으로 사용됩니다. 인간 평가자가 모델 응답에 점수를 매기면 그 점수가 보상 신호가 되어 모델을 더 유용하고 안전한 방향으로 조정합니다.

AI 훈련 데이터의 편향은 여러 층위에서 발생합니다. 첫째, 표본 편향(sampling bias)은 특정 집단이 훈련 데이터에서 과소 또는 과대 대표될 때 발생합니다. 구글 포토 사례가 전형적입니다.

둘째, 측정 편향(measurement bias)은 데이터 수집 방식 자체에 문제가 있을 때 나타납니다. 미국 사법 시스템에서 사용된 재범 위험도 평가 AI 'COMPAS'는 흑인 피고인을 백인 피고인보다 2배 높은 비율로 고위험으로 분류했습니다. 2016년 ProPublica의 분석이 이를 밝혔습니다.

대형 언어 모델(LLM, Large Language Model)의 훈련 데이터는 인터넷에서 무차별적으로 수집된 텍스트를 포함합니다. 2023년 이탈리아 개인정보보호청은 ChatGPT가 GDPR(유럽 일반 데이터 보호 규정)을 위반했다며 일시적으로 차단했습니다. 이탈리아 시민들의 동의 없이 개인 데이터가 훈련에 사용됐다는 것이 이유였습니다.

저작권 측면에서는 게티 이미지(Getty Images)가 2023년 스태빌리티 AI(Stability AI)를 상대로 1,200만 장의 저작권 이미지가 무단으로 훈련에 사용됐다며 소송을 제기했습니다. 이 소송은 AI 훈련 데이터의 법적 지위에 관한 핵심 판례가 될 전망입니다.

사전학습(pretraining)은 방대한 데이터로 모델이 언어, 이미지, 코드 등의 일반적인 구조를 학습하는 단계입니다. 언어 모델의 경우 다음 토큰(token) 예측이라는 단순한 목표로 수천억 개의 텍스트 토큰을 처리합니다. 이 과정에서 모델은 문법, 사실 관계, 추론 패턴을 암묵적으로 학습합니다.

사전학습에는 막대한 컴퓨팅 비용이 필요합니다. GPT-3의 사전학습에는 약 460만 달러(약 60억 원)의 GPU 비용이 들었다는 추정이 있습니다. 이 비용이 AI 연구에서 자원 불평등을 심화시키는 원인으로 지목됩니다.

파인튜닝(fine-tuning)은 사전학습된 모델을 특정 과제나 도메인에 맞게 추가로 훈련하는 과정입니다. 전체 파라미터를 업데이트하는 풀 파인튜닝(full fine-tuning)은 강력하지만 비용이 큽니다.

이를 극복하기 위해 LoRA(Low-Rank Adaptation), 프롬프트 튜닝(prompt tuning), 어댑터(adapter) 같은 파라미터 효율적 파인튜닝(PEFT) 기법들이 등장했습니다. LoRA는 전체 모델을 업데이트하는 대신 작은 보조 행렬만 훈련해 비용을 90% 이상 줄이면서 성능을 유지합니다. 이로 인해 소규모 연구팀도 GPT 수준의 모델을 특정 도메인에 적응시킬 수 있게 됐습니다.

벤치마크(benchmark)는 AI 모델의 성능을 표준화된 방식으로 측정하는 테스트 세트입니다. 대표적인 것으로 MMLU(대학원 수준의 다과목 질의응답), HumanEval(코드 생성 능력), GSM8K(초등 수학 문제), MT-Bench(대화 능력) 등이 있습니다.

벤치마크는 연구 커뮤니티가 진보를 측정하고 비교하는 공용 언어 역할을 합니다. 그러나 모든 벤치마크는 특정 능력만을 측정하며, 현실 세계의 복잡한 과제를 완전히 포착하지 못합니다.

벤치마크 오염 외에도 평가에는 여러 한계가 있습니다. 단일 숫자 점수는 모델이 어느 유형의 문제에서 실패하는지를 숨깁니다. AI가 벤치마크에서 인간 수준을 넘었다고 발표되어도, 몇 달 뒤 더 어려운 벤치마크에서 실패하는 일이 반복됩니다.

이 문제를 해결하기 위해 LMSYS Chatbot Arena 같은 인간 선호도 기반 평가(Elo 레이팅 시스템 적용), 동적으로 생성되는 새 테스트 문항, 실제 업무 수행 능력을 측정하는 에이전트 벤치마크 등 새로운 접근법이 등장하고 있습니다.

첫째, 인과 추론(causal reasoning)의 한계입니다. AI는 상관관계를 찾는 데 탁월하지만, 진짜 인과관계를 추론하는 능력은 근본적으로 취약합니다. 주다 펄(Judea Pearl)의 인과 추론 이론에 따르면, 현재 딥러닝은 '관찰'의 층위에서만 작동하며 '개입(intervention)'과 '반사실(counterfactual)' 추론이 필요한 과제에서 실패합니다.

둘째, 지속적 학습(continual learning) 문제입니다. 현재 모델은 한번 훈련되면 고정됩니다. 새로운 정보를 학습하면 이전에 배운 것을 망각하는 '파국적 망각(catastrophic forgetting)' 현상이 발생합니다. 인간의 뇌는 새 정보를 배우면서도 기존 기억을 유지하지만, 현재 신경망은 이를 해결하지 못했습니다.

셋째, 체화된 경험(embodied experience)의 부재입니다. 언어 모델은 '뜨겁다', '아프다', '무겁다'라는 단어를 수백만 번 학습했지만, 실제로 뜨거운 것을 만진 경험이 없습니다. 철학자 존 설(John Searle)의 '중국어 방' 논증이 지적하듯, 기호를 처리하는 것이 기호의 의미를 이해하는 것과 같지 않습니다.

넷째, 자기 지식 경계(knowledge boundary) 인식입니다. 현재 모델은 자신이 무엇을 모르는지를 정확하게 모릅니다. '환각(hallucination)'은 이 한계의 직접적 결과입니다 — 모델은 답을 모를 때도 확신에 찬 틀린 답을 만들어냅니다. 2023년 Google Bard가 James Webb Space Telescope에 대한 틀린 정보를 자신있게 제시해 알파벳 주가가 7% 하락한 것이 대표적 사례입니다.