AI가 틀릴 것 같아서
by Diana L.
수요 예측을 AI 모델로 돌려보기로 한 회사가 있다. 석 달째 되던 달, 모델이 크게 빗나갔다. 다음 회의에서 모델은 예측에서 빠졌고, 그 자리에서, 이전 3년간 사람이 낸 예측의 오차율은 언급되지 않았다. 대표는 이후 두 번 “다시 켜보자”는 제안을 받았고, 두 번 다 “검토해보자”고 답했다. 아무도 폐기를 결정하지 않았고, 아무도 다시 켜지 않았다. 반년째다.
2015년 와튼스쿨 연구진은 이 장면을 실험실에서 재현했다. 참가자는 통계 모델과 사람의 예측 중 한쪽에 자기 보너스를 걸어야 했다. 모델이 틀리는 것을 한 번이라도 본 참가자는, 모델의 성적을 본 적 없는 참가자보다 모델을 덜 선택했다. 같은 과제에서 사람의 예측 오차는 모델보다 컸다 — MBA 학업 성과 예측에서 15~29%, 항공 승객 수 예측에서 90~97%. 연구진은 이 현상을 알고리즘 혐오(algorithm aversion)라 불렀다.
반대 증거도 있다. 2019년 하버드·버클리 연구진의 실험에서 일반 참가자는 같은 조언이라도 알고리즘이 줬다고 하면 더 많이 반영했다 (반영도 0.45 대 0.30). 사람이 알고리즘을 늘 꺼리는 것은 아니다. 다만 같은 논문의 다른 실험에서, 예측을 업으로 삼는 국가안보 전문가 70명은 일반 참가자 301명보다 조언을 (알고리즘의 조언까지) 훨씬 크게 깎아냈고, 그만큼 예측이 덜 맞았다.
혐오는 보편적이지 않다. 자기 판단으로 실적을 쌓아온 사람에게서, 그리고 모델이 한 번이라도 크게 빗나가는 것을 본 사람에게서 강해진다.
2025년 4월 PwC가 미국 임원 308명에게 AI 에이전트를 믿고 맡길 수 있는 영역을 물었다. 데이터 분석 38%, 성과 개선 35%, 일상 협업 31%. 반면 자율적인 직원 응대는 22%, 금융 거래는 20%였다. 이 수치는 임원들이 무엇을 믿는지 보여줄뿐, 어느 영역에서 AI가 실제로 더 정확한지는 여기에 없다.
믿음으로 위임을 가르는 방식의 곤란한 점은 스스로를 검증하지 못한다는 데 있다. 맡기지 않은 영역에서는 비교할 기록 자체가 쌓이지 않는다. AI가 틀릴 것 같아서 맡기지 않기로 했다면, 지금 그 일을 하는 사람의 오차율도 알고 있어야 한다. 모르는 채 내린 결정은 신중함이 아니라 편향이다.
지난 분기 내가 AI 한테 맡기지 않기로 한 일 중, 사람의 오차율을 확인하고 내린 결정은 몇 건인가.
SOURCES
Dietvorst, B. J., Simmons, J. P. & Massey, C. (2015). Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err. Journal of Experimental Psychology: General, 144(1), 114-126.
Logg, J. M., Minson, J. A. & Moore, D. A. (2019). Algorithm Appreciation: People Prefer Algorithmic to Human Judgment. Organizational Behavior and Human Decision Processes, 151, 90-103.
PwC (2025). AI Agent Survey.