다큐멘터리 "coded bias" 후기

일단 제목이 biased code가 아닌 coded bias라는 게
곱씹어 볼 만하다.

넷플릭스에서 한국어로 번역된 제목은 '알고리즘의 편견'인데
원제의 뉘앙스를 죽이는 번역같다.
똑같은 얘기를 몇번이나 반복해 1시간이면 충분했을 러닝타임이 90분이나 되는 것과
중간중간 마이크로소프트의 tei가 오글거리는 대사를 읊는 것만 빼면
비판적인 몇몇 다큐들이 굉장히 선동적이고, 확증편향에 사로잡혀 있으며, 음모론의 성격마저 띤다는 걸
염두에 두고 최대한 객관적인 시선으로 보았음에도
대부분의 주장에 동의할만한
괜찮은 다큐였다.

전체 줄거리 리뷰는 세 마디로 짧게 하고 
다큐에서 충분히 짚어지고 고찰되지 않은 질문에 대한 나의 생각을 적어보겠다.

1. 알고리즘 자체는 편향되지 않고 될 수도 없다
   수학이 발명된 거냐 발견 된거냐라는 논제는 여기서 논외로 칠 때 
   수학만큼 인간의 편향에서 자유로운 사고방식은 없다고 해도 과언이 아니므로
   수학적 알고리즘에 어떤 인간의 편향이 개입할 수 있다고 생각하기 어렵다.
   하지만 과연 그럴까?

2. 편향된 데이터를 입력받은 알고리즘은 제 아무로 뛰어난 적중률을 가진다 한들 득보단 실이 많다
   일견 맞는 말 같아 보이는데, 꼭 그렇지만은 않다. (특히 공리주의적, 집단주의적 관점에서 보면)
   이렇게 생각하는 이유는 글 말미에 논하겠다.

3. 데이터를 수집하고 사용하는 테크회사들에 제약을 걸 수 있는 보다 엄격한 법제 도입이 시급하다.
   특히 안면인식기술과 관련해서.
   어떤 이해관계자들에겐 그리 달갑지 않은  이야기일 수 있다. 미래의 나를 포함해서.
   이런 이해득실 문제를 떠나서 이건 미봉책에 불과하다. 이런 생각의 근거 역시 뒤에 논하겠다.

다큐가 거론하는 근거들 중 충격적이었던 건 
안면인식기술을 사용해 대놓고 국민을 통제하는
중국의 사회신용점수(social credit score)라는 제도가 현재 실행중이란 사실과

백인보다 유색인종을 범죄자로 오판하는 편향이 짙은
아마존의 안면인식기술이 2020년 경찰기관에 잠정 사용중단(1년 간 사용보류)되었다는 사실이다.

다큐를 보고 난 뒤
해소되지 않는 물음은 다음과 같다.

"그래서 데이터가 왜 편향됐는데?"

물론 다큐의 제목에서도 나타나는 가장 본질적인 저 물음에 답을 하지 않진 않는다.
하지만 다큐가 내놓는 답은 다소 에둘러간다.

"구글, 아마존, IBM, MS, Amazon 등 주요 테크회사에서
안면인식 알고리즘을 설계한 사람은 백인 남성들이었고
그들의 편향이 모델에 반영된 결과, 유색인종들은 제대로 인식되지 않게 되었다"

상기 다큐의 세 가지 주장 중 하나인 '수학적 알고리즘 자체는 편향되지 않는다'는 내용과 결론이
어긋나며 다큐가 끝나버린다.
(아마 한국어 제목을 '알고리즘의 편향' 이라고 지은 사람은 다큐의 저 마지막 대목에 영향을 받은 거라 추측이 된다)

이 불일치의 두 가지 틈을 비집고 들어가는 것으로 본격적인 이야기를 시작해보겠다.

하나, 개발자에 의해 알고리즘이 편향된다는 게 무슨 뜻인가? 그것이 정말 가능한가?

둘, 알고리즘이 편향되지 않았다면, 도대체 데이터는 왜 편향되어 있는 건가?
데이터의 편향은 쉽게 해결할수 있지 않나? 더 많은 데이터와 고른 분포를 가진 데이터의 공급으로?

첫째 질문에 대한 나의 생각은 다음과 같다.

(1+1=3이라고 인식하는 예외적인 인식체계를 가진 인간은 제외했을 때) 수학 자체는 편향될 수 없고,
따라서 수학적 모델에 기반한 알고리즘 역시 편향될 수 없다.
그럼 다음 용의자는 
알고리즘을 어디에 쓰느냐 또는 그 알고리즘에 어떤 데이터를 넣느냐로 추려지는 것 같지만

해당 알고리즘을 짠 개발자에 의해서도 알고리즘이 편향될 수 있다는 다큐의 주장이
더 파급력 있다. 

나 자신을 예로 들어보자.
나는 21세기 대한민국에서 태어난 남성이다.
대한민국이란 나라는 아시아에 속해 있고, 한글이란 고유의 언어를 사용한다.
따라서 내가 어떤 언어처리모델을 개발한다고 했을 때
전 세계의 모든 언어 중에 한국어, 시간적으로도 21세기에 사용되는 한국어에 편향된 사고 과정에 근거할 것이다.

혹자는 위와 같은 내재적인, 통제불가능한, 선천적으로 주어진 편향에서 비롯된 알고리즘의 편향을
물고 늘어질 순 없다고 반론 할 수 있다. 

그러나 내가 어느 정도 소득 수준의 가정환경에서 얼마나 안정적인 양육환경을 거쳤으며
어떤 학교들을 다녔고, 어떤 친구들을 사귀었으며, 어느 정도의 교육수준을 성취했는지
그 결과 어떤 대학, 어떤 회사, 어떤 집단에 주로 속해 있는지는
물고 늘어질 만한 가치가 있는 편향이다.

다큐가 문제 삼은건 위와 같은 사회문화경제적 배경의 차이로부터 생기는 개발자의 편견이
알고리즘에 반영되는 경우일 것이다.

좀 더 집요하게 파고 들어가 보자.
"그래서 그게 도대체 어떻게 반영된다는 거지?"

언어를 예로 들면 더 쉽겠지만
이미지로 예를 들어 보겠다. (다큐에서 충분히 논증해내지 못했으므로)

내가 만약 미국 상류사회에 속한 개발자가 아니라
인도의 어느 난민촌이나 아프리카의 어느 원시부족사회에서 나고 자랐다고 해보자.
수학과 기계에 뛰어난 자질을 보여
20살이 됐을 땐 MIT 미디어 랩 소속의 학생이 될 수 있었다 치자.
그래서 이제 내가 세계최초로 안면인식 알고리즘을 개발하게 되었다고 치자.
내가 짠 안면인식 알고리즘이 
미국 실리콘 밸리의 부유층에서 나고 자란
나처럼 분초를 다퉈 세계 최초로 안면인식 알고리즘을 개발하려는 어떤 동갑내기 white man이 짠 안면인식 알고리즘과
어떤 면에서 근본적으로 다를 수 있을까?

아마 내 얼굴 선이 좀 더 둥글고, 피부 색도 어두울 테니까
색깔이나 엣지가 아닌 다른 피쳐들을 더 고려하게 되는 알고리즘을 짰을까?
아니면 딥러닝 모델을 만들어서 둥근 엣지와 어두운 색에 더 가중치를 부여하게 되는 결과를 낳는 필터를 만들었을까?
내가 의식하지 못하는 순간,
나도 모르게 나와 비슷하게 생긴 사람들을 더 잘 인식하도록 모델을 만들게 되지는 않았을까?

이런 식으로 알고리즘이 편향된다는 주장에 동의하긴 쉽지 않아 보인다.
나도 확신이 서지 않는다.
수학 공식을 거쳐 나온 피쳐추출기가 그럴 수 있다고?
인간이 주는대로 데이터를 처리하는 수학 공식 모델이 데이터를 편식할 수 있다고?
이 물음을 잘 간직하고 다음 챕터로 넘어가보자.

그렇다면 일단 편향되는 것이 알고리즘이 아니라 데이터라 하자.
그럼 데이터는 왜 편향되는 것인가? 라는 좀 더 쉽고 확실한 두번째 질문의 답은 일견 간단하다.

1 내가 백인이었으면 흑인보단 백인사진을 구하기가 훨씬 쉽다.
2 백인 문화에서 나올 수 있는 사진이 더 자연스럽다고 생각하게 된다.
3 위 두 가지 이유로 나도 모르게 흑인 사진과 흑인 문화에서 찍힐 수 있는 사진은
  백인의 그것과  나란히 공정하고 대등한 데이터로 고려되지 못했을 것이다. 

이건 의심의 여지가 없다.
데이터 수집 및 해석에 있어 이런 일은 매우 빈번할테니
(해당 도메인에 대한 지식이 불완전하다면 이 문제는 더 심각해 질테니)
위의 문제 같은 경우엔
백인 흑인 개발자의 수를 균등하게 하는 것 같은 해법을 1차적으로 고려해볼 수 있다.
(여성/남성/LGBT, 그 외 다양한 국가, 사회문화경제집단 출신의 개발자들)

이미 개발자 집단, 사회가 프로그래머라는 직업 특성상
여타 집단에 비해 훨씬 그 출신 스펙트럼이 넓음에도 불구하고
저런 편향이 생긴다는 걸 감안하면
문제의 심각성이 더 체감된다. 어쨌든, 
데이터의 편향 이유는 무궁무진할 것이다.

반면 해법은 쉬워 보인다.

딥러닝을 공부하면서 마치 경전의 한 구절처럼 
아무런 비판없이 수용되는 명제들이 있는 것 같은데
그중 하나가 바로

"데이터가 충분히 많으면 오버피팅을 해결할 수 있다"
"데이터가 충분히 많으면 편향에서 자유로워질 수 있다"
는 류의 내용들이다. 

그런데 과연 그럴까?

여기서 나는 다소 급진적인 생각을 해보았다.
아무리 많은 데이터를 모아도, 전체 데이터셋의 분포는 편향되어 있을 수밖에 없다 

이 생각이 향하는 과녁의 중심점은 다음과 같다.
데이터가 충분히 많으면, 그것은 곧 현실과 같아진다

그리고 다음에 오는 명제는 틀림없는 진실이다
'현실은 불공평(정)하다'

따라서 다음과 같은 주장이 필연적으로 따라 나온다.

'현실은 불공평하므로 그런 현실에서 수집한 데이터는 불공평할 수밖에 없다.
데이터의 편향, 불균형은 이러한 현실을 반영한다
만약 어떤 데이터셋에 편향이 없다면(분포가 고르다면),
그 데이터는 현실의 문제를 다루는데 근본적인 도움을 줄 수 없다
(동전을 던지거나 주사위를 굴리는 건 문제를 해결하는 방법이 아니라 문제를 시작하는 방법이므로)
나아가 이미 알고리즘이 편향되어 버렸다면
아무리 많은 데이터를 공급한다해도 편향은 상쇄되지 않는다'
(지금 나는 데이터 문제에서 알고리즘 문제로 교묘하게 말을 섞고 있다. 일단 진행해보자.)

다큐는 문제의 원인을 개발자의 편향, 그로 인한 알고리즘의 편향을 들었지만 
내 생각에 그건 중요한 문제가 아니다. 

진짜 문제는
이미 편향된 현실 자체다.
이러한 현실을 개선하기 위해 인공지능 기술이 사용되도록 하는 데 초점을 맞춰야 하지
개발자의 편향, 그로 인해 편향된 알고리즘 낳는 폐해에 초점을 맞춰선 안 된다는 게
이 글을 통해 내가 하고자 하는 말이다.

이제 논증을 시작해보겠다.

장기판에 놓일 말의 수와 종류 자체가 이미 불균형한데
그 말들을 가지고 어떻게 장기판에서 이길건지 생각하는 전략과
새로운 장기말의 개발을 비판한다는 건
순서가 잘못됐다.

즉 아마존의 안면인식기술 자체와 그 사용에 문제가 있는 것이 아니라
진짜 문제는 미국에서 유색인종의 범죄율이 더 높다는 현실사회의 부조리에 있는 것이다.

(중국의 사회신용점수 제도 문제는 약간 결이 다르다.
이 문젠 아마존 따위와 차원이 다르므로 다음 기회에 따로 다뤄보겠다)

이 부조리의 진짜 원인은
아프리카계 ,라틴계, 중동지역 사람들의 천성이 게으르고 못돼 쳐먹어서가 아니라

그들이 살고 있는 주거 환경이 범죄에 더 많이 노출돼 있고
그들이 받는 교육 시스템이 충분히 아이들을 케어해주지 못하고
그들이 누리는 복지혜택들에 대해 정관계에 로비할 수 있는 인사들이 그들 나라 혹은 
백인 사회에서의 로비스트의 수 보다 많지 않기 때문이다.

이러한 '틀린 현실'을 고치려 하지 않고
틀린 현실을 시뮬레이션 하는 '틀린 모델'의 한계를 비판하는 게 무슨 소용일까?

물론 '틀린 모델'이 현실의 불평등과 부조리를 더욱 심화 시킬 수 있다는 점에서 비판에 의의가 있을 수 있지만
현실을 겨냥하지 않고 모델을 겨냥해버리면
그 '틀린 모델'이 '틀린 현실'에 맞는 결과를 예측해 냈을 때의 순기능은 부정할 수 없게 된다.
이러한 결과들이 축적되면
궁극적으로 바뀌는 건 아무 것도 없다.
현실이 더 틀려먹어 질수록, 그만큼 틀려진 모델의 예측력 또한 높아질 테니까.

무슬림 또는 중동지역 출신 인간의 이목구비 인식에 최적화된 안면인식 모델이
백인보다 그들을 더 잘 인식함으로써
무고한 수많은 유색인들이 모욕적인 검문을 당하겠지만
그럼으로써 사람을 '죽일 수'있는 테러범을 찾을 확률이 더 높아진다면
군경이 이 프로그램을 쓰지 않을 이유가 없다.
당장 불특정 다수가 살해당하는 것과 불특정 다수의 인권이 침해되는 두 문제 사이의 우선순위는 명백할 뿐더러
무엇보다 군경에게 그 테러범이 왜 백인이 아니라 유색인종에서 더 많은지는 중요한 게 아니니까.

이러한 문제에 한해선 데이터가 많을수록 오버피팅과 편향이 줄어들 테니 문제 해결에 도움이 될거란 생각은
나이브하기 그지 없다.
저런 식으로 이미 편향된 알고리즘에선
아무리 많은 데이터를 수집하고 아무리 데이터 분포를 고르게 해도 소용이 없기 때문이다.
다큐 중간에 IBM에서 흑인 여성과 남성의 안면인식 성공비율이 높아지도록 모델을 수정했다는 이야기가 나오는데
이것이 비단 흑인의 사진을 더 많이 모델에 넣고 학습시켜서만 가지고 고칠 수 있는 문제였을까?
그 정도 수준의 문제였다면 다큐에서 흑인의 안면인식성공률이 낮다는 문제를 제기한 개발자가
자기 선에서 해결 할 수 있었을 것이다.
(이 부분이 내가 데이터의 편향이 아닌 알고리즘의 편향을 다시 거론하게 된 근거가 되는 부분인데
아직 지식이 짧아 이 부분은 전적으로 다큐의 내용에 의지할 수 밖에 없다. 계속 유념해두면서 진행해보자)

다큐가 말하고자 했던 건 (분명하게 알아들을 수 있도록 다음과 같이 표현되진 않지만) 결국 다음과 같다.

흑인의 안면인식 성공률이 어떤 프로그램에선 낮은데 (일반 대중에 공개되는 모델)
또 다른 어떤 프로그램에선 유독 높다면 (군,경,정보,정부기관이 사용하는 모델)
데이터의 양 문제가 아닌 알고리즘의 문제다.

그러나 내가 생각하기에 정말 중요한 문제는 다시 한번 말하지만 다음과 같다.

(의식적으로든 무의식적으로든) 특정 방향으로 편향된 알고리즘, 그런 알고리즘의 개발은 문제가 아니다.
진짜 문제는 데이터의 편향이고
데이터의 편향은 현실의 불공평을 수정함으로써만 바로잡힐 수 있다.

미국사회에서 흑인의 평균 경제력과 교육수준이 백인과 같거나 백인보다 높았다면
아마존의 안면인식기술은 그때도 백인에게 더 관대한 판단을 내렸을까?

그렇다면 현실의 불공평과 부조리를 개선하기 위해
딥러닝이 할 수 있는 게 무엇인지를 찾는 것이,
개발자의 편향과 그로 인해 편향된 알고리즘을 지적하면서
기술 자체에 부정적인 인식이 퍼지는 데 따르는 비용과 더불어
더 많은 데이터를 모아 더 깔끔하게 처리하는 데 들이는 비용보다 훨씬 경제적이지 않을까?