차별하는 데이터: 상관관계, 이웃, 새로운 인식의 정치

『차별하는 데이터: 상관관계, 이웃, 새로운 인식의 정치』는 뉴미디어와 네트워크 기술, 기계학습 등을 둘러싼 기술적·인식론적 통찰을 바탕으로 북미 비판적 디지털 미디어 연구를 주도해 온 웬디 희경 전의 국내 첫 번역서다. 상관관계, 동종선호, 진정성, 인식 등 21세기 빅 데이터와 소셜 네트워크의 근간을 이루는 개념들이 어디에서 비롯했으며, 어디로 이끄는지 이해함으로써 우리가 기술과 문화에 깊이 관여할 수 있음을 촉구하는, 연구서이자 지침서다.

20세기 후반 등장한 인터넷, 소위 ‘사이버공간’은 전 지구적 민주주의, 평등, 번영의 시대를 열 것을 약속했다. 기술은 우리 삶을 윤택하게 하고, 인공지능은 머지않은 미래에 상위 1퍼센트가 누리는 혜택을 나머지 90퍼센트에게 나눠줄 유순한 기계 하인이 될 운영이었다. 그곳에 차별이란 없었다. 사이버공간에서 성별, 나이, 피부색, 학력, 재산은 중요하지도, 보이지도 않을 것이었기 때문이다.

그로부터 4반세기가 지난 지금, 인터넷은 악몽이 되었다. 그것은 전 세계적 감시 네크워크의 근간을 이루며, 거짓과 음모론을 퍼뜨리고 사회를 분열시키는 소셜 미디어 알고리듬과 인류의 미래를 위협하는 인공지능 프로그램을 낳았다. 2010년까지만 해도 중동의 민주화 항쟁을 이끈 “해방의 기술”로 칭송받았던 닷컴(dot-com)은 닷폭탄(dot-bomb)으로 변했고, 정부와 기업들은 사과문을 발표하기에 바빴다. 매해 사건사고가 넘쳐나기 시작했다. 2018년 한 해에만 마크 저커버그는 페이스북 사용자 8,700만 명의 개인 프로필이 ‘유출’된 데 공개적으로 사과했으며, 미국 이민세관단속국이 항상 구금을 권고하도록 위험 평가 소프트웨어를 ‘업그레이드’했다는 폭로부터, 여성을 차별한다는 이유로 아마존이 AI 채용 소프트웨어를 폐기했다는 소식, IBM의 슈퍼컴퓨터 왓슨이 잘못된 암 치료법을 추천했다는 보도까지, 뉴스는 끊이지 않았다. 급기야 『뉴욕』지는 귀여운 고양이 사진과 함께 「인터넷이 사과한다…」는 기사를 내보냈다. “미안해요. 우리는 사생활을 파괴할 의도는 없었습니다. 그리고 민주주의도요. 우리가 나빴어요.” 기술 기업들은 일이 벌어질 때마다 사과와 함께 기술적 해결책을 약속했다. 그런데 혹시, 이런 재난들이 용서를 구할 실수가 아닌 정해진 목표라면 어떨까. 점점 더 강력한 힘을 발휘하는 빅 데이터와 기계학습, 추천 알고리듬, 네트워크 과학이 실은 과거의 불평등을 영속화하려는 열망에서 태어난 19세기 말 우생학의 사생아라면, 우리는 어떻게 해야 할까.

『차별하는 데이터: 상관관계, 이웃, 새로운 인식의 정치』는 현재 기술의 이름으로 벌어지는 차별과 억압, 불평등에 대응하기 위해 차별의 증거를 폭로하고 분석하는 것만으로는 충분하지 않다고 주장한다. 아마존의 채용 소프트웨어가 사용한 데이터, 즉 인종의 대리체를 탓하는 것은 인종차별이 눈에 보이는 차이에서 비롯된다는, 즉 인종만 추적하지 않으면 사라질 것이라는 순진한 가정을 불러온다. 이는 기술이 ‘맹목적’이며 따라서 공정하다는 근본적인 믿음에서 비롯된다. 그러나 지금껏 많은 연구와 현실에서 밝혀진 것처럼, 인종을 무시한다고 인종주의가 사라지지는 않으며, 오히려 인종과 차이를 지우려는 욕망은 차별과 불평등을 영속화할 뿐이다. 우리에게 필요한 것은 더 근본적인 지점, 즉 현재의 기계학습과 알고리듬에 인간의 편견과 차별이 어떻게 내재되어 있는지, 즉 단순히 데이터의 수준에서뿐만이 아니라 절차와 예측, 태생과 논리의 수준에서도 얼마나 깊게 결합되어 있는지를 이해하는 일이다.

이를 위해 이 책에서 핵심으로 다루는 개념은 ‘상관관계’와 ‘동종선호’다. 기본적으로 상관관계는 두 개 이상의 변수들의 관계를 설명한다. 간단히 말해, 두 변수가 서로 보조를 맞춰 증가하면 양의 상관관계가 있고, 서로 반대 방향으로 변화하면 음의 상관관계가 있다. 겉으로 보기에 무해해 보이는 이 개념은 그러나, 20세기 초 가장 빈곤한 공동체에 대한 감시와 생체 측정에서 탄생한 우생학자들의 작품이다. 100여 년 전, 우생학자인 프랜시스 골턴과 칼 피어슨의 연구에 기반을 둔 상관관계는 현재 빅 데이터의 근간을 이루며 전통적인 인과관계를 대체하기에 이르렀으며, 급기야 현실을 상관관계에 따라 다시 빚어내기 시작했다. 예컨대 2016년 데이터 분석에 따른 선거 유세와 광고 기술 등을 통해 유권자에게 영향을 미쳐 미국 대선과 영국 브렉시트 투표 결과에 개입했다는 의혹을 받은 케임브리지 애널리티카의 사례는 더 나은 ‘인간 작물’을 재배하려는 우생학자들의 열망과 그리 멀지 않은 곳에 존재한다.

21세기 소셜 미디어와 추천 알고리듬의 기본 공리가 된 ‘동종선호’(homophily) 역시 얼핏 문제가 없어 보인다. ‘자신과 비슷한 사람들과 어울리고 유대감을 느낀다’는 이 자연스럽게 들리는 개념이 실은 1950년대 미국의 흑백 주거지 분리를 전제로 한 폴 라자스펠드와 로버트 K. 머튼 등의 연구에서 (그것도 주로 백인들의 설문 응답에 중점을 둔 분석에서) 비롯한 것임을 알기 전까지는 말이다. 저자는 이 개념에 숨겨진 역사적 층위를 밝히기 위해 널리 인용되지만 거의 읽히지 않는 이들의 1954년 연구 「사회적 과정으로서의 교우관계」와 동종선호 개념의 핵심 데이터가 실려 있지만 끝내 발표되지 않은 「사회생활의 패턴」이라는 미발표 보고서를 파헤친다. 그리고 그들이 동종선호와 반대되는 이들의 목소리를 역사에서 지워버렸음을 밝혀낸다.

각각 20세기 초와 중반, 사회공학이 분리와 차별 위에 옹립한 두 개념인 ‘상관관계’와 ‘동종선호’는 오늘날 겉으로 보기에 개방적이고 무한해 보이는 소셜 네트워크가 소위 분열된 ‘빗장 공동체’(gated community)로 와해되는 현상을 설명하는 데 핵심이다. 일찍이 페이스북 사용자의 ‘좋아요’ 데이터를 기반으로 사람들의 성별, 민족, 정치적 견해는 물론 성적 성향, 지능, 행복감 같은 잠재적 속성을 예측하는 것이 얼마나 쉬운지 보여준 미할 코신스키 등의 2013년 연구는, 사람들을 상관관계과 동종선호에 따라 인위적으로 무리짓는 것 역시 얼마나 쉬운지 보여준다. 한때 우생학자들의 목표가 열등한 사람들을 분리함으로써 ‘적합한’ 사람들을 재생산하는 것이었다면, 현대의 상관관계는 네트워크상의 분리된 이웃들의 ‘무리짓기’를 위한 데이터 분석의 초석이 된다. 즉, 고도로 선별적이고 차별적인 과거를 미래에 반복하려 한다는 점에서 같은 목표를 지닌다. 이곳에서 분리와 반향실 효과는 우연이 아닌 목표다. 결정적으로 동종선호는 증오를 ‘사랑’으로 세탁한다. 당신은 당신의 사랑을 어떻게 증명할 것인가? 다른 사람이 나타나면 도망치는 것이다.

이 책은 뉴미디어, 네트워크 기술, 빅 데이터 등을 둘러싼 기술적·인식론적 통찰을 바탕으로 북미 비판적 디지털 미디어 연구를 주도해 온 웬디 희경 전의 첫 국내 번역서다. 1세대 이민자로서 겪은 차별과 정치가 우리가 당연시하는 많은 것 속에 내재되어 있음을 깨달은 그녀는 지난 25년간 공학, 문학, 비판이론, 복잡계 이론 등을 아우르며 기술과 문화에 대한 깊은 관여를 촉구해 왔다. 이는 그녀가 “기술 결정론자거나 문화 결정론자이기 때문이 아니라, 기술과 문화 모두에 강렬하게 관여함으로써 우리가 이 두 극단에서 벗어나게 된다고 믿기 때문이다. 핵심은 문화와 기술이 어떻게 교차하고 충돌하는지 보는 것이다. 즉 어떤 기술을 깊이 파고들면 심원한 사회·문화적 가정들이 드러나고, 그 반대도 마찬가지임을 보는 것이다. 차별과 부당함은 외부에서 오는 것이 아니다. 그들은 ‘그 안에’ 있다. 왜냐하면 기술적 디폴트는 문화적·사회적 편견에 내재되어 있기 때문이다.”

이 책의 긍극적인 목표는 우리를 둘러싼 도구를 신중하고 창의적으로 사용함으로써 죄어오는 듯한 선제적 미래의 굴레에서 우리가 벗어날 수 있도록 돕는 것이다. “나는 이러한 도구를 본질적으로 우생학적이라 비난하기보다는 그 도구의 논리에 참여하여 그 도구의 한계와 가능성을 이해하고자 한다.” 상관관계에 대한 우생학적 뿌리가 미래를 완전히 봉쇄하기 전에. 동종선호가 분노한 무리들로 굳어지기 전에. 진정성과 인식이 일탈을 조장하는 데 그치지 않기 위해. 차별을 회피하는 대신 직면함으로써 우리 사이의 공간에 주목하기 위해. ‘빅 데이터’라고 불리는 드라마 속에서 우리가 수동적인 마리오네트가 아닌 캐릭터이자 배우가 되기 위해.

추신. 잘 알려지지 않은 사실이지만 라자스펠드와 머튼은 ‘동종선호’와 함께 ‘이종선호’(heterophily, 자신과 다른 사람에게 끌리는 경향)라는 용어도 고안해 냈다. 동종선호와 달리 기이하게 역사에서 사라지다시피 했던 이종선호는, 최근 추천 시스템과 알고리듬이 자신의 한계를 극복하고 추천을 다양화하기 위해 주목하는 용어다.

“충격적인 책! 데이터 및 네트워크 과학자들이 무심코 받아들였던 수많은 나태한 생각들을 까발리고 떨쳐버린다.”
―줄리오 달라 리바, 데이터 과학자

“디지털 네트워크가 어떻게 인종주의와 차별을 강화하는지 밝히고, 우리의 과거를 분석함으로써 다른 미래로 인도한다. 정말 눈부신 책.”
―리사 나카무라, 『디지털화한 인종』 저자

“동시대 인터넷의 핵심 개념인 동종선호가 불러오는 편견과 양극화에 도전할 분석적, 윤리적, 정치적 도구를 제시하는 매우 중요한 책.”
―피터 갤리슨, 과학사 및 과학철학자

“우리 시대에 주는, 우리 시대를 위한 선물.”
―카라 킬링, 『퀴어의 시간, 흑인의 미래』 저자

빅 데이터와 우생학은 모두 영원히 불변한다고 추정되는 생물학적 속성을 통해 과거와 미래의 결부를, 즉 상관관계와 예측의 연결을 시도한다. 한 세기나 차이가 있지만, 둘 다 (가장 빈곤한 공동체에 대한 감시를 통해 가장 노골적으로) 세계를 실험실로 설정하고, ‘비규범적’ 특성을 전파하여 다수를 추구하며, ‘가장 친절한’ 해결책으로서 (인종차별을 위한 훈련 프로그램으로서의) 분리를 촉진한다. (57쪽)

가장 직설적으로 말하자면, 모든 의미의 공통성을 파괴하기 위해 분열과 적대감에 기반한 ‘공동체들’이 계획되고 구축되고 있다. 이러한 소셜 네트워크는 탈-인종, 탈-정체성 시대를 여는 대신 ‘기본’ 변수와 공리를 통해 분노한 미시정체성(microidentity)을 영속화한다. (102쪽)

20세기 우생학자들에게 동종선호는 열망이었다. 그들은 비슷한(like) 사람이 비슷한 사람으로 자동적으로 재생산되는 세계를 만들고자 했다. 데이터 분석에서 동종선호는 기정사실이자 공리다. 분리된 ‘탈출’의 꿈과 지구 파괴의 악몽은 임박한 인종적 파멸의 서사를 대체했다. 그렇다면 우리는 어떻게 여기까지 왔으며, 상관관계란 대관절 무엇인가? (108쪽)

비논리성은 상관관계의 유일한 문제도, 심지어 주된 문제도 아니다. 캐시 오닐과 다른 연구자들이 보여주었듯이 상관관계는 불평등을 영속화할 수 있다. 오닐이 “수학 파괴 무기”라고 불렀던 것의 개발자들은 무지와 증거 부족을 보완하기 위해 상관관계와 대리체를 사용한다. 그들은 자신들이 가장 관심 있는 행동에 직접 접근할 수 없기 때문에 대리체를 대역으로 사용하는 것이다. (115쪽)

과거에 ‘헤게모니’가 지배적 세계관을 받아들이는 다양한(아테네의 가치를 수용하는 그리스 도시 국가들 같은) 소수들이 다수를 창출하는 것을 의미했다면, 이제 다수는 분노하거나 정서적으로 격앙된 소수들이 모여서 형성된다. 케임브리지 애널리티카와 표적 정치 광고의 사례에서 알 수 있듯이, ‘통합’을 통한 다수의 지지를 구축하기 위해 격앙된 작은 군집들을 생산하고 유지하는 것이 목표다. (146쪽)

동종선호의 역사와 이론에 초점을 맞추며 나는 반향실 효과가 운이 나쁜 오류가 아니라 의도적인 목표임을 드러낼 것이다. 동종선호는 공통의 혐오 대상에 대한 분노에 찬 유사성과 압도적인 매력으로 인해 서로를 밀어내고 서로를 접착하는 개인들의 동요하는 군집을 창출하는 데 사용된다. 결정적으로 동종선호는 20세기 중반 두 인종이 공존하는 공공주택에 대한 미국 백인 거주자들의 태도를 분석한 결과에서 비롯되었다. (165쪽)

‘자발적’ 행동을 중시함으로써 동종선호는 역사적 우연성, 제도적 차별, 경제적 현실을 지워버린다. 최악의 경우, 동종선호는 혐오를 ‘사랑’으로 포장하여 그것이 매핑하는 불평등을 정당화하는 역할을 하기도 한다. 인종차별이나 성차별이 아닌 동종선호가 불평등의 근원이 될 때 불의는 ‘자연스러운’ 또는 ‘생태적인’ 것이 되고, 상충되는 의견, 다른 인종 간의 관계, 양가성, 심지어 이성애도 비정상적인 것이 된다. (189-190쪽)

진정성이 우리 시대의 핵심이 된 이유는 그것이 (알고리듬적이지 않았던 적이 있다면) 알고리듬화되었기 때문, 즉 따라야 하거나 실행해야 하는 일군의 규칙이 되었기 때문이다. 가장 단순한 의미에서 진정성은 ‘너 자신에게 진실하라’는 (극적인) 명령을 떠올리게 한다. 그러나 진정성을 알고리듬적이라고 부르는 것은 진정성의 방법론적 특성을 강조하는 것 이상이다. (277-278쪽)

「어프렌티스」와 다른 ‘자기-계발’ 프로그램에 ‘진지한’ 정치인과 그 부인들(미셸 오바마, 로라 부시 등)이 출연했던 것을 감안하면, 한 캐릭터가 그 반대 방향, 즉 리얼리티 TV에서 백악관으로 움직인 것은 놀라운 일이 아니다. 오울렛이 강조했듯이 트럼프는 사이비 유명인이 아니라, “리얼리티 TV 덕분에 기업가적 주체성의 화신이자, 시장에서 정당성을 끌어내는 ‘허튼 짓 하지 않는’ 리더십의 화신이었다.” (287쪽)

소셜 미디어는 모든 것을 용인하는 것 이상이다. 그것은 모든 것을 장려하고 요구한다. 인터넷의 자유지상적, 민주적 본성에 대한 ‘증거’가 그 다양성에 있다면, 인터넷이 성공적인 것으로 간주되기 위해서는 모든 것이 전시되어야 하고, 모욕적 콘텐츠가 생성되어야 한다. 이 세계관에서는 민주주의=모욕이다. (291쪽)

추천 시스템이 작동하려면 사용자가 예측 가능한 주체가 되어야 한다. 즉 사용자는 인증되어야 하고 진정성 있게 작동하는 것으로 결정되어야 한다. 추천 시스템 프로그램은 사용자의 의도적인 말이 아니라 사용자의 포획된 행동이 그의 참된 자아를 대표한다고 가정하므로, 데이터 과학자들은 사용자의 참된 비의식적 동기를 ‘포착’했다고 주장한다. (313쪽)

‘빅 데이터’라는 드라마에서 연기자이자 캐릭터로서 우리의 역할을 생각한다면, 우리는 현재의 배치 조건을 받아들일 필요가 없다. 실제로 소셜 네트워크의 놀라운 소름 끼치는 점을 인정하고 이에 관여함으로써 우리는 이러한 빅 데이터 드라마를 다른 드라마로 대체할 수 있다. (323쪽)

이 책에는 애디슨 테라스 주민들, 일본인 포로수용소, MIT의 기혼 학생 기숙사, 민권 운동가들, 노예들, 웨스턴 일렉트릭의 불량 여성 노동자들, 디케이터의 주부들, 그리고 처벌을 싫어하는 쥐들의 유령이 출몰한다. 이들은 상관관계, 동종선호, 분리, 인식, 차별, 대리체, 그리고 ‘진정성’ 속에 거주한다. 우리는 함께 살고 있다. (419쪽)

학습을 믿지 않았던 우생학을 위해 개발된 방법이 현재 기계학습의 기초를 이루고 있다는 것은 불편하면서도 흥미로운 점이다. 과학사학자 스테파니 딕이 지적했듯이, 인간 합리성에 대한 기술적 모델을 만들려는 시도는 인간의 지식을 심오하게 변화시킨다. 미디어학자 에이드리안 매켄지는 기계학습의 경우 학습이 “데이터를 생성할 수 있는 수학적 함수를 찾고 그 함수에 대한 탐색을 최대한 최적화”하는 것이라고 주장했다. 특히 메러디스 브루서드가 기록한 인공지능의 한계를 고려할 때, 이것이 학습의 정의가 된다면 우리는 얼마나 많은 것을 잃게 되는가? (454-455쪽)

기계학습 모델은 다른 삶의 양식과 존재 양식을 해방시킬 수 있다. 즉 그 모델은 면밀히 조사할 수 있고 사변적(speculative)일 수 있으며, 따라서 가장 풍부한 의미에서 책임감 있다. 책임감 있는 AI는 반드시 인간의 의사결정을 빼앗는 AI의 악몽이나 유토피아일 필요가 없다. 오히려 그러한 AI는 인간의 가치뿐만 아니라 환경적 가치의 측면에서도 AI가 해야 할 일과 하지 말아야 할 일을 결정하는 데 폭넓게 참여할 수 있고, 또 그렇게 해야 한다. (455쪽)

현재 존재하는 기계학습과 예측 모델도 그 결과와 우리의 현실 사이의 간극을 수정해야 할 오류가 아니라 정치적 행동의 공간으로 취급할 때만 환원에 저항할 수 있다. 우리는 이러한 모델을 지구 기후변화 모델과 마찬가지로 취급해야 한다. 기후변화 모델은 과거의 행동을 고려할 때 가장 개연성이 높은 미래를 제시하지만, 그 미래를 받아들이기 위해서가 아니라 미래를 바꾸고자 노력하기 위해서다. (457쪽)