사람들은 당신의 말하는 방식을 보고 쉽게 판단한다. 일부 AI 시스템 또한 방언에 대해 편견을 갖게 학습하고 있다. 또한, 언어기반의 AI 시스템이 보다 일반화 됨에따라, 일부의 소수민족들은 자동적으로 기계에 의해 차별을 받을 수 있다고 연구자는 경고하고 있다. 

특이하거나 강한 억양을 가진 누군가가 시리(Siri)나 알렉사(Alexa)가 자신의 언어를 이해하는데 어려움을 겪는 이유가 무엇인지 알수도 있다. 이것은 음성인지 시스템이 자연언어 기술을 사용하여 음성 내용을 분석하고 예시 자료로 학습된 알고리즘에 의존하기 때문이다. 만약 억양이나 현지어에 대한 자료가 충분하지 않다면 이 시스템은 당신이 말하는 것을 이해하지 못할 수도 있다.

문제는 사람들의 인식보다 더 일반화되어 있고 치명적일 수도 있다는 것이다. 자연언어 기술은 자동화 전화 시스템 또는 쳇봇을 통해 고객과 자동화 상호작용 분야에 이용되고 있다. 웹과 소셜 네트워크를 통해 대중의 의견을 수렴하고 유용한 정보 수집을 위한 서면자료를 정리하는데 사용된다. 즉, 언어 시스템을 기반으로 구축된 서비스 및 제품이 이미 특정 그룹에 불공정하게 사용될 수도 있다. 

메사추세츠 대학 애머스트 캠퍼스(University of Massachusetts, Amherst)의 조교수 브랜든 오코너(Brendan O’Connor)와 그의 학생 Su Lin Blodgett는 트위터(Twitter) 언어를 조사했다. 연구진은 인구통계학적 필터를 사용하여 아프리카계 미국인 또는 토착민의 비율을 높힌 5,920만 트윗을 수집했다. 그들은 여러 가지 자연언어 프로세스 기능을 사용하여 이러한 트윗을 어떻게 처리하는지 테스트 했다. 그 결과 이 트윗들을 높은 신뢰도로 덴마크어로 분류했다.

오코너 교수는 "정치가에 대한 사람들의 의견을 트위터를 통해 분석하고자 한다면, 그들은 아프리카계 미국인의 말이나 젊은이의 말을 고려하지 않으면 문제가 발생할 것이다.“라고 말했다. 

또한, 여러 가지 일반적인 머신러닝 기반의 APIs 기법을 통해 의미와 정서가 담긴 문장을 테스트한 결과 이 시스템이 어렵다는 것을 알아냈다. “이 분석기를 구입한 일부회사는 분석기에 편견이 있다는 것을 알지 못했을 것이다 우리는 이런것들에 대한 조사나 지식을 가지고 있지 않았었다.”라고 오코너는 말한다. 

그는 이 문제가 검색엔진을 포함한 모든 언어 시스템에 적용된다고 말한다. 

AI 알고리즘의 이러한 불공정한 문제는 유사한 알고리즘을 널리 사용되는 분야에서 주목을 받고 있다. 한가지 예로 Compass라는 독점적 알고리즘으로 수감자의 가석방 허용여부에 대한 분석했다. 알고리즘이 정확한 사항은 알려진 것은 아니지만, 흑인 수감자에 대해 편향된 결과를 나타냈다. 

그러나 일부 전문가들은 사람들이 인식하고 있는것보다 금융, 건강관리, 그리고 교육 분야의 의사결정에 더 많은 영향을 미치고 있다고 말한다. 

UMass 연구진은 AI의 편견에 대해 워크숍에서 발표했다. Fairness and Transparency in Machine Learning이라는 이 워크숍은 올해는 데이터 사이언스 컨퍼런스의 일부로 개최되었지만 2018년에는 단독 컨퍼런스로 개최될 예정이다. 코넬(Cornell) 대학의 조교수 이자 워크숍의 창립자 살론 바로카스(Solon Barocas)는 AI 시스템의 편견에 대해 연구하는 연구진이 늘어나면서 현장도 커지고 있다고 말한다. 

알고리즘의 공정성과 공공정책을 연구하는 스탠포드 대학(Stanford University)의 조교수 세어드 고엘(Shared Goel)은 이 문제가 간단하지 않다고 말하고 있다. 그는 알고리즘이 의도한 대로 작동하고 정확한 예측을 내며, 폭넓은 사회 편향성을 반영한다고 하여 알고리즘 편견이라고 부르는 것은 지나치게 단순화한 것이라고 지적한다. 고엘교수는 “알고리즘이 무엇을 수행하고, 그 수행의 목적을 규명하고, 그리고 나서 우리가 원하는 것을 결정하는 것이 더 좋을 것이다.”라고 말한다.