Facebook은, AI를 사용하여 자살이나 자해를 암시하는 게시물을 검출하고, 자살 방지로 연결하는 대책을 전세계(EU 제외)에서 전개한다. 11월 27일(현지 시간) 영어 뉴스룸에 게시, 12월 1일에는 전지역에 발신했다.
미국에서는 3월부터 시험 도입 했었고, 월간 100건 이상의 게시물을 감지하고, 실제로 작성자에 대응했다. AI가 검출 한 내용의 긴급성을 판단, 대응하는 전담팀도 3000명을 증원하고, 2018년까지 전세계에서 7500명으로 늘릴 계획.
Facebook에 따르면, 미국과 태국에서 사용자가 사람을 죽이는 모습을 Facebook 라이브 동영상으로 전달하는 등 사건 등이 대책을 강화하기로 했다.
Facebook에 따르면, AI 패턴 인식 기술을 사용하여 등록 된 글과 배달 동영상에 포함 된 자살이나 자해 게시물을 스캔한다. 이후 전담 팀에 보고가 올라가고, 팀이 대응의 긴급성을 판단하고, 사용자에게 지원을 제공한다는 메시지를 보내거나 긴급 한 경우에는 직접 경찰 등에 통보하는 등으로 대처한다.
Facebook이, 이 AI 시스템을 미국에서 도입 한 결과, 지난 1개월 동안 100건 이상의 "자살의 가능성이 있는 게시물"을, 주변의 초동 대응자와 협력하여 확인한다. 패턴 인식 기술을 사용하여 긴급 판별에 임한 결과, 긴급도가 높은 게시물에 대한 "다른보고보다 두 배의 속도로 통보로 이어졌다"고 한다.
Facebook은 지금까지 사용자가 자살이나 자해를 암시하는 게시물이나 동영상 전송을 하는 경우, 게시물을 발견 한 사람이 Facebook에 보고하는 구조를 최했었다.