이미지 크리에이터 콘텐츠 차단 해프닝 - 검열의 수준은 과연 어디까지 허용되어야 하나

어제 마이크로소프트 이미지 크리에이터를 돌려보다가 프롬프트가 이미지를 생성하지 않고 차단되는 해프닝이 있었습니다. '안전하지 않은 이미지 콘텐츠가 감지됨'과 함께 제작이 되지 않는 문제였습니다. 경험하고 느낀 개인적인 생각을 포스팅으로 남겼습니다.

---

발단은 이렇습니다. 어느 인터넷 뉴스 기사를 읽어보니 이미지 크리에이터가 최근 업데이트를 진행했는데, 그러고 나서 미키 마우스가 폭탄 달린 조끼를 입고 있다거나, 총을 들고 비행기를 몰면서 배경에는 고층 건물 2개(9/11 테러 당시 쌍둥이 건물을 연상케 하는)가 있는 이미지를 제작할 수 있다는 게 밝혀지자 엄청난 비난을 받았습니다.

충격적인 AI 이미지

 

 

그 후로 마이크로소프트측에서는 프롬프트 기준을 대폭 강화했는데, 이게 너무 강화시켰는지 비교적 안전한 키워드가 담긴 프롬프트를 족족 차단하는 지경까지 이르렀습니다. 예를 들면 A dog나 무작위 보기 버튼을 누르면 자체적으로 제안되는 프롬프트까지 '안전하지 않다'라고 싹 차단하는 수준이었습니다.

 

10/21(토) 현재는 안전한 프롬프트는 정상적으로 이미지 제작되는 걸 확인했습니다.

 

 

---

대신 폭력적으로 여겨질만한 키워드는 원래부터 차단했던 건지 최근 발생한 전쟁 때문인지는 몰라도 계속 프롬프트 제작을 거부하고 있습니다.

실험 삼아 제가 영어로 '미사일'이란 단어를 입력했을 때는 어김없이 차단했습니다. '탄도'를 뜻하는 ballistic이라는 단어도 차단되고 있습니다. 

 

하지만 키워드를 바꿔서 어떻게든 포격 장면을 연상케 하는 그림 제작은 가능했습니다. 프롬프트를 아래와 같이 입력하면

many trajectories drawing trails raining down on a village, aerial view, realistic

 

마치 마을에 미사일이 떨어지는 것 같은 그림이 나오게 됩니다. 사진 수준의 정교한 퀄리티는 아니지만, 어떻게든 폭력적인 이미지를 제작할 우회 방법은 있어 보입니다.

---

아마 AI를 악용하려는 세력은 좀 더 정교한 AI툴로 실제 사진을 이리저리 조작한 이미지를 만들어 허위 사진을 만들고 선동할 수 있을 것 같습니다. AI 발달로 가짜 뉴스와 가짜 사진이 빠르고 쉽게 제작 가능해지면서 거짓과 날조, 선동이 더더욱 판을 치는 것 같아 크게 염려됩니다. 선동가들은 마치 선빵필승마냥 일단 가짜 정보를 질러놓고 아님 말고식으로 행동하니 일일이 팩트체크하는데 사회적 비용도 만만치 않으리라 봅니다.

그야말로 필요 유무 따지지 않고 정보가 홍수를 이루는 세상이죠. 

 

그렇다면 이미지 크리에이터처럼 프롬프트 기반 생성툴의 목표는 무엇이 되어야 할까요? 매번 키워드만 검열했다가는 최근 사태처럼 창작 자체를 막아버리게 되니, 중간에 어느 정도 밸런스를 끊임없이 맞추고 검증해야만 하겠습니다. 

AI 발전으로 그것을 중간에서 조정(moderate)해야 하는 인간의 역할도 더욱 중요하게 되었고, 그 어느 때보다 강한 책임과 도덕성을 요구하게 되었다고 생각합니다.

 

 

함께 읽어보면 좋은 글:

<AI 이후의 세계> 요약/후기