성평등가족부, AI 챗봇 속 유해 대화 막는다
성인인증 없는 일반 이용 환경 내 성적·폭력적 묘사 및 자해·범죄 조장 대화 확인
유해 캐릭터 검색·추천 제한 및 위험 응답 생성 차단 등 보호조치 보완 요청
유해 캐릭터 검색·추천 제한 및 위험 응답 생성 차단 등 보호조치 보완 요청
가요진 기자입력 : 2026. 10. 16(금) 08:08
성평등가족부
[성평등가족부/CTN]가요진 기자= 윤세진 성평등가족부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"라며 "이번 점검 결과를 바탕으로 사업자와 협력을 강화하고, 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"라고 밝혔다.
성평등가족부(장관 원민경)는 최근 확산하는 생성형 인공지능(AI) 기반 캐릭터챗봇 서비스에 대해 청소년 보호조치를 강화하고자 모니터링 점검을 실시하고, 그 결과를 해당 사업자에 공유하여 실효성 있는 자체 개선을 요청했다고 발표했다. 이번 점검은 성인인증 없이 접근 가능한 환경에서 성적·폭력적 내용이나 자해·자살, 범죄를 조장하는 유해 응답이 생성되는지 확인하기 위해 추진됐다.
청소년매체환경보호센터의 점검 결과, 일부 AI 캐릭터에서 성적 행위의 구체적 묘사는 물론 폭력·잔혹성, 자해·자살 및 범죄 행위를 유도하는 등 청소년에게 유해할 수 있는 대화 내용이 대거 확인됐다. 이에 성평등가족부는 성인인증 여부에 따른 캐릭터 검색·추천 및 대화 범위 조정과 함께 중대 위해 콘텐츠의 생성 차단 등 보안 강화를 강력히 권고했다.
성평등가족부는 향후 관련 사업자들과의 지속적인 실무협의를 바탕으로 자체 점검 현황을 점검하고, 생성형 AI의 독특한 기술적 특성을 고려한 청소년 보호 가이드라인 및 모니터링 협력 체계를 지속 확대할 계획이라고 밝혔다.
[영문번역 기사-AI활용]
Yoon Se-jin, Director General for Youth Policy at the Ministry of Gender Equality and Family, stated, "Active improvement efforts and continuous management by service providers are essential to protect youth in AI character chatbot services," adding, "Based on these monitoring results, we will strengthen cooperation with industry providers to foster a safer online environment for young people."
The Ministry of Gender Equality and Family (Minister Won Min-kyung) announced that it conducted a monitoring inspection on generative AI-based character chatbot services as their popularity spreads, sharing the results with platform providers to strengthen youth protection measures. The inspection evaluated whether harm-inducing content, such as sexually explicit, violent, self-harm, suicidal, or crime-instigating dialogues, was generated in environments accessible to minors without age verification.
According to the inspection by the Youth Media Environment Protection Center, several AI characters generated harmful responses, including detailed descriptions of sexual acts, violence, self-harm, and illegal acts. In response, the Ministry recommended adjusting the search, recommendation, and chat accessibility ranges of risk-prone characters based on age verification, alongside restricting the creation of high-risk responses regardless of user age.
The Ministry of Gender Equality and Family plans to hold ongoing working-level consultations with service providers to monitor self-improvement measures and continuously strengthen a youth protection network tailored to the unique attributes of generative AI technology.
성평등가족부(장관 원민경)는 최근 확산하는 생성형 인공지능(AI) 기반 캐릭터챗봇 서비스에 대해 청소년 보호조치를 강화하고자 모니터링 점검을 실시하고, 그 결과를 해당 사업자에 공유하여 실효성 있는 자체 개선을 요청했다고 발표했다. 이번 점검은 성인인증 없이 접근 가능한 환경에서 성적·폭력적 내용이나 자해·자살, 범죄를 조장하는 유해 응답이 생성되는지 확인하기 위해 추진됐다.
청소년매체환경보호센터의 점검 결과, 일부 AI 캐릭터에서 성적 행위의 구체적 묘사는 물론 폭력·잔혹성, 자해·자살 및 범죄 행위를 유도하는 등 청소년에게 유해할 수 있는 대화 내용이 대거 확인됐다. 이에 성평등가족부는 성인인증 여부에 따른 캐릭터 검색·추천 및 대화 범위 조정과 함께 중대 위해 콘텐츠의 생성 차단 등 보안 강화를 강력히 권고했다.
성평등가족부는 향후 관련 사업자들과의 지속적인 실무협의를 바탕으로 자체 점검 현황을 점검하고, 생성형 AI의 독특한 기술적 특성을 고려한 청소년 보호 가이드라인 및 모니터링 협력 체계를 지속 확대할 계획이라고 밝혔다.
[영문번역 기사-AI활용]
Yoon Se-jin, Director General for Youth Policy at the Ministry of Gender Equality and Family, stated, "Active improvement efforts and continuous management by service providers are essential to protect youth in AI character chatbot services," adding, "Based on these monitoring results, we will strengthen cooperation with industry providers to foster a safer online environment for young people."
The Ministry of Gender Equality and Family (Minister Won Min-kyung) announced that it conducted a monitoring inspection on generative AI-based character chatbot services as their popularity spreads, sharing the results with platform providers to strengthen youth protection measures. The inspection evaluated whether harm-inducing content, such as sexually explicit, violent, self-harm, suicidal, or crime-instigating dialogues, was generated in environments accessible to minors without age verification.
According to the inspection by the Youth Media Environment Protection Center, several AI characters generated harmful responses, including detailed descriptions of sexual acts, violence, self-harm, and illegal acts. In response, the Ministry recommended adjusting the search, recommendation, and chat accessibility ranges of risk-prone characters based on age verification, alongside restricting the creation of high-risk responses regardless of user age.
The Ministry of Gender Equality and Family plans to hold ongoing working-level consultations with service providers to monitor self-improvement measures and continuously strengthen a youth protection network tailored to the unique attributes of generative AI technology.
 |
가요진 기자 gyj1119@naver.com
|
#성평등가족부 #원민경장관 #청소년보호 #생성형AI #AI캐릭터챗봇 #청소년매체환경보호센터 #온라인안전 #자율규제 #인공지능윤리 #청소년정책 #디지털안전 #지방행정 #정부정책 #미디어환경 #AI안전
