AI 모더레이션
Workers AI와 EmDash 퍼스트파티 플러그인 훅으로 댓글과 사용자 생성 콘텐츠를 모더레이션합니다.
플러그인
AI 모더레이션
Workers AI와 EmDash 퍼스트파티 플러그인 훅으로 댓글과 사용자 생성 콘텐츠를 모더레이션합니다.
제품 상세
- 카테고리
- AI
- 상태
- 사용 가능
- 버전
- 베타에 포함
AI Moderation은 EmDash가 Cloudflare 네이티브 인프라로 실제 편집 문제—댓글과 UGC 텍스트를 안전하게 유지하면서 모든 결정을 블랙박스 벤더에 맡기지 않는 방법을 보여 줍니다. 업스트림 패키지는 Workers AI와 Llama Guard 스타일 가드레일을 활용한다고 설명되어 있으며, 정확한 모델과 정책 노브는 릴리스별로 packages/plugins/ai-moderation에서 확인하세요.
설치
- EmDash 배포가 Workers AI(또는 이 플러그인에 문서화된 AI 백엔드)를 사용할 수 있고 계정 요금제에서 허용되는지 확인합니다.
- EmDash 관리자에서 AI Moderation을 켜거나 개발 중 모노레포에서 연결합니다.
- 플러그인 README에 따라 필요한 비밀과 환경 변수를 설정합니다. 일반적으로 API 토큰이나 바인딩이며 Git에 커밋하면 안 됩니다.
- 비프로덕션에서 스모크 테스트: 정상 텍스트와 경계 사례를 보내 모더레이션 결정과 로깅을 확인합니다.
구성
보통 다음을 조정합니다.
- 민감도 또는 정책 프리셋 — 차단·플래그·허용 기준(통합 구현에 따라 다름).
- 폴백 동작 — AI 서비스가 없을 때 엄격(검토 대기) 또는 완화(경고와 함께 게시).
- 감사 가시성 — 검열자가 점수·카테고리를 보는지 최종 결정만 보는지.
예(개념): 커뮤니티 블로그는 위험 임계값 이하를 자동 게시, 애매한 항목은 수동 검토 대기열, 고신뢰 위반은 차단하도록 임계값을 매핑합니다.
사용 시나리오
- 댓글이 있는 출판물 — 애매한 경우에만 사람을 남기며 부담 감소.
- 사용자 기여 — 양식이나 투고의 짧은 텍스트 자동 분류.
- 제안이 있는 내부 위키나 문서 — 라이브 전 가벼운 선별.
운영 팁
- 거짓 양성을 정기적으로 검토하고, 합성 테스트뿐 아니라 실제 트래픽 이후에 임계값을 조정하세요.
- 규정 준수가 모더레이션된 콘텐츠에 대한 추적 가능한 결정을 요구하면 Audit Log와 함께 사용하세요.
- Workers AI 사용량과 지연을 모니터링해 예산과 UX 안에 두세요.