AI 환각

영어	Hallucination
분류	AI 한계
발생 모델	LLM, 이미지 생성 AI
원인	학습 데이터 한계, 확률적 생성

'''AI 환각'''(AI Hallucination)은 인공지능이 사실이 아닌 정보를 마치 사실인 것처럼 생성하는 현상입니다. [[youtube:R8CRKr9SBGo|AI 환각이란?]] == 개요 == [[ChatGPT]], [[Claude]] 등 [[LLM]]은 매우 자연스럽고 설득력 있는 텍스트를 생성하지만, 때때로 완전히 허위인 정보를 사실인 것처럼 출력합니다. 이를 "환각"(Hallucination)이라고 합니다. == 환각 유형 == === 사실 오류 === * 존재하지 않는 사실 생성 * 잘못된 날짜, 이름, 통계 * 가상의 인용, 출처 === 논리 오류 === * 잘못된 추론 * 모순된 내용 * 인과관계 오류 === 허구 생성 === * 존재하지 않는 책, 논문 * 가상의 인물, 사건 * 없는 URL 생성 == 발생 원인 == === 확률적 생성 === * 다음 토큰 예측 방식 * 가장 그럴듯한 답 선택 * 사실 여부 검증 없음 === 학습 데이터 한계 === * 학습 데이터 오류 반영 * 최신 정보 부족 * 지식 경계 불분명 === 과적합 === * 패턴 과잉 학습 * 일반화 실패 * 맥락 오해 == 완화 방법 == === RAG (검색 증강 생성) === * 외부 지식 검색 * 사실 기반 응답 * 실시간 정보 연동 === 팩트 체크 === * 출처 확인 요청 * 다중 소스 검증 * 중요 정보 직접 확인 === 프롬프트 기법 === * "확실하지 않으면 모른다고 해주세요" * 근거 제시 요청 * 단계별 사고 유도 === 모델 개선 === * RLHF로 사실성 강화 * Constitutional AI * 자기 검증 메커니즘 == 실제 사례 == === 법률 문서 사건 === * 변호사가 ChatGPT 이용 * 존재하지 않는 판례 인용 * 법정에서 문제 발생 === 학술 논문 === * 가짜 인용 생성 * 저자/제목 혼합 * 학술 윤리 문제 == 이미지 생성 환각 == [[DALL-E]], [[Midjourney]] 등에서: * 비정상적 손가락 개수 * 왜곡된 텍스트 * 물리적 불가능한 구조 == 관련 문서 == * [[LLM]] * [[ChatGPT]] * [[AI 윤리]] * [[프롬프트 엔지니어링]] [[분류:인공지능]] [[분류:AI 한계]]