청킹 Chunking
정의
긴 문서를 문단·소제목 단위의 조각으로 잘라 검색하고 인용하는 것.
한눈에
잘린 조각 ✕"이 차는 앞서 말한 조건에서 가장 낫습니다."무슨 차인지 모름
→
잘린 조각 ✓"A사 B모델은 3열 좌석에 성인 2명이 앉을 수 있습니다."그대로 근거가 됨
알아둘 점
검색 시스템은 긴 문서의 일부 조각을 가져올 수 있습니다. 앞 문단을 읽어야 뜻이 통하는 문단은 잘려 나가면 근거가 되지 못합니다.
예시
이해를 돕기 위한 가상의 예입니다.
- 잘 잘린 조각"B모델의 3열 좌석은 성인 2명이 앉을 수 있습니다." — 소제목 아래 한 문단이 그대로 근거가 됨
- 잘리면 뜻을 잃는 조각"이 차는 앞서 말한 조건에서 가장 낫습니다." — 앞 문단 없이는 무슨 차인지 모름
- 표사양표가 행 단위로 잘려 항목 이름이 빠짐 — 표 앞뒤에 문장으로도 적어 둠
흔한 오해
긴 글일수록 유리하다
검색은 조각 단위입니다. 길이보다 조각마다 뜻이 서는지가 중요합니다
최종 갱신