You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[검증][1차][P0][NLP] 통합 학업 검색 골드셋·오타/분류/관련성 품질 게이트 #40
자연어 정상 질의, 띄어쓰기·무공백·복합어, 자주 나는 오타(예: 수강신철), 줄임말(복전·수신), 형태소/조사, 유사 제목·동음이의어, 검색 결과 관련성 순위, 다중 질문, 부정/예외, 모호한 의도, 허위·무관 질문을 포함. 서울/글로벌, 입학년도·전공 차이, 학생 마감 vs 행정 마감, 미관측 강좌, 정정/취소/철회와 표기 다른 동일·대체과목 후보도 포함.
실제 학생 검색 로그가 있다면 개인정보 제거·동의·권리 확인 후만 사용할 것. 인위적 반복 문구로 점수를 부풀리지 않도록 문서 계열/판본/학기 단위로 튜닝과 홀드아웃 분리. 정답은 문서/문단/학수번호/적용 상태/기준 시각 단위로 기록.
baseline: 현재 공지 제목 포함 검색, 강의 가상 예시(실자료 품질 평가에는 미사용), 기존 FAQ 문자 bigram BM25와 비교. 변경 전후 같은 홀드아웃에서 Recall@5·MRR·intent macro-F1·분야별 confusion matrix·정답 없음에서의 오탐·보류 정밀도/재현율·검색 p95를 재현 가능한 형태로 보고.
출시 목표 (사전 품질 게이트 · 현재 측정 결과가 아님)
검수된 독립 홀드아웃에서 Recall@5 ≥ 0.90, MRR ≥ 0.80, 검색 의도 분류 macro-F1 ≥ 0.90. 전체 평균뿐 아니라 공지·강의·FAQ와 오타·띄어쓰기·약칭·모호질문 하위집합을 별도로 보고. 오타/띄어쓰기 하위집합 Recall@5는 정상 질의 대비 5%p 넘게 하락하면 실패.
Windows PC Chrome/Edge의 명시된 기기 사양·말뭉치 크기에서 p95 검색 응답 300ms 이내 목표. 샘플 수·문서 크기·정적 번들 증가량을 함께 기록하며, 운영 요구를 충족하지 못하면 UI 반영 보류.
고위험 안전 오류 0건: 근거 없는 학생 마감/날짜·숫자 확정, 타 캠퍼스·학번·전공 적용을 YES로 단정, 철회/취소/미승인 문단 노출, 검수 전 동일과목/실제 개설 확정. 근거 충돌·미검수·모호한 분류는 검색 보류 또는 공식 원문 안내.
반례/실패 쿼리/기대 근거/실제 Top-5 순위·지연을 테스트 픽스처와 보고서에 고정. 특정 영역이나 하위집합 목표 미달 시 FAQ/공지/강의 통합 검색 공개를 보류하되 기존 모의신청과 미연결 참고 화면은 유지.
인수 게이트:#53 구현 + #51 분류 + #44 근거 인덱스와 동일 승인 스냅샷 ID·문단 ID·개정 판본으로 재현 평가하고, #39 브라우저 QA 및 #59 FAQ 화면으로 결과를 인계합니다. 수치 목표는 설계 요구사항이며 달성 주장 아님.
Activity
[-][NLP][P0] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/-][+][검증][1차][P0][NLP] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/+][-][검증][1차][P0][NLP] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/-][+][검증][1차][P0][NLP] 통합 학업 검색 골드셋·오타/분류/관련성 품질 게이트[/+]