Skip to content

[검증][1차][P0][NLP] 통합 학업 검색 골드셋·오타/분류/관련성 품질 게이트 #40

Open

Description

@ot4562-glitch

실무 담당: 이의상 (uisang2004-maker) · 현재 GitHub assignee 유지. 학사 근거/판본 자료: 김채윤(#41·#42), 학생 화면 QA: 심민성(#39).

현행 설계: docs/architecture.md §4.3–4.6 · 기존 FAQ 설계: #15 · 구현: #44·#53·#51·#54·#59

목적

FAQ에 한정하지 않고 공지 / 강의·교수·분반 / 학사 FAQ의 검색 품질을 학생 이용 관점에서 검증합니다. 기존 합성 FAQ 테스트는 회귀 기준선이지 실제 한국외대 학생 검색 품질의 증거가 아님을 명시합니다.

사람이 검수한 골드셋 및 분할

  • 각 분야에서 검색 가능한 승인 문서/정답 근거/적용 조건/오답·보류 레이블을 구성. 실제 학교 원문은 [설계][공통][P0][데이터] 학교 회신에 따른 학사자료 이용 허용 범위·대체 정책 확정 (HMD-021) #27 허가·[검증][1차][P0][데이터] 공지·개설 이력 골드셋과 결측 포함 백테스트 #41 검수 이후에만 사용하며, 허가 전에는 합성 사례로 안전 동작만 테스트하고 운영 검색 완료로 판정하지 않음.
  • 자연어 정상 질의, 띄어쓰기·무공백·복합어, 자주 나는 오타(예: 수강신철), 줄임말(복전·수신), 형태소/조사, 유사 제목·동음이의어, 검색 결과 관련성 순위, 다중 질문, 부정/예외, 모호한 의도, 허위·무관 질문을 포함. 서울/글로벌, 입학년도·전공 차이, 학생 마감 vs 행정 마감, 미관측 강좌, 정정/취소/철회와 표기 다른 동일·대체과목 후보도 포함.
  • 실제 학생 검색 로그가 있다면 개인정보 제거·동의·권리 확인 후만 사용할 것. 인위적 반복 문구로 점수를 부풀리지 않도록 문서 계열/판본/학기 단위로 튜닝과 홀드아웃 분리. 정답은 문서/문단/학수번호/적용 상태/기준 시각 단위로 기록.
  • baseline: 현재 공지 제목 포함 검색, 강의 가상 예시(실자료 품질 평가에는 미사용), 기존 FAQ 문자 bigram BM25와 비교. 변경 전후 같은 홀드아웃에서 Recall@5·MRR·intent macro-F1·분야별 confusion matrix·정답 없음에서의 오탐·보류 정밀도/재현율·검색 p95를 재현 가능한 형태로 보고.

출시 목표 (사전 품질 게이트 · 현재 측정 결과가 아님)

  • 검수된 독립 홀드아웃에서 Recall@5 ≥ 0.90, MRR ≥ 0.80, 검색 의도 분류 macro-F1 ≥ 0.90. 전체 평균뿐 아니라 공지·강의·FAQ와 오타·띄어쓰기·약칭·모호질문 하위집합을 별도로 보고. 오타/띄어쓰기 하위집합 Recall@5는 정상 질의 대비 5%p 넘게 하락하면 실패.
  • Windows PC Chrome/Edge의 명시된 기기 사양·말뭉치 크기에서 p95 검색 응답 300ms 이내 목표. 샘플 수·문서 크기·정적 번들 증가량을 함께 기록하며, 운영 요구를 충족하지 못하면 UI 반영 보류.
  • 고위험 안전 오류 0건: 근거 없는 학생 마감/날짜·숫자 확정, 타 캠퍼스·학번·전공 적용을 YES로 단정, 철회/취소/미승인 문단 노출, 검수 전 동일과목/실제 개설 확정. 근거 충돌·미검수·모호한 분류는 검색 보류 또는 공식 원문 안내.
  • 반례/실패 쿼리/기대 근거/실제 Top-5 순위·지연을 테스트 픽스처와 보고서에 고정. 특정 영역이나 하위집합 목표 미달 시 FAQ/공지/강의 통합 검색 공개를 보류하되 기존 모의신청과 미연결 참고 화면은 유지.

인수 게이트: #53 구현 + #51 분류 + #44 근거 인덱스와 동일 승인 스냅샷 ID·문단 ID·개정 판본으로 재현 평가하고, #39 브라우저 QA 및 #59 FAQ 화면으로 결과를 인계합니다. 수치 목표는 설계 요구사항이며 달성 주장 아님.

Activity

  1. changed the title [-][NLP][P0] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/-] [+][검증][1차][P0][NLP] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/+] on Nov 18, 2026
  2. added
    우선순위:P0해당 차수의 필수 기능·병합·인수를 막는 작업
    유형:검증평가·시험·검수 실행
    차수:1차1차 독립 학업 플랫폼
    on Nov 18, 2026
  3. changed the title [-][검증][1차][P0][NLP] 한국어 학사 FAQ 검색 평가셋과 근거 검증 게이트[/-] [+][검증][1차][P0][NLP] 통합 학업 검색 골드셋·오타/분류/관련성 품질 게이트[/+] on Nov 20, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Labels

우선순위:P0해당 차수의 필수 기능·병합·인수를 막는 작업유형:검증평가·시험·검수 실행차수:1차1차 독립 학업 플랫폼

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions