Skip to content

docs: evaluate table audit completion and remaining semantic misses - #86

Draft
ijaesin wants to merge 4 commits into
feat/role-table-auditfrom
research/role-table-acceptance
Draft

ijaesin wants to merge 4 commits into
feat/role-table-auditfrom
research/role-table-acceptance

Conversation

@ijaesin

@ijaesin ijaesin commented Oct 22, 2026

Copy link
Copy Markdown

기존 exact generation5건과 전체 원문을 고정해 새 table auditor만 각1회 실제 평가했습니다. 5요청/5반환으로 장문 검수 입력 차단은 통과했으나, 사전 역할 오류8대상 중 탐지2/미탐6이 남아 앱 연결을 보류합니다. 추가 measured_entity 진단3대상은 타당성 판정 유보이며 정답·오탐0으로 확정하지 않습니다.

  • 사전 기준f8182bf, 새 생성/재시도/수리/대체0. 원래 생성 실패/분쟁 gold·비용과 입력을 보존했습니다.
  • 이번 검수 input9,683/output1,166, standard 참고$0.0355525. 실제 청구/환율 미검증이며 이전 generation/검수 비용 제외입니다.
  • 새 문맥 증거 검토 C0/I0/M0. 기존450코드·480실제/45설계 증거와 이번82개 불변 증거 보존, 비공개 실제값 부재·문서 링크 확인.
  • 실행 코드 변경0이므로 전체8,099개QA 증거 재사용. 새QA/SDD/서버 자원·앱/API/UI/DB/worker·기본 모델/main 변경0.

PR85 기반 Draft입니다. 다음은 역할 후보/적용관계·명시coverage/불확실/overflow의 용량 설계이며, 실제 의미 품질·앱 인수는 미완료입니다. 상세: docs/research/role-table-acceptance.md.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant