diff --git a/README.md b/README.md index c9f44b8..7023bdc 100644 --- a/README.md +++ b/README.md @@ -1,3 +1,5 @@ +최신 실제 평가: [역할 연결5회](docs/research/role-link-acceptance.md). 원문·기존 추출/271관계 전부를 유지해5회 완료·SDK 반환했다. 사전 부분 역할 조건은 주요6/8·대조7/9그룹 충족이며, 미충족10관계도 대상 한정어로 이름과 연결이 남아 있어 정보 누락으로 단정하지 않는다. 참고$0.0351850·불확실2·미검토0, 실제 의미/역할 경계·후보 recall·앱 인수는 남는다. + 현재 구현: [제한된 역할 연결 모델 SDK](docs/changes/role-link-sdk.md). 원문·기존 추출을 유지하며 잔여 한도의 단일 요청·0쌍 호출 생략·불확실/미검토·실패 사용량·현재 원문 재구성을 연결했다. 신규109개/전체8,409개 QA·독립 검토 C0/I0/M0를 통과했다. 실제 AI 관계 품질·앱 적용은 후속이다. 현재 구현: [수치별 역할 연결 순수 계약](docs/changes/role-link-contract-implementation.md). 원문 후보·수치별 전체 관계·불확실/미검토·정확 인용 위치를 보존하고 원문에서 다시 검증하는 두 모듈을 구현했다. 신규201개와 인접523개 검사가 통과했다. 독립 검토 C0/I0/M0·새 전체8,300개 QA와 린트/형식/타입/빌드/OpenAPI 검증을 통과했으며 모델 SDK/실제 관계 정확도·앱 적용은 후속이다. diff --git a/docs/README.md b/docs/README.md index 1969b48..62e775c 100644 --- a/docs/README.md +++ b/docs/README.md @@ -1,3 +1,5 @@ +최신 실제 평가: [역할 연결5회](research/role-link-acceptance.md). 원문·기존 추출/271관계 전부를 유지해5회 완료·SDK 반환했다. 사전 부분 역할 조건은 주요6/8·대조7/9그룹 충족이며, 미충족10관계도 대상 한정어로 이름과 연결이 남아 있어 정보 누락으로 단정하지 않는다. 참고$0.0351850·불확실2·미검토0, 실제 의미/역할 경계·후보 recall·앱 인수는 남는다. + 현재 구현: [제한된 역할 연결 모델 SDK](changes/role-link-sdk.md). 원문·기존 추출을 유지하며 잔여 한도의 단일 요청·0쌍 호출 생략·불확실/미검토·실패 사용량·현재 원문 재구성을 연결했다. 신규109개/전체8,409개 QA·독립 검토 C0/I0/M0를 통과했다. 실제 AI 관계 품질·앱 적용은 후속이다. 현재 구현: [수치별 역할 연결 순수 계약](changes/role-link-contract-implementation.md). 원문 후보·수치별 전체 관계·불확실/미검토·정확 인용 위치를 보존하고 원문에서 다시 검증하는 두 모듈을 구현했다. 신규201개와 인접523개 검사가 통과했다. 독립 검토 C0/I0/M0·새 전체8,300개 QA와 린트/형식/타입/빌드/OpenAPI 검증을 통과했으며 모델 SDK/실제 관계 정확도·앱 적용은 후속이다. diff --git a/docs/planning/implementation-plan.md b/docs/planning/implementation-plan.md index 71cbb96..25fd174 100644 --- a/docs/planning/implementation-plan.md +++ b/docs/planning/implementation-plan.md @@ -4,7 +4,7 @@ ## M3 최신 인계 · 2026-10-22 한국 시간 -[순수 역할 연결 계약](../changes/role-link-contract-implementation.md)을 [단일 요청 모델 SDK](../changes/role-link-sdk.md)에 연결했다. 원문/기존 추출·불확실/미검토·정확 위치와 현재 원문 재구성을 유지하고 잔여 한도/0쌍 호출 생략/실패 사용량을 기록한다. 신규109/전체8,409QA·독립 검토와5자료/20합성+4추론 모의HTTP를 통과했다. 실제 관계 품질·후보 recall·원래 추출의 중요도/G사람 재판정·앱 전체 예산/권한/복구 인수 전 앱 연결은 보류한다. 이전 실제2탐지/6미탐·추가3유보를 보존한다. +[역할 연결 SDK](../changes/role-link-sdk.md)를 [실제5회](../research/role-link-acceptance.md) 평가했다. 전체 원문/추출·271관계를 유지해5완료/5SDK반환했으나 부분 역할 조건은 주요6/8·대조7/9그룹 충족이다. 미충족10관계의 명칭/연결은 E역할에 남아 있어 정보 누락으로 단정하지 않는다. 기존456코드/562실제/45+59설계·8,409QA와 이전 실패를 보존한다. 다음은 S범위/E대상 한정어의 경계·정보 보존/중요도 계약, 미관측 후보 recall·G사람 재판정·앱 전체 예산/권한/복구 인수다. 추가 호출·앱 연결은 보류한다. ## 제품 여정 @@ -60,7 +60,7 @@ SDK 단독 상한은 요청1회·입력+출력12,000/출력500/15초다. 실제 | --- | --- | --- | --- | | M1 · 질문에서 브리핑까지 | 로그인·권한·저장 검색·AI 생성·정확 인용·저장/재열람·실패/취소/복구 연결 | 기반 완료 · 개인 개발 적용 | 개발 웹/API/워커ab6654e/v9·전체4,655개/독립 검토·실제 HTTPS/보존 복원. 의미 품질 부분 충족이며 운영 출시와 구분 | | M2 · 자료 확보·갱신 | 승인 출처를 반복 확보하고 변경/중복·실패·수집 범위/최신성을 추적, 과거 근거 보존 | 진행 중 | 시간당 고정 기사 확보·명시 승인 편입과 날짜/발행처 후보 비교를 구현. 새 공식 텍스트1건 추가·전체3,603개·독립 검토·검색/재실행·사후23테이블 일치 복원 확인. 다매체 확대·최근 주목도·자동 승인/게시 완료는 아님 | -| M3 · 근거 중심 자율 조사 | 질문별 도구 탐색·비교·근거 부족 판단·정확 검증, 비용/취소/복구 | 진행 중 · 역할 연결 모델 SDK | 단일 요청·잔여 한도/실패 사용량·원문 재검증 구현·전체8,409QA. 실제 관계 품질/후보 recall·앱 전체 예산/복구 인수 후 연결 | +| M3 · 근거 중심 자율 조사 | 질문별 도구 탐색·비교·근거 부족 판단·정확 검증, 비용/취소/복구 | 진행 중 · 실제 관계 평가 | 5완료/271관계·부분 조건 주요6/8/대조7/9.10역할 불일치는 E에 명칭 보존. 역할 경계/정보 중요도·후보 recall·앱 예산/복구 인수 후 연결 | | M4 · 관심 이슈·변화·공유 | 개인 소유·관심 해제/삭제, 새 사실·공식 결정·정정과 알림함, 동의한 불변 공유본 | 예정 | 소유/접근 모델·변경 근거부터 구현. 현재 검증용 공유 이력을 개인 보관함으로 간주하지 않음 | | M5 · 이슈 발견·개인화 | 실제 매체 관측/중복 제거/선정 이유와 동의한 관심 신호의 혼합 | 예정 | 출처/기간/갱신 데이터와 신호 정책·다양성 평가. 임의 인기·여론 점수를 만들지 않음 | | M6 · 공개 운영 | 실제 질문 품질·지연/비용·권한·백업 복원·공개 이용 정책 충족 후 출시 판단 | 예정 · 운영 게시 유예 | 개발 HTTPS·앱 백업 복원 기반은 있음. 전체 출시 조건과 D013 별도 승인 필요 | diff --git a/docs/planning/progress.md b/docs/planning/progress.md index dd08a48..cd1cb9d 100644 --- a/docs/planning/progress.md +++ b/docs/planning/progress.md @@ -1,3 +1,21 @@ +## 최종 인계 · 실제 역할 연결 평가 · 2026-10-22 한국 시간 + +[Draft PR90](https://github.com/DigestWorks/IssueDigest/pull/90) · Sites v112 게시 성공(16:58:27 KST, source026e8b9cebc742ab6e0c8c802fd37c71c1a5ff17), 이전v111 보존. 본문·변경6문서 요약은 게시 시805b3f3 기준이며 이후 이 영수증/완료 체크만 갱신해 재게시하지 않는다.97HTML/로컬대상2,271/공개텍스트286/private60항목 검사 통과. 텍스트만 변경해 브라우저QA는 반복하지 않았다. + +사전c73a038·원문/추출/271관계·5실제요청/5완료/5SDK반환·주요6/8/대조7/9·참고$0.0351850와 불확실/역할 경계를 보존했다. 신규80개+이전562개=642실제평가 증거와456코드/45+59설계 불변, 독립 증거 검토 C0/I0/M0. 코드 불변으로8,409QA를 재사용했으며 추가 유료 호출·앱/main/서버 배포·QA자원 생성0.5회 소진 잠금·비공개 증거·브랜치/작업폴더를 유지한다. 다음은 역할 경계·정보 보존/중요도 판단 계약과 미관측 자료·앱 인수다. + +## 게시 준비 · 실제 역할 연결 평가 · 2026-10-22 한국 시간 + +[Draft PR90](https://github.com/DigestWorks/IssueDigest/pull/90)은 SDK PR89 브랜치를 대상으로 한다. 사전 기준·실제5회/부분 점수·비용·남은 역할 판정을 공유하며 main/앱 배포는 하지 않는다. Sites에는 이번 결과와 이전v111을 보존해 게시한다. + +## 실제 역할 연결 평가 · 관측 완료 · 2026-10-22 한국 시간 + +[사전c73a038·결과·한계](../research/role-link-acceptance.md). 기존5자료의 원문/generation/47후보/271관계를 유지해 실제5요청/5완료/5SDK반환·새generation/retry/repair/replacement0. 각 원문·raw/actual 현재 재구성·사전 mock와 실제body 전체 일치·사용량을 확인하고 소진 잠금을 기록했다.456코드/562이전실제/45+59설계 불변·8,409QA 재사용, 앱/main/서버/기본 모델 변경0. + +부분 gold의 주요8그룹 중6(15관계 중11), 대조9그룹 중7(19관계 중13) 충족. 미충족10관계는 모두 기대S대신E로 명칭과 관계가 남아 있다. 사전 점수는 바꾸지 않고 누락/확정오류로 과장하지 않는다.237관계와 다른 역할은 미채점이며 G사람 재판정·원래 generation 비분쟁1/4·이전검수2탐지/6미탐·추가3유보를 보존한다. 전체관계170역할/99관련없음/2불확실/0미검토다. + +input8,992/output1,302(reasoning707포함), cached0/write8,362·30분write가정 Standard 참고$0.0351850, 실제청구/환율 미검증. 이전 검수와 다른 업무이므로 통제된 효율 비교가 아니다. 다음은 역할 경계와 원래 추출의 정보 보존/중요도 계약을 정리하는 것이며, 미관측 후보 recall·앱 전체 예산/권한/복구 인수 전 앱 연결은 보류한다. 독립 증거 검토 C0/I0/M0·신규80개 불변 증거(이전562보존)·문서/개인정보 검증을 완료했다. 문서/PR/Sites 인계는 진행 중이다. + ## 최종 인계 · 제한된 역할 연결 SDK · 2026-10-22 한국 시간 [Draft PR89](https://github.com/DigestWorks/IssueDigest/pull/89) · Sites v111 게시 성공(15:58:51 KST, source de749b7f84620f3ea8f297e2811aea65e33417c3), 이전v110 보존. 본문·변경6문서 요약은 게시 시8ebbe11 기준이며 이후 이 영수증/완료 체크만 추가해 재게시하지 않는다. HTML96/로컬대상2,225/공개텍스트283/private60항목 검사 통과. 텍스트만 바꿔 브라우저QA는 반복하지 않았다. diff --git a/docs/planning/tasks.md b/docs/planning/tasks.md index f7b3659..407e891 100644 --- a/docs/planning/tasks.md +++ b/docs/planning/tasks.md @@ -1,3 +1,15 @@ +## 현재 · 실제 역할 연결 평가 · 2026-10-22 한국 시간 + +[사전 기준·관측·비용·남은 판정](../research/role-link-acceptance.md). + +- [x] 기존5자료/47후보/271관계·generation을 보존하고 사전8주요/9대조 그룹·부분34관계 조건을 고정했다. +- [x] 실제5요청/5완료/5SDK반환, 원문/현재 raw+actual/실제 body 일치와 사용량 검증. generation/retry/repair/replacement0·소진 잠금. +- [x] 사전 조건 주요6/8(11/15관계)·대조7/9(13/19관계), 미충족10관계는 E역할에 명칭/연결 보존·무손실과 분류 차이 구분.2불확실/0미검토·참고$0.0351850. +- [x] 독립 증거 검토 C0/I0/M0·신규80개 불변 증거(이전562보존)·문서/개인정보 검증. +- [x] [Draft PR90](https://github.com/DigestWorks/IssueDigest/pull/90)·Sites v112/이전v111·소진 잠금/신규80개 증거 인계. +- [ ] S범위/E대상 한정어의 역할 경계·정보 보존/중요도 판단 계약. 기준을 사후 변경하거나 추가 호출로 성공시키지 않음. +- [ ] 미관측 후보 recall·G사람 재판정·앱 전체 예산/권한/내구 인수. 앱 연결은 보류. + ## 현재 · 제한된 역할 연결 모델 SDK · 2026-10-22 한국 시간 [구현·검증·다음 인수](../changes/role-link-sdk.md). diff --git a/docs/research/role-link-acceptance.md b/docs/research/role-link-acceptance.md new file mode 100644 index 0000000..f89961a --- /dev/null +++ b/docs/research/role-link-acceptance.md @@ -0,0 +1,56 @@ +# 수치별 역할 연결 · 실제 제한 평가 + +2026-10-22 한국 시간. [검증된 SDK](../changes/role-link-sdk.md)의 실제 호출 전 사전 기준이다. 연구·문서 작업으로 spec-driven-workflow의 문서 예외를 적용하며 production 코드/SDD/DB/서버 자원을 만들지 않는다. 기존456코드·562실제/45+59설계 증거와 원래 추출/gold/실패 비용을 보존한다. 코드가 같아 전체8,409QA 증거를 재사용한다. 앱/main/API/UI/worker/default model 변경은 없다. + +## 입력·기준과 분모 + +저장한 G/H/I/J/K 전체 원문과 exact RoleAliasGenerationV2를 읽기 전용으로 재사용한다. 새 생성0회, 후보47개와 같은quote 관계271쌍을 전부 유지한다(자료별15/16/6/192/42쌍). 관계 행렬은 기존 검수의 누락 진단과 업무가 다르므로 기존2탐지/6미탐의 동등한 대체·직접 정확도 개선으로 표시하지 않는다. 원래 추출 점수는 비분쟁1/4·G사람 재판정 유보 그대로다. + +응답 전에 원문 대조로 부분 관계 기준을 비공개 고정한다. 단일 에이전트의 이미 본 개발 자료이며 독립 사람 정답·holdout·일반 정확도/중립성 평가가 아니다. 후보 밖 recall/중요도/전체 역할 진실을 인증하지 않는다. G는 역할 논쟁이 남아 있어 내용 점수 분모에서 제외하되5건 완료/비용·전체 관계 상태에는 포함한다. 모든 관계의 classified/unrelated/uncertain/unreviewed 및 미완료·구조 거부를 기록한다. + +주요8그룹은 이전 오류와 관련한 새 **관계 적용**을 확인한다. H 국비 수치에 세 하위 지역 각각의 measurement_scope, I 두 수치의 교육 운영 주체에 operator 포함/measurement_scope 제외, J 선정 수·재언급·지원액·국비 상한·지방비 하한 각각에 두 선정 지역 measurement_scope를 요구한다. 총15개 원문 후보×수치 관계이며 전체 원문과 후보 ID/조건을 사전에 고정한다. 그룹은 모든 지정 관계/조건을 만족해야 충족이다. '?'/'_'/'-'와 잘못된 역할, SDK 거부를 구분하고 미판정은 성공으로 세지 않는다. 원래 proposal에서 중요 정보가 누락됐다는 진단/수리는 하지 않는다. + +별도9개 대조그룹19관계는 J 신청수에 선정 두 지역을 전체 집계 범위로 적용하지 않는지, K 특정직 수·비율에 세 소속을 적용하는지/일반직 세 수치에는 적용하지 않는지, K 두 증감의 전년도 비교를 baseline으로 읽고 측정 시점으로 오인하지 않는지 확인한다. 양성/금지 역할 조건만 고정한 **부분 gold**이므로 다른 역할 전체의 정답/오탐률로 부르지 않는다. 17그룹/34관계 밖의 결과와 추가 역할은 명시적으로 미채점이며 관측 요약만 남긴다. 예기치 않은 양성은 새 확정 정답으로 사후 편입하지 않는다. + +## 호출·예산·고정 + +G→H→I→J→K, 단계별1회·실패 포함 최대5유료 요청. 기존 generation/검수 재실행·retry/repair/fallback/대체0. 별도배타적 시도/송신표시, source/generation/기준/코드/지침/schema/prompt/예상 HTTP body 해시를 고정한다. 실제 송신 전에5건 모의 body를 만들고 실제body와 일치시킨다. 소진/불확실 송신은 재요청하지 않는다. preflight 차단은 무호출로 남기고 다음 자료로 대체하지 않는다. 이미 송신했는데 알려진 사용량이 없으면 이후 단계를 중단하고0비용으로 계산하지 않는다. + +GPT-6.1 Sol·Responses·low/default·30초/no-store, caller OpenAI client max_retries0. SDK의 단일 Model.request와 caller HTTP retry 정책을 함께 제한한다. 잔여total=20,000−기존generation(input+output), output=min(1,100,2,500−기존generation output). 전체 원문/prompt/지침·max(raw/normalized schema)+framing2,048+outputreserve를 사전검사한다. cap상향·후보/원문 절단·미완료 복구로 성공시키지 않는다. 정상 추론 메타데이터+단일 도구 응답은 허용하되 provider 미완료/다중 도구/불필요 텍스트·잘못된 행렬은 거부하고 raw/known usage를 보존한다. + +[OpenAI 공식 모델/요율](https://developers.openai.com/api/docs/models/gpt-6.1-sol)과 [pricing](https://developers.openai.com/api/docs/pricing)을2026-10-22 확인했다. Standard 1M input$2/cached$0.10/30분write$2.50/output$10, reasoning은output에 포함한다. cached/write를input에서 분리해 중복 계산하지 않는다. 5×20,000을 전부output으로 간주한 보수 상한$1이며 기존 월10만 원 한도를 확대하지 않는다. 이번 관계 분류 비용과 기존 generation/검수 비용을 분리하고 실제 청구/환율은 미검증으로 둔다. + +## 사전 등록 당시의 실행 계획 + +아래는 호출 전에 고정한 계획이다. 사전 protocol commit·private criteria·freeze와 각 body를 고정한 뒤 실행하고 원래 실패/기준을 응답에 맞춰 바꾸지 않는다. 요청·provider 완료·SDK 반환·부분 관계 조건 충족·불확실/미검토·알려진 비용을 별도로 기록한다. + +## 실제 관측 결과 + +사전c73a038과 불변 private 기준을 고정한 뒤5요청/5HTTP 송신/5provider 완료/5SDK 반환, generation/retry/repair/fallback/대체0으로 종료했다. 소진 잠금으로 재실행을 막았다. 원문·원래 generation·후보47/관계271쌍은 모두 보존했으며 known usage와 각body 일치를 확인했다. 결과는 원래 추출을 자동 수정하거나 중요 누락 진단을 생성하지 않는다. + +| 자료 | 관계 수 | SDK 상태 | input / output | 경과 | +| --- | ---: | --- | ---: | ---: | +| G | 15 | 불확실 관계1 | 1,522 / 248 | 12.07초 | +| H | 16 | 지정 후보 검토 완료 | 1,429 / 217 | 9.41초 | +| I | 6 | 불확실 관계1 | 1,270 / 135 | 7.86초 | +| J | 192 | 지정 후보 검토 완료 | 2,900 / 568 | 19.93초 | +| K | 42 | 지정 후보 검토 완료 | 1,871 / 134 | 6.12초 | + +관계 상태는 역할 분류170/명시 관련없음99/불확실2/미검토0이다. ‘지정 후보 검토 완료’는 원문 전체의 완전 검토나 내용 정확도를 뜻하지 않는다. + +### 사전 부분 기준과 역할 경계 + +- 주요8그룹 중6그룹·15관계 중11관계가 정확한 사전 역할 조건을 충족했다. H의 하위 지역 연결과 I의 운영 주체 구분, J의 지원 금액/비율3그룹은 충족했다. J의 선정수·재언급2그룹4관계는 기대 measurement_scope 대신 entity_qualifier였다. +- 대조9그룹 중7그룹·19관계 중13관계가 충족했다. J 신청수에 선정 지역을 강제하지 않음, K 일반직에 특정직 소속을 적용하지 않음, 증감 비교의 baseline/측정 시점 구분은 충족했다. K 특정직 수·비율2그룹6관계는 기대 measurement_scope 대신 entity_qualifier였다. +- 미충족10관계 모두 **연결과 명칭은 entity_qualifier로 남아 있다.** 사전 gold/점수는 바꾸지 않되, 이를 원문 명칭 누락·확정 의미 오류10건으로 과장하지 않는다. 대상 정체성을 한정하는 이름과 측정 모집단/지역 범위의 역할 경계가 쟁점이다. 독립 사람 판정 전 역할 선택의 허용 범위를 확정하지 않는다. 사후 허용 점수로8/8·9/9로 올리지 않는다. +- 두 코호트 밖237관계와 각 scored pair의 다른 역할은 미채점이다. 부분 기준24/34충족을 전체271관계 정확도/오탐률로 환산하지 않는다. 후보 recall·미관측 자료·G사람 재판정은 남는다. 이전 검수2탐지/6미탐·추가3유보와 원래 generation 비분쟁1/4를 그대로 보존한다. + +### 사용량·한계와 다음 단계 + +실제 관계 분류 합계input8,992/output1,302(그 안 reasoning707), cached0/write8,362다. 30분write요율 가정의 Standard 참고비용은 **$0.0351850**이며 실제 청구·환율은 미검증이다. 원래 generation/이전 검수 비용은 더하지 않았고 보존했다. 입력 표현·출력 업무가 달라진 이전 검수와 비용/의미 효율의 통제 비교라고 부르지 않는다. + +추가 유료 호출로 기준을 맞추지 않는다. 다음은 measurement_scope/entity_qualifier의 양립·정체성/범위 관계와 원래 추출의 정보 보존/중요도 판단 계약을 실제 예와 함께 설계하는 것이다. 독립 의미 판정·미관측 후보 recall·앱 전체 예산/권한/내구 인수 전에는 앱 연결을 보류한다. 코드456개 불변이므로 전체8,409QA를 재실행하지 않으며 원문/결과 재검증·해시·호출/비용 산술·문서/개인정보 검증과 독립 증거 검토로 이번 연구를 확인한다. + +독립 증거 검토 최종 C0/I0/M0.5개 결과의 현재 SDK raw/actual 재구성·원시/HTTP arguments·사전body/hash/17입력/456코드와 상태/점수/비용을 독립 확인했다. 공개 문서의 사전 계획 현재형 표현1건을 수정했으며 기준/원래 실패는 바꾸지 않았다. 신규80개 증거를 불변 manifest에 보존했다(이전562+신규80=642실제 평가 증거). 이는 독립 사람 의미 정답이나 전체 역할 인증이 아니다. + +[Draft PR90](https://github.com/DigestWorks/IssueDigest/pull/90)·Sites v112 게시 성공(2026-10-22 16:58:27 KST, source026e8b9cebc742ab6e0c8c802fd37c71c1a5ff17), 이전v111 보존.97HTML/2,271로컬대상/286공개텍스트/private60항목 검사 통과. 텍스트만 변경해 브라우저QA는 반복하지 않았다. SDK PR89 브랜치를 대상으로 하며 앱/main은 변경하지 않았다. 연구 증거80개·소진 잠금은 비공개 보존하고 추가 호출/서버/QA자원0, 작업폴더/브랜치를 유지한다. 게시 후 영수증만 추가해 다시 게시하지 않는다.