Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
50 commits
Select commit Hold shift + click to select a range
e4f232f
docs: confirm six-stage memory optimization gate
liuli195 Nov 10, 2026
41a71c5
feat: preserve source originals behind a versioned catalog
liuli195 Nov 10, 2026
703811a
fix: keep full source rows for legacy consumers
liuli195 Nov 10, 2026
d6a047a
docs: record source catalog review and validation
liuli195 Nov 10, 2026
3a0ebe0
perf: freeze light seed preparation and refresh inputs
liuli195 Nov 10, 2026
51ccf28
fix: rebuild damaged legacy preparation caches
liuli195 Nov 10, 2026
edc7edf
docs: record preparation verification and independent review
liuli195 Nov 10, 2026
5b7b04c
perf: reuse frozen click values across scoring requests
liuli195 Nov 10, 2026
af71bc2
docs: record frozen input review and verification
liuli195 Nov 10, 2026
b528a1b
perf: reduce native output and report conversion copies
liuli195 Nov 10, 2026
a2855be
test: cover report value types and exact failure tails
liuli195 Nov 10, 2026
e9f2122
docs: record native report verification and review
liuli195 Nov 10, 2026
ebc2a23
perf: stream checkpoints and reuse verified recovery state
liuli195 Nov 10, 2026
5f748af
fix: reject unsealed memory recovery instead of downgrading
liuli195 Nov 10, 2026
343fec5
docs: record checkpoint review and verification
liuli195 Nov 10, 2026
37f18b7
perf: release verified final reports and bound evidence reads
liuli195 Nov 10, 2026
f1898a0
test: allow real memory sorting in source verification checks
liuli195 Nov 10, 2026
263cbd2
docs: record final evidence local checks and reviews
liuli195 Nov 10, 2026
849fc24
docs: record interrupted baseline and approved replacement run
liuli195 Nov 10, 2026
1a7ddaa
docs: reopen training recovery reuse found in whole-chain review
liuli195 Nov 10, 2026
9e414d1
perf: hash engine binaries without whole-file allocation
liuli195 Nov 10, 2026
92d3903
docs: accept bounded binary verification review
liuli195 Nov 10, 2026
e97be1a
perf: reuse one verified training recovery snapshot
liuli195 Nov 10, 2026
d30f875
fix: honor recovery journals and reject changed training groups
liuli195 Nov 10, 2026
7f1d727
docs(sim2gse): accept training restore boundary review
liuli195 Nov 10, 2026
40640b9
docs(sim2gse): record failed whole-chain memory acceptance and probes
liuli195 Nov 10, 2026
83a9e08
perf(sim2gse): retain native report text until final publication
liuli195 Nov 10, 2026
d23c0ce
docs(sim2gse): record report text review and measurement limits
liuli195 Nov 10, 2026
885101f
docs(sim2gse): reuse one uninterrupted training baseline
liuli195 Nov 10, 2026
54afdba
docs(sim2gse): record flexible 2GiB target and unchanged regression c…
liuli195 Nov 10, 2026
a890e43
perf(sim2gse): stream legacy originals during catalog activation
liuli195 Nov 10, 2026
83bdfea
docs(sim2gse): accept activation review and record final new measurement
liuli195 Nov 10, 2026
4ff9da0
test(sim2gse): keep report text contract fixture in memory
liuli195 Nov 10, 2026
91d04ee
perf(sim2gse): bound publication workspace independently of stop guard
liuli195 Nov 10, 2026
2a9cc60
docs(sim2gse): record publication workspace review
liuli195 Nov 10, 2026
7ac6a18
docs(sim2gse): retain complete baseline and track final candidate
liuli195 Nov 10, 2026
a1c4a4b
docs: record final memory measurements and acceptance gaps
liuli195 Nov 10, 2026
69b85ed
perf(sim2gse): bound shared final history publication
liuli195 Nov 10, 2026
35b872b
fix(sim2gse): verify resumed history shards at original offsets
liuli195 Nov 10, 2026
c4a3b83
docs: record bounded publication checks and remaining acceptance gaps
liuli195 Nov 10, 2026
78779f1
perf(sim2gse): reduce checkpoint encoding and ordering contention
liuli195 Nov 10, 2026
763f7e1
docs: record contention validation and pending full-run budget
liuli195 Nov 10, 2026
7169fc0
docs: record authorized paired short measurement scope
liuli195 Nov 10, 2026
e9ad2ce
docs: retain paired short training and search measurements
liuli195 Nov 10, 2026
27b80aa
chore(sim2gse): remove duplicate hashlib import
liuli195 Nov 10, 2026
bf1884c
docs: prepare gate two draft with acceptance gaps and cleanup boundary
liuli195 Nov 10, 2026
8e04f86
docs: record final gate checks and rebuilt specification preview
liuli195 Nov 10, 2026
8282658
docs: formalize staged gate two and conclusions-only cleanup
liuli195 Nov 10, 2026
600fb16
docs: apply approved memory specifications for staged delivery
liuli195 Nov 10, 2026
e42a92f
test(sim2gse): isolate preparation fixtures from local storage instal…
liuli195 Nov 10, 2026
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
63 changes: 63 additions & 0 deletions myspec/changes/sim2gse-source-memory/design.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,63 @@
# 六环节整体设计与流程证据

## 当前范围与决定树

用户已明确替代旧来源首批方案:六步全部属于本次,训练和正式搜索统一考虑。旧三票及“来源省够便不做其余”的安排不再有效。仍沿原变更目录保存,当前范围由新版需求和门禁定义。

- 目标:当前真实规模整批同时内存2048兆字节,性能、功能及质量不退化;不能只计主程序或只验训练。
- 范围:来源→准备与初始种群→共用运行→编译模拟报告→检查点恢复→最终复测保存读取,另设整链验收票。先后顺序不代表后续可不做。
- 保真:原并行、起点、随机计划、评分、历史、语法能力、诊断、恢复及证据保持。
- 数据:固定内容引用与小清单,旧数据完整读取,开发先隔离;正式激活与兼容回退在门禁二确认。
- 限制:有损选项另行讨论,不能自行降并行/裁历史;不重写引擎。新目标未达就报告未完成,不用来源收益代替整链完成。
- 待本门禁确认的工程选择:完整分支名、七票串行与每票审查、公开验收接缝、短/完整对照及磁盘预算、同条件临时停止线和正式激活时点。

这是需求访谈与领域建模的本轮复核结果。沿已有来源、原件、修订、准备快照、完整代等术语,六步是流程范围,不新建另一套领域词典。

## 真实代码接缝与最小方案

| 环节 | 已核实位置 | 明确可做的等价改进 |
|---|---|---|
| 来源 | seed_training.py:190/197、228;reference_seeds.py:121 | 按列点读;修复setdefault默认摘要无条件计算;固定原件加完整小清单,所有写入者共用 |
| 准备 | seed_training.py:667、672、745;reference_seeds.py:217/308;task.py的正式起点准备 | 新准备版本已能自然分键;旧全快照有界完整验真;计划/隔离根及任务冻结仅携轻量资料与固定原件引用 |
| 运行 | population_training.run_group与formal_search.run均进入search.optimize;search.py:1942、2078起 | 单组内按全部阶段/场景/种子/配置/爆发身份复用时刻及来源数组,对外请求保持,不淘汰编译缓存 |
| 管道 | runtime.py:432-503、engine.py:189-210、result_store.py:472 | 少复制缓冲及有限字节帧解析,减少全文解码分割和重复报告转换;原64兆字节输出容量及错误语义保持 |
| 恢复 | search.py:863、1109、1273-1378及构造时再次批次恢复 | 有序逐行编码/摘要/核验与恢复加载复用,减少多份历史对象和文本;旧摘要语义及256兆字节恢复文件容量保持 |
| 最终 | search.py:1531起、result_store.py:525/540/581、population_training.py:700/790/823、formal_search.py:175 | 轻量计划键、每片验真后解除全部大引用,历史存储及完整证据逐条读回,全部入围和独立重选检查保持 |

粗评已使用简报,最终已有分片和全局两路限制;直接复用,不重造。训练最终使用五场景,正式最终使用其原正常场景,统一优化不等于强行让评分流程相同。Python封装少复制不需修改原生SimC;若未来需改原生源码或锁定构建,必须返回需求并加载sim2gse-upgrade(引擎升级)要求。

## 票据与公开验收

01 来源读写→02 训练及正式准备→03 共用执行资料→04 管道→05 检查点→06 最终→07 整链,主代理串行。05的实际业务前提是03,06需04和05,07需全部六票;不将串行顺序伪装成不存在的业务依赖。

已有公开接缝:seed_training.main的来源登记/列表/准备/参考更新/运行;dual_task.start及页面启动/读取/导出;共用search.optimize、受控run_command、TaskStore恢复与最终证据验证。已有普通用例包括test_seed_training、test_reference_seeds、test_population_training、test_memory_execution;补必要行为检查并接统一验证,不恢复已删除大矩阵或绕普通层保护。

手工脚本默认旧私人角色路径不存在;本轮已核验上次两份MID2标准角色存在且摘要一致。显式传入真实入口,禁止将manual_interface的smoke缩小模式作为自然搜索性能证据。现有正式双场无同条件完整耗时,故本次要做改前测量,不能用训练时间代替。

同条件配对测量临时停止线统一16384兆字节,只在本次隔离运行中覆盖,不改产品配置。现有发布分组预算也依赖此值,两版必须一致并记录。2026-11-11用户明确2048兆字节是努力目标、略超可接受,最终列实际整批同时峰值和差额;性能、功能与质量不退化仍为硬要求,不以停止线称达标。

## 2026-11-11整链返工:历史保存分片

真实3513条历史的小对照确认:整批交给存储转换使进程峰值约1.16吉字节;每片512条约0.33吉字节,完整摘要相同,耗时接近。采用现有公开存储写入及已知键批量读取,不改存储技能、评分、并行或历史内容。历史超过512条时,将原一个完整分片改为多个有类型的分片;每片最多512条,不承诺单条任意大记录也能满足固定内存上限。

完整证据契约仍为版本3,新增可选历史布局archive_format=2及archive_groups清单,archive_group保留为首片位置;没有该布局标识的旧单片资料继续按旧规则读取。未知布局、清单缺失/重复或首片不符明确失败,不降级成只读首片。新布局不承诺旧代码可读取,旧代码会因数量/摘要不符拒绝,旧资料不迁移、不覆盖。

所有片写成并完整读回、校验原全历史摘要后才向任务状态发布新位置。中断或响应丢失时保留成功片,重试完整验真后复用;已有片损坏或内容冲突不能静默覆盖。读取通过公开read_keys(已知键批量读取)取得明确列出的片,在既有内存排序区恢复原顺序,逐条校验全部字段,调用方只保留指定字段。两条链共用此路径;仍需分别验证产品入口,不把短对照当全链通过。

## 恢复点并行争用补修

训练和正式搜索继续共用TaskStore检查点。保存期间的长输入不重复逐条转成JSON:仅在本次持锁快照内复用规范编码的固定片段,每条请求的候选字段仍独立编码,拼成原来同一完整SHA256校验值。固定片段编码总量最多1兆字节,超过后沿原完整计算;不缓存校验结论,不跨保存、任务或角色复用。公共请求及恢复格式不变,恢复读取仍独立执行原完整请求校验。

共享判断区分JSON中不同的类型和值,包括布尔、整数、小数及正负零;只有类型和值都安全等价的公共输入才复用。同种子但内容不同的输入不混用,输入变动时仍在写临时文件前拒绝原校验键。新快照给原ordinal字段建立普通索引,避免完整核验和恢复读取建立临时排序结构;旧无索引快照照常读取,原256兆字节页数上限与封存/读回/同步/原子替换顺序保留。

独立统计锁原型虽降低转换计时内的等待,但把结果交接一起计入后没有吞吐收益,因此未采用。报告重复解码原型也未在并行实测中表现出明确收益,未修改校验规则。不能以局部等待移位或短回放替代整轮性能验收。

## 当前会话实际流程依赖

- 已重新读取并应用dev-flow(开发流程)2.9.0及需求阶段,采用完整路径;主工作树/分支/本地和远端main固定基线已只读核对。
- 已重新读取subagent-policy(子代理策略)2.3.1,继续委派具名只读架构代理source_memory_gate_architecture,固定gpt-6-sol及xhigh。工具可写故明确只读边界回退,代理声明未写、未训练或模拟;主代理核对实际状态。
- 架构代理实际使用codebase-design(代码架构设计)复核新增3至6环节的共用与独有路径,提供上述最小等价实现和七票建议;主代理实读关键源码确认,不以代理结论代替证据。
- 重新读取grill-with-docs(带文档核对)及grilling(需求访谈)、domain-modeling(领域建模),实际按上方决定树将用户已明确范围/硬线与待门禁工程选择分开,核对恢复、发布、缺失资料和共享污染等场景,不重复询问已经明确的两条流程和六步。
- 实际使用to-spec(转为规格)重写完整需求、故事、六步合同及测试;实际使用to-tickets(转为票据)把六个完整可验证切片和整链验收写为七张任务,真实依赖和粒度一并提交门禁确认。

以上为门禁一准备阶段记录;该门禁已确认,目前在同一功能分支实施和验证,整链验收进度以07票为准。正式来源及正式规格仍未切换,所有旧方案的范围缩减表述由新版需求取代。
57 changes: 57 additions & 0 deletions myspec/changes/sim2gse-source-memory/gate-1.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,57 @@
# 门禁一——开始开发:训练与正式搜索完整六步(已确认,实施中)

本版替代此前来源首批三票门禁。用户要求六环节全部属于本次实施范围,训练与正式搜索统一优化;不能仅做来源、仅做训练,或省够内存后跳过剩余环节。

## 核心摘要

- 产品和成功结果:现有序列优化器训练及正式搜索完整六步降低重复内存和耗时;在当前真实规模中,两条链整批所属进程同时私有提交合计不超过2048兆字节,并且整体/关键阶段性能、功能和结果质量不退化。六步和两条链均有实现、验证及审查记录,不能只有单个共用函数测试。
- 当前工作树:D:\My Project\Wow Addons;本机只登记此工作树,沿用此工作树。
- 基线:8bd5a7abd58b0c1790dd70894401d5ba714556ae;已再次只读核对远端main同值。当前仍为主分支,只新增本变更需求产物,尚无产品修改、实验或数据迁移。
- 拟新建功能分支:codex/sim2gse-memory-peak。此前拟用source-memory的名称未创建,本次改用完整范围名称,门禁确认前不切分支。
- 流程等级:Full(完整);同时涉及来源格式、运行对象共享、受控输出、检查点、恢复和最终证据发布。
- 开发安排:主代理逐票串行,每票先写失败检查再修复,每票完成由独立审查代理核对。

## 六环节与七张票据

| 环节/票据 | 本次交付 | 训练与搜索的覆盖 |
|---|---|---|
| 01 来源读取、更新 | 固定版本原件、完整小清单、按列/分批读取、去除重复大摘要及整库写入 | 训练来源及正式训练成果/历史出处均可完整追溯;不让搜索额外读取整个原文库 |
| 02 准备、初始种群 | 准备缓存/计划减原文,旧校验有界执行,完整身份下共享只读准备资料 | 训练四组准备与正式当前角色双场参考、全部起点分别验证 |
| 03 运行阶段 | 共用冻结按键时刻、爆发来源等不变资料,减少每批重复对象 | 训练和正式评分、反馈、繁殖、换代、自然停止均验证 |
| 04 编译、模拟报告 | 减少输出缓冲/拼接/全文解码/分割及报告转换副本 | 两条链均保真实编译、报告、诊断、超时取消及受控子进程 |
| 05 检查点、恢复 | 逐行生成和核验,恢复复用一次已核验加载,降低全量临时副本 | 两条链暂停、续跑、复测边界和双场父子任务状态一致 |
| 06 最终复测、保存、读取 | 有界转换、分片验真后释放所有引用、完整证据逐条读回 | 训练五场景四代表、正式原正常场景冠军与导出均保持 |
| 07 整链验收 | 六步逐项及两条链完整前后配对,形成十二格覆盖和整批结论 | 达标才报告整体完成,不以只改训练或只达主程序代替 |

真实依赖:02依赖01;03依赖02;04依赖03;05依赖03、在串行安排中位于04之后;06依赖04与05;07依赖01至06。任务粒度、这些依赖和下述公开测试入口随本门禁一起确认。

## 两条硬线与数据边界

- 保留训练4组各5路和每组原85条起点,正式搜索沿用原并行设置;两条链的评分、随机计划、语法能力、完整历史选拔、诊断、恢复边界和最终证据不减少。
- 来源、准备、参考不跨角色/英雄/目标数混用;共享只读对象,修改分支隔离;不删除编译/评分缓存造成额外重算。
- 旧原文、旧快照、旧成果保留;新格式明确版本,旧格式按旧规则完整验真。来源版本冲突、缺件、损坏、暂时不可读、管道错误、恢复损坏及发布失败明确处理,保持最近可靠副本和旧成果。
- 不能用降低并行、删历史/报告、减少评分、提前暂停有效任务、削弱恢复或换计量范围达到目标。有性能或功能让步的高收益选项单独提交用户讨论,不能默认采用。
- 开发及验证使用隔离数据根,不激活正式新清单。正式来源切换、新格式回退办法、规格应用、合并及清理在门禁二展示后确认;不承诺任意旧代码透明读新数据,不新增断电级保障。
- 本次用现有编译器、引擎和协议的封装优化,不重写模拟器或增加常驻服务。如确需原生源码/协议或锁定构建变化,先补充需求并加载仓库引擎升级要求。

## 验收入口与预算

- 使用既有来源登记、列表、准备、参考更新、训练运行入口,以及正式双场页面或任务的启动、读取、结果核验和导出;沿既有统一构建验证入口。普通和真实测试分别验证,不绕测试保护,不删登记覆盖。
- 每步短对照先验证正确性和内存/时间,必要项目旧/新交替重复。短对照总计最多30分钟、256批原生启动尝试、8192请求迭代;失败重试也计入。
- 完整对照共四次:训练改前/改后各一次,正式双场改前/改后各一次。每次最多90分钟、12000批原生启动尝试、450000请求迭代;不是三方案实验,也不缩代数或复测。
- 本次新增隔离复制、资料和证据合计最多8吉字节磁盘空间;区别于2048兆字节内存目标。到任何停止线安全收尾,报告未完成,不自行增加预算或删证据腾空间。
- 基线准备曾触发默认8吉字节保护。为完整同条件配对,仅本次隔离测量的改前与改后都显式用16吉字节停止线,产品配置文件不变;这不是放宽新版本实际整批2吉字节的验收目标,也不以提高停止线称优化。临时值及其对内部报告分组预算的影响均记录。
- 使用已核验实际存在、内容与上次冻结一致的标准角色,冻结双方来源、全部起点、随机种子、配置及评分计划;两版缓存和发布资料互相隔离。不使用缺失的旧私人角色路径或缩小探索的冒烟模式。
- 计量覆盖首次转换、准备、运行、暂停恢复、全部复测、写入、读回、最终切换及后台尾部。测同一时刻所有所属进程合计并结合创建/退出和系统记账,主程序和驻留内存另报。
- 训练前后核对全部请求、成绩、样本、方差、反馈、种群、代数、全历史选拔、复测和最终16条;正式前后核对同类证据及冠军导出。代码/格式编号变化另行说明,不忽略其他差异。
- 现有2929.193秒训练只作历史参考;正式双场会新建改前基线。短重复与完整配对一起判断速度,疑似退化或不确定不宣布通过,追加完整重复另获授权。

## 完成条件与确认后进入的下一步

六步全部实施并独立审查,两条完整流程都有功能等价、性能和总峰值证据,才具备报告整体目标完成及准备交付的条件。2026-11-11用户补充明确:2吉字节为努力目标、略超可接受;最终列实际值与差额,不自动把明显超额称为接近达标。性能、功能、质量不退化仍是硬要求,出现退化或额度不足须明确报告;不能默默退回来源首批交付。本文前面“不超过2048”的原门禁表述按本条最新补充执行,其余六步、两链和资源上限不变。

确认以上完整范围、七票安排、功能分支、串行主代理开发/每票独立审查、公开验收接缝及预算后,创建codex/sim2gse-memory-peak并从01开始,逐票推进至07。确认前只准备需求文件,不进行开发、训练、模拟、迁移或正式数据发布。

## 用户确认记录

用户在完整六步门禁展示后回复“确认”。授权包括本门禁范围、分支、主代理串行七票、每票独立审查、接缝、对照预算和隔离数据边界。开始实施,不激活正式来源、不修改正式规格。
Loading
Loading