Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
20 commits
Select commit Hold shift + click to select a range
66d67f0
测试:固定受保护验证迁移的首个失败契约
liuli195 Oct 24, 2026
682cae7
重构:内存化验证并共享必要真实场景准备
liuli195 Oct 24, 2026
691d506
修复:按真实策略身份读取修正配置输入
liuli195 Oct 24, 2026
5cff630
迁移量化验证配置至守卫模式
liuli195 Oct 24, 2026
1292cd4
修复:准备真实临时目录并恢复文档索引输入
liuli195 Oct 24, 2026
50d9fd9
修复共享模拟摘要引用并补充目录外写入诊断
liuli195 Oct 24, 2026
ff73410
隔离普通计算检查的可选网络宿主探测
liuli195 Oct 24, 2026
36670cc
隔离量化端到端仓库并准备长组优先配置
liuli195 Oct 24, 2026
8f4968d
精简量化验证为十二条领域冒烟并迁移内存规则
liuli195 Oct 24, 2026
6aaaf81
应用领域核心冒烟验证配置
liuli195 Oct 24, 2026
5fd540d
隔离同步冒烟项目根以保留浏览器配置路径校验
liuli195 Oct 24, 2026
be1a538
缩短量化冒烟隔离仓库路径并保持独占清理
liuli195 Oct 24, 2026
d6838e1
按原始字节捕获未消费的目录联接输出
liuli195 Oct 24, 2026
8e2e8c9
记录量化迁移正式验收与规格交付前置
liuli195 Oct 24, 2026
b46ed89
采用四乘二验证资源并去重工作树准备
liuli195 Oct 24, 2026
2f5399a
采用量化验证四乘二并行配置
liuli195 Oct 24, 2026
1d1b617
收口四乘二正式验收与长项诊断证据
liuli195 Oct 24, 2026
291f71a
应用量化验证迁移获批规格
liuli195 Oct 25, 2026
2b5f29e
chore: sync PR Flow toolchain
liuli195 Oct 25, 2026
272aba7
修复完整验证使用项目虚拟环境解释器
liuli195 Oct 25, 2026
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -7,11 +7,14 @@
import uuid
from collections.abc import Iterable
from pathlib import Path
from typing import TYPE_CHECKING

import duckdb
import pyarrow as pa
import pyarrow.parquet as pq

if TYPE_CHECKING:
import duckdb

from .archive import IntegrityError, verify_existing_manifest


Expand Down Expand Up @@ -156,6 +159,8 @@ def export_csv(
if not fields:
raise QueryError("at least one field is required")
manifest = _load_manifest(manifest_path)
import duckdb

connection = duckdb.connect(":memory:")
try:
if dataset not in open_views(manifest_path, connection, manifest=manifest):
Expand Down Expand Up @@ -207,6 +212,8 @@ def query_rows(
) -> list[dict[str, object]]:
if limit < 1 or limit > 10_000:
raise QueryError("limit must be between 1 and 10000")
import duckdb

connection = duckdb.connect(":memory:")
try:
if dataset not in open_views(manifest_path, connection):
Expand Down
676 changes: 399 additions & 277 deletions .build-and-verify/config.json

Large diffs are not rendered by default.

2 changes: 2 additions & 0 deletions .github/workflows/full-verify.yml
Original file line number Diff line number Diff line change
Expand Up @@ -63,4 +63,6 @@ jobs:

- name: Run full verification
shell: pwsh
env:
BUILD_AND_VERIFY_PYTHON: ${{ github.workspace }}\.venv\Scripts\python.exe
run: build-and-verify verify --project . --full
4 changes: 2 additions & 2 deletions .github/workflows/pr-flow-toolchain.yml
Original file line number Diff line number Diff line change
Expand Up @@ -20,12 +20,12 @@ jobs:
python-version: '3.12'
- run: |
git clone --no-checkout https://github.com/liuli195/my-agent-skills $RUNNER_TEMP/myspec
git -C $RUNNER_TEMP/myspec checkout --detach ece96f951486b8849c306d13042e6377181bf848
git -C $RUNNER_TEMP/myspec checkout --detach 0cecf8a48865aab9483cfe21527f58ab2f98c930
tarball=$(python $RUNNER_TEMP/myspec/plugins/tool-lifecycle/pack.py myspec $RUNNER_TEMP)
npm install --global --ignore-scripts --no-audit --no-fund "$tarball"
- run: |
git clone --no-checkout https://github.com/liuli195/my-agent-skills $RUNNER_TEMP/build-and-verify
git -C $RUNNER_TEMP/build-and-verify checkout --detach ece96f951486b8849c306d13042e6377181bf848
git -C $RUNNER_TEMP/build-and-verify checkout --detach 0cecf8a48865aab9483cfe21527f58ab2f98c930
tarball=$(python $RUNNER_TEMP/build-and-verify/plugins/tool-lifecycle/pack.py build-and-verify $RUNNER_TEMP)
npm install --global --ignore-scripts --no-audit --no-fund "$tarball"
- run: myspec doctor --all
Expand Down
8 changes: 4 additions & 4 deletions .pr-flow/toolchain.json
Original file line number Diff line number Diff line change
Expand Up @@ -5,17 +5,17 @@
"mode": "dev",
"packageName": "@liuli195/myspec",
"sourceRepository": "https://github.com/liuli195/my-agent-skills",
"sourceCommit": "ece96f951486b8849c306d13042e6377181bf848",
"sourceCommit": "0cecf8a48865aab9483cfe21527f58ab2f98c930",
"packageDirectory": "plugins/my-spec",
"implementationIdentity": "sha256:adb1e698d1c75a9b4b1f7ca75e16a01044d4ea60a0bd5fbed034e24952c78f4f"
"implementationIdentity": "sha256:474da7635be37eccccd508c46b8396df59b8a8c8a3956d4b8de5e70d3ca4c4b7"
},
"build-and-verify": {
"mode": "dev",
"packageName": "@liuli195/build-and-verify",
"sourceRepository": "https://github.com/liuli195/my-agent-skills",
"sourceCommit": "ece96f951486b8849c306d13042e6377181bf848",
"sourceCommit": "0cecf8a48865aab9483cfe21527f58ab2f98c930",
"packageDirectory": "plugins/build-and-verify",
"implementationIdentity": "sha256:0e5bbcf3f8b5b35b4875e4aa28d0f76ab8d9c3f903b5253ed5bbceac6eacd202"
"implementationIdentity": "sha256:796c6ff086f5cc7031d1b7a404371a0204242af343bdb98984b61ec7be5b93d8"
}
}
}

Large diffs are not rendered by default.

Large diffs are not rendered by default.

Original file line number Diff line number Diff line change
@@ -0,0 +1,81 @@
# 门禁二准备:4×2已验收,待新输入的官方完整预览

## 核心摘要

当前固定实现2f5399a0baa4db959725008bd467eb6f26bd1c11已通过本机官方固定基线验证:14实际PASS,工具42.04秒/命令42.13秒,7普通guard完整无违规、12真实链全运行,无cache/skip/未运行。outer4/仅工作树内2;目标/候选同6ba9。一次长项诊断已结束并恢复原bytes/env,不再新增优化或实验。独立审查已覆盖原固定范围及后续4×2/准备去重短差异,无剩余P1/P2。最小事实见[verification-evidence.md](verification-evidence.md),准确配置见[configuration-preview.md](configuration-preview.md)。

旧官方MySpec会话dd901807绑定8e2e/IF96a4,已合法ABORTED完整归档;新输入树未做formal应用。当前仅文档树固定后,用实际archive导入重建三MODIFIED完整预览,再向用户展示完整Gate2并获明确确认。本文件不是formal Delta或完整预览,不能据此称Gate2 ready。正式spec未改,本任务PR/merge/release尚未授权。

## 规格准备范围(仅修改说明,非 Delta)

预计仅修改三个既有 Requirement,保留原标题,不新增/删除/改名能力或 Requirement;最终数量以官方校验预览为准:

1. local-quant-research-workflow / Skill 结构和通用性验证:普通受保护与每领域/场景最小真实核心链、独立路径选择/缓存、必要静态读取及公开入口;旧“保留全部物理矩阵”改为已批准覆盖边界;本机快/全 60 秒总硬截止,超时终止 owned 进程、停止队列并失败,云端/PR/CI 工具原策略不变。保留 CSV→Parquet→快照→公开研究运行完整主路,内存规则不冒称全部物理实测。
2. joinquant-archive-sync / 端到端回归必须覆盖手动同步入口:常规验收以受控 public sync-active-simulations→幂等→verify→query/export 核心链为准,不再要求重复 Codex/Claude self-test 子进程和逐异常物理矩阵;能在既有数据接缝验证的规则仍普通守卫。生产 self-test 能力、完整性规则与无真实联网边界保留。
3. local-quant-research-runtime / 重构必须保持结果一致并提供性能观测:保留生产结果正确性、既有真实规模/扩展/延迟研究证据和 cold/warm 各 180 秒要求;明确本次默认自动验证不再重算三个私有全历史场景,静态夹具/hash 不能证明其自动精确复算,无第二手动验证入口或隐藏 skip。不删除生产正确性要求,不声称丢失覆盖仍受测。

不修改 turtle-etf-local-research 的正式 Numba 编译契约,也不把当前禁 JIT 公式通过当编译证据。仅处理与本次批准有关的三份规格,不扩为全仓审计。

## 输入变化的官方会话恢复

旧会话已用官方state-status --abort-identity读取身份,经明确授权和无活动调用核对后,state-abort先完整归档再释放匹配锁。归档为:

`D:\My Project\Quant-Research-Lab\.local\spec-work\aborted\1d94f919c75739daf8081bf3fae839374947abbe17c2e09e0cdc873a1a1fc890-c0e358e6bdad49e28549861e025b6206`

当前不得再次中止该旧身份、手改state.json或沿用旧IF。新实现与诊断均完成,固定本次文档后,state-init --import-aborted仅导入已审Delta,不继承旧ready/决定/确认。重分析conflicts、校验、独立preview/diff后再准备Gate2;三份Delta不硬编码并发数,但新身份/输入必须绑定。

## 官方会话前置及精确命令

执行地点:已核实的 D:\My Project\Quant-Research-Lab。只用既有 2.7.1 裸 myspec,不换模式、不安装,不调用包内脚本。云端旧 CLI 不可替代。正式 Delta 只能在该工作树 .local/spec-work/current/delta/,不能预写 current、强加锁或提交忽略的规格候选到 feature。

1. 正常拉取本次仅文档checkpoint,核准确remote/分支/HEAD/clean;验收实现仍2f5399,文档HEAD不冒称另一次测试。当前配置/候选同6ba9,正式14已通过,不为文档重跑全量。执行并保存下列两项结果,均须为空:

git diff --name-only bd07f9ce5f13d18d0a17831759721d91647a727b -- myspec/specs/
git ls-files --others --exclude-standard -- myspec/specs/

2. 核旧归档完整且当前lock/current无未知遗留;不覆盖或手删锁。以下archive来自上节实际官方回执,不是猜测路径。用当前Git对象作为Agent输入指纹(官方另记录实际内容指纹):

$W = 'D:\My Project\Quant-Research-Lab\.local\spec-work'
$S = 'D:\My Project\Quant-Research-Lab\myspec\specs'
$Archive = 'D:\My Project\Quant-Research-Lab\.local\spec-work\aborted\1d94f919c75739daf8081bf3fae839374947abbe17c2e09e0cdc873a1a1fc890-c0e358e6bdad49e28549861e025b6206'
$SF = 'git:' + (git rev-parse 'HEAD:myspec/specs').Trim()
$IF = 'git:' + (git rev-parse 'HEAD^{tree}').Trim()
myspec state-init $W add $SF $IF --import-aborted $Archive

SF 绑定全部主规格 Git 树;IF 绑定已选固定实现/配置/测试和已授权证据文档的当前 Git 树。不要把占位值、旧 HEAD 或不相同的本机树当指纹。state-init 结果须回传目标/身份/状态,再继续;这只是合法预览会话,绝非正式应用。

3. state-init 后在 current 内完成三目标分析、保存完整 conflicts.json;已有明确最新授权的正常修改不凭空制造未知冲突,但也不能为省步骤漏列真正未决来源冲突、删除或低可信项。首次展示前必须调用:

myspec state-set-conflicts $W "$W\current\conflicts.json" $SF $IF
myspec state-status $W $SF $IF

若 WAITING_DECISION,只按 state-current 一次显示一条完整候选,保存相应明确决定;不得重新扫描、批量接受或假造零冲突。没有未决后才写 current/delta 三份完整 MODIFIED Requirement。

4. 全部正式候选仅在 current/delta,执行官方校验及独立预览:

$D = "$W\current\delta"
$P = "$W\current\preview"
myspec validate-delta $D $S
myspec apply-delta $S $D $P $W $SF $IF
myspec validate-main $P
myspec diff $S $P
myspec state-status $W $SF $IF

此处输出是 preview,不是 $S;严禁把第三参数提前改成正式 specs。保存完整、不截断的 diff,核 READY_TO_APPLY、三目标/需求数、原规格未变和身份/指纹绑定一致。任一步非零即停并保留现场。

## Gate2 必须展示的内容

- 明确当前为“门禁二——规格与交付”;正式三目标摘要、实际 Requirement 操作数量,以及官方完整文件级差异的可读引用。
- 明确当前2f5399的4×2正式14全绿42.04秒工具/42.13秒命令;旧d683/47.07、三组临时契约FAIL及33.94秒dirty3-check诊断不混称当前验收。单纯文档不无价值重跑全量。
- 已批准的物理矩阵/三全历史重算覆盖退让、CCXT/IPv6普通宿主能力边界、未真实JIT编译、4条依赖弃用告警;生产保障/self-test/JIT合同不删。
- 准确 PR 动作:建议官方 pr-flow-complete 创建/同步本feature到main的PR,按仓库 Full Verify/CodeQL 与GitHub review gate等待检查,通过后采用配置的 merge 提交方式合并、同步基础分支并非强制清理源分支。保留 primary worktree 实体,不加 --remove-worktree,不强制覆盖历史,不做正式发布。这些动作目前都未授权,必须本次完整Gate2另获确认。
- PR Summary/Scope/Closing References 按既有模板;没有对应GitHub关闭票据时写None,不假造issue编号。当前不手改MySpec旧工具锁;BAV身份维持已核2.7.1/0cecf8a。complete前核官方doctor:若拟更新MySpec身份,须先在Gate2披露.pr-flow/toolchain.json及.github/workflows/pr-flow-toolchain.yml的准确受管变化并获同意,不能以笼统授权替代。
- 官方complete会读取工具身份,并可能自动同步、提交受管工具链文件(不能假定身份变化必然停在写入前);如需要本机仓库外写入(如技能repo的.git对象)仍须具体位置/用途/影响授权,不能把Gate2笼统当仓库外操作许可。发现未披露身份变化时不得启动complete;分支占用、检查或审查阻塞均按原步骤停止,不跳过门禁。

## 确认后进入的下一步

仅在官方完整preview已生成并展示、用户明确批准本次Gate2后,复核原状态与指纹,按官方my-spec-add将同一Delta原子应用到正式specs并校验;成功后仅提交已批准正式spec(及获批交付文档),核实际diff范围与clean后,再调用已加载pr-flow-complete执行已确认完整交付。complete只可能自动提交受管toolchain,不会代提交正式spec或普通文档。不手写formal、不提前complete/merge/release。当前恢复位置是“用实际archive及固定新IF导入重建完整MySpec预览”,不是“旧READY可应用”。

## Gate2须明确披露的受管身份增量

当前不手改工具锁。拟让MySpec锁与已验证2.7.1/dev实现一致时,须在Gate2明确批准仅两处受管变化:.pr-flow/toolchain.json的MySpec sourceCommit ece96f951486b8849c306d13042e6377181bf848→0cecf8a48865aab9483cfe21527f58ab2f98c930,implementationIdentity sha256:adb1e698d1c75a9b4b1f7ca75e16a01044d4ea60a0bd5fbed034e24952c78f4f→sha256:474da7635be37eccccd508c46b8396df59b8a8c8a3956d4b8de5e70d3ca4c4b7;以及.github/workflows/pr-flow-toolchain.yml中MySpec checkout旧ece→0ce。mode/packageName/packageDirectory不变,BAV的0ce/796c6f身份保持。执行前以同一官方doctor身份复核,不把本摘要当伪造诊断来源;未披露变化不得靠complete自动提交。
Original file line number Diff line number Diff line change
@@ -0,0 +1,48 @@
# 迁移设计边界与证据(当前增量)

本文件是 change 候选的调查记录,不是正式规格或运行通过报告。基线为 `bd07f9ce5f13d18d0a17831759721d91647a727b`。

## 已确认模型与最小设计

- 普通检查:内存计算/数据及必要静态读取,由新版运行时 guard 实际证明;名字含 unit 或数据源叫 memory 都不是证据。
- 真实检查:不可替代外部环境的显式未保护角色。按领域/场景一核心链,不能将旧矩阵塞进少数入口。DuckDB 即使 :memory: 仍为原生边界;文件 SQLite 防重复消费须真实保留。
- 三类环境是 Python 文件/数据、Chromium/Windows 会话、Git/PowerShell/共享环境,不是三个巨型检查。14 checks=7普通+7真实,后者承接12链。
- 优先已有公开数据接缝、Arrow 内存表/流和数据模型;分析复用既有 _AnalysisLedger/result_contract,不拦截 Path 或重造 SQL/文件系统。两个真实研究 CLI 独立小 repo,其他场景同链复用准备;不为两个 case 多造 session 基线层。
- 外4/工作树内4为已验收起始方案,用户最新正式采用外4/仅工作树内2;浏览器/工作树保留既有串行阶段,长组前置。无新调度器/网格benchmark;旧4×4为47.07秒;4×2在契约同步后正式14全绿(工具42.04/命令42.13秒)。

## 用户批准的覆盖变化

用户 `Sentinel_5eba966575b48191aa0b9a7d916fb320` 确认整体12链及物理覆盖退让,取代早期18→4、22→11及保留三私有条件复算的中间方案。退休锁竞争、系统重试、链接矩阵、异常回滚、历史格式、重复 CLI 接线;生产保护及有价值内存规则保留,但这些独有物理组合不再逐项实测。最后残留 backtests/111 全树/Parquet 验证按历史矩阵退休,不恢复大历史 inputs。

三条私有全历史重算删除,只保静态夹具结构/摘要连接及已有研究证据,不再自动证明三个历史场景完全一致;无隐藏 skip,无第二手动运行器。历史数据/凭据/证据本身未删除或上传。重复独立 JIT 名称去重,普通风险公式、生产 use_numba=True 和正式编译契约仍保留;本次不新增或声称真实编译验收。

## 代码与工具证据

- 原主干配置 v1、18 checks、outer16、build 空、总预算60仅告警;布局测试硬锁旧清单。五处 DuckDB 顶层导入和包初始化使普通路径提前加载原生库,已按现有连接/查询/存储接口延迟实际导入。
- 原 .pr-flow/toolchain.json 及独立 pr-flow-toolchain.yml 固定旧 BAV 源 ece96f9。已基于官方 doctor 更新 BAV 2.7.1/source0cecf8a/implementationIdentity sha256:796c6ff086f5cc7031d1b7a404371a0204242af343bdb98984b61ec7be5b93d8;MySpec 旧锁未改。
- 本机官方 doctor 已确认 dev 绑定 D:\My Project\my-agent-skills,2.7.1,无 lock/pending;准确量化 remote/main/feature/.venv 已核实。Python3.12.10、pytest9.0.3、xdist3.8、playwright1.61、Chromium1228 存在,正式运行仍按固定提交核对,不以安装身份冒称新实现通过。
- 云端无量化项目 .venv,旧安装工具不能写 v2。本次只用用户明确批准的云端现有 venv/标准库 AST 只读解析检查语法,不 import 业务、不测试、不安装环境。正式 Windows 依赖步骤由父协调本机。

## 已运行的旧版中间证据与修复

- 66d67f03 官方 red:仅布局,12 pass/1 fail,config v1!=2,总8.70秒。
- 官方首次16项发现 real basetemp 父目录缺失、dill gettempdir 探针写被 guard 拒绝、docs 内存HTML缺原“参数/返回”标题。最小修:仅 real 准备仓库内父目录;ordinary 只缓存已存在仓库内 temp 值;恢复原 docs 夹具结构,不放宽提取器。
- 一次支持的官方无 base 脏树诊断定位量化导入探测:ccxt vendored Versioneer 启动 git,urllib3 IPv6 创建 socket。依赖无现成关闭导入选项;普通精确 not real 模拟可选 ccxt 缺失及 socket.has_ipv6=False 并 cleanup,实际外部调用和 guard 不动,真实不应用。不是 dill 或误报,普通不证明这两种宿主能力。
- ff734 旧16项:7普通 guard startup/finish完整且无违规,sync-real通过;总60.14硬截止,旧历史复算被cut、browser/worktree未启动,不能报全部通过。两个量化 E2E 的现有漂移诊断精确发现并发 .build-and-verify/cache JSON 写入;只添加总数/前8相对路径,无内容/失败条件改变。
- 当前两个 E2E 改用独立小真实 repo/.venv junction,生产 _repo_state、缓存可信性与忽略范围均不放宽。新12链进一步精简,不继续优化旧253矩阵。

## 选择和缓存闭包

每 check 的 paths/inputs 包含实际命令读取、配置、公共 conftest、包两层 __init__、领域共享测试数据接缝和静态 schema;不为退休全历史重算保留大历史 cache hash。计算额外精确声明 minimal_strategy、minimal_strategy_b 和 performance-baseline.json。SQL 两来源各生成6张同schema小Parquet,不扫大归档。完整逐项以 config.candidate.json 与 configuration-preview.md 为准。

## 正式规格待交付差异

正式 `myspec/specs/local-quant-research-workflow/spec.md` 的“全部端到端保留”和“60秒只告警”须在 Gate2 增量更新为已批准的每领域核心链及本机60秒总硬截止;云端/PR/CI 保持工具原策略。凡现行规格提到三历史自动精确复算或已退休物理测试矩阵的验收证据,也须明确新的静态证据/核心冒烟边界,不能承诺未运行覆盖。生产能力、JIT编译合同不删。本次尚未直接改正式specs。

## 当前状态与执行门禁

当前2f5399固定实现14全实际PASS(工具42.04/命令42.13秒),7普通guard完整无违规、7真实12链全跑,无cache/skip/未运行。静态312函数=300普通+12真实。候选/官方目标同6ba9、outer4/仅工作树内2;精确证据见verification-evidence.md。旧d683/80bebb/47.07作为历史保留,不移作新配置通过。

已完成一次长项诊断,结果及原始证据位置见验收记录;不再增加试验、缓存或生产日志框架,也不删真实保障。新正式代码/配置后本轮只更新change文档,验收HEAD仍2f5399。

旧MySpec会话dd901807已官方ABORTED完整归档,旧IF96a4不可用。当前文档固定后,通过实际archive导入以新IF重建三MODIFIED完整预览;生产重构正确性/self-test/JIT合同保持。待用户Gate2确认后才原子应用formal并执行确认的PR交付。本次formal两项Git检查仍应为空,无main推送、合并、发布。
Loading
Loading