Repository navigation
Open
2 / 22 of 2 issues completedOpen
2 / 22 of 2 issues completed
Copy link
Labels
area:processRepo-wide process, governance, privacy and security rulesRepo-wide process, governance, privacy and security rulesbot-reviewedkind:roadmapProgram-level roadmap anchor (Now / Next / Later)Program-level roadmap anchor (Now / Next / Later)
Description
Goal
按当前分工跟踪 InferRSI 的 9 个主要工作项,覆盖架构重构、评测、性能上限、知识检索、外部 Agent 对接、可观测性、应用层、文档与集群 RSI;另有 7 项延续自上一版 roadmap。保留原有 1–15 编号,新增集群 RSI 为第 16 项并列入主表。
本 issue 汇总分工、交付进展和剩余事项;整体方向参见 #61,模型优化专项参见 #416。具体范围与交付内容以对应 issue / PR 为准。本 roadmap 以 PR 合入作为完成标准,无需等待跟踪 issue 关闭;后续增量工作单独跟踪。
Workstreams and Ownership
状态图例: ✅ 已完成(PR 已合入) · 🚧 进行中(PR 待合入) · 📋 待开展 / 待决策 · ⚪ 已关闭。
| # | 工作项 | 范围与关注点 | Owner | Tracking issue | 状态 |
|---|---|---|---|---|---|
| 1 | Knowledge / Harness / Benchmark 三模块目标架构重构 | 按 #362 拆分 K/H/B 与 Apps,明确依赖方向、公开接口(read/collect、prepare、execute、assess)及迁移边界。Workbench 已更名为 Harness。 |
@Dong1017 | #362;接口 #387;迁移 #407–#414、#451 | ✅ 已完成(K01/K02/H02/B01/OBS/S01 迁移及共享 contracts/resources 已合入;PR #453/#458/#459) |
| 2 | Benchmark 评价和对比实验 | 建设可复用工程优化任务、正确性依据与测量规则;比较系统、模型及知识条件下的优化效果、可靠性与成本。 | @Bounty-hunter | #336、#337;相关 #248 | ✅ 已完成(PR #338 已合入) |
| 3 | 上限估计 | L1 权重需求锚定 checkpoint;模型级 SOL 与 distance-to-bound;用户目标优先,缺项才由上限分析辅助推导。 | @fake0fan @amy-why-3459 | #348;相关 #303、#385、#399 | ✅ 已完成(PR #351/#400 已合入);🚧 模型级 SOL PR #386 待合入 |
| 4 | 搜索域搜索(Skill Indexer) | 改进材料发现、排序、上下文送达与采用;与 rg 对照,并关联逐轮证据。 |
@jiaran-king | #379(总跟踪)、#380(核心实验);#370、#344 | ✅ 已完成(PR #384 已合入,#370 两组对照已交付);🚧 统一入口 PR #466 待合入 |
| 5 | MindIE-agent 对接 | 将 MindIE 知识读取、来源留存与候选证据交接接入 InferRSI,并完成 Apps 归位及真实任务验证。 | @jiangkuaixue123 | #374;迁移 #452 | ✅ 已完成(PR #393 已合入);📋 Apps 迁移 #452 待实施 |
| 6 | Dashboard 优化 | 展示逐轮改动、性能曲线、事件/耗时、测试进度及知识检索到候选/run 的证据导航;缺失观测保持未知。 | All contributors | #345;相关 #392、#406、#413 | ✅ 已完成(PR #405/#428/#450 已合入) |
| 7 | apps 重构 | CLI / Python / Plugin 通过 K/H/B 公开接口装配流程,保留固定记录、错误与恢复语义。 | @zengchuang-hw | #371;#408、#412;相关 #362、#152 | ✅ 已完成(PR #461/#465/#469 等已合入);🚧 wheel 修复 PR #470 待合入 |
| 8 | docs 优化 | 随模块迁移同步操作说明、接口/迁移文档、发布说明与结果交付入口。 | All contributors | 在本 issue 跟踪;相关 #371、#387、#443 | ✅ 已完成(PR #391/#395/#445 及迁移配套文档已合入) |
| 16 | 集群 RSI(parallel round) | 一轮冻结多条正交 lane,从同一 incumbent 隔离改动;统一设备协调、AB/BA 测量与 ledger,保留失败尝试。 | @NumberWan | #249;实现切片 PR #268 | 🚧 进行中(PR #268 待合入) |
延续上一版 roadmap 的工作项
以下各项保留原编号与负责人;已关闭的事项保留其实际验收边界。
| # | 工作项 | 范围与关注点 | Owner | Tracking issue | 状态 |
|---|---|---|---|---|---|
| 9 | Kernel 性能优化 | 以上限估计(第 3 项)的差距为依据,做瓶颈诊断与 kernel 优化。 | @fake0fan | #303 | 📋 待开展(#303 提案,暂无对应实施 PR) |
| 10 | 引擎侧搜索空间优化 | 完善搜索空间与硬件感知目标,覆盖扩展到 torch / torch_npu。 | @amy-why-3459 | #143;目标准备切片 #399 | ✅ 已完成(PR #167/#400 已合入);📋 torch / torch_npu 覆盖扩展待开展 |
| 11 | 知识有效性评估 | 评估知识是否正确、是否对优化任务有用;区别于检索效率、命中与采用记录。 | @Dong1017 | 待建(原关联 #273 已关闭且主题不符) | 📋 待开展(待建专门跟踪 issue) |
| 12 | Agent 插件与发布 | 按 #152 当前范围对齐 Codex / DSH / openJiuwen(WorkSwarm) 的集成、生命周期与自动发布。 | @zengchuang-hw | #152;release bot #238;版本 #443 | ✅ 已完成(PR #239/#327/#361 已合入,v0.2.0 已发布) |
| 13 | 0 Day 模型支持 | 沿 Transformers → GPU 推理引擎 → NPU 推理引擎 沉淀接入、验证与优化经验。 | @amy-why-3459 | #315 | ⚪ 已关闭(#315,completed) |
| 14 | 测试经验收集 | 收集用例、问题与解决经验,沉淀可复用测试知识。 | @yenuo26 | 在本 issue 跟踪 | 📋 待开展(在本 issue 跟踪) |
| 15 | 人工 trace 审查与框架反馈 | 审查优化 trace,把低收益、失败与证据缺口反馈到框架、知识库和搜索策略。 | All contributors | 在本 issue 跟踪,使用第 6 项能力 | 📋 待开展(人工复盘与反馈;展示能力见第 6 项) |
近期新增的跨工作项议题
以下补充现有工作项的依赖与后续范围,不新增未经确认的负责人或排期。
| 议题 | 关联工作项 | 状态 |
|---|---|---|
| 分层归档与 PR 体积控制 #464 | 8、14、15 | ✅ 已完成(试点 PR #435/#394 已合入);📋 共享 manifest、读取器及工具/模板待交付 |
| RSI 结果交付契约 #468 | 6、7、8 | 📋 待决策(RFC Proposed,尚无实施 PR) |
| 服务复用与多场景优化 #467 | 2、7、16 | 📋 待决策(Proposed,尚无实施 PR) |
| 可解释改进与测量有效性 #454/#455 | 2、3、6、14 | 🚧 进行中(范围已附条件接受;PR #457/#456 待合入) |
| Agent 工作方法改进与跨任务经验复用 #460 | 4、11、15 | 📋 待决策(RFC Proposed,尚无实施 PR) |
How the Workstreams Connect
- 架构与装配: 第 1 项确定 K/H/B 边界,第 7 项通过公开端口装配,第 8 项同步使用与迁移文档。生产端口和联调仍在各自任务中推进。
- 评测、上限与优化: 第 2 项冻结任务和判据,第 3 项给出有依据的上限/差距;第 9、10 项产生优化候选,第 16 项协调同轮多 lane 探索,结论仍来自受控测量。
- 知识与外部对接: 第 4 项改进材料发现与采用,第 5 项接入 MindIE,第 11 项独立评估知识有效性。
- 观察与反馈: 第 6 项提供固定记录与证据导航,第 15 项复盘并反馈,第 13、14 项沉淀模型接入和测试经验;[RFC] Tiered Experiment Artifact Archiving and PR Size Control #464/[RFC] RSI Result Delivery Contract #468 分别补齐归档与交付规范。
Tracking Notes
- 已合入条目按完成统计;后续架构收尾 rfc: K/H/B 与 Apps 公开接口详细设计(最小交接与模块边界) #387/task: A-entry — canonical Apps entrypoints and application composition #408/task: R01 — retire legacy root paths and close core dependencies #412、生产联调 task: Harness evaluation-mode CPU execute for Apps #429/task: Benchmark production prepare and frozen resource closure #430/task: Benchmark production offline assess for Apps #434/task: Retain and seal Apps-delivered context in Harness (T38) #447、task: anchor L1 weight demand against the checkpoint in performance-ceiling-analysis #348 反向交叉链接、宿主生命周期验证及归档工具后续,继续在对应 issue 跟踪。
- 本表 Owner 沿用分工;切片执行与验收以对应 issue 的明确记录为准。task: anchor L1 weight demand against the checkpoint in performance-ceiling-analysis #348 的 accountable / acceptance owner 为 @Dong1017、实现者为 @fake0fan;task: Benchmark production prepare and frozen resource closure #430/task: Benchmark production offline assess for Apps #434 的限定生产端口交付已指派 @Dong1017,不推定整个 S3 模块负责人已变更。
- 第 7 项已有 task: Apps 应用层详细设计与迁移计划(CLI / Python / Plugin) #371,原备注“第 7 项暂无专门 issue”已纠正;第 11 项仍待建。第 8、14、15 项暂由本 issue 汇总,第 6、8、15 项为全员参与。
- 第 16 项根据负责人提出的补充纳入主表,状态已对照 PR feat(harness): 集群 RSI 并行轮协调器 #268 更新。保留编号,避免既有 issue 对第 9–15 项的引用错位。
- task: 改进真实优化任务中的材料发现与使用 #380 新一轮在冻结记录之后,由负责人在 #379 补充报告已开始;截至本次未找到后续结果,不推断当前仍在运行。feat(knowledge): unify search across cases, skills, and records #466 的入口提议与旧短指引试验分别跟踪。
- Dashboard 原任务 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 已关闭,后续在 task: Dashboard 增强:每轮改动说明、动态 workflow 与耗时、测试进度 #345/task: Dashboard 补齐知识检索路径、排序解释与候选证据关联 #406;上一版 roadmap 可在编辑历史中查看。没有更新记录的任务不推断为正在运行,open 不等于进行中,closed 不等于验收 PASS。
- 状态更新于 2026-11-16 19:48(北京时间);这是一次状态快照,后续以链接中的最新决定为准。
Metadata
Metadata
Assignees
Labels
area:processRepo-wide process, governance, privacy and security rulesRepo-wide process, governance, privacy and security rulesbot-reviewedkind:roadmapProgram-level roadmap anchor (Now / Next / Later)Program-level roadmap anchor (Now / Next / Later)
Activity
[-][Roadmap] InferRSI:优化能力、评测闭环与工程化[/-][+][Roadmap] InferRSI: Optimization, Evaluation, and Engineering[/+]agent-ci-infra-bot commentedon Nov 2, 2026
该 Issue 用六个维度/八项工作汇总本轮方向、负责人与跟踪 issue,属于协调型 Roadmap,全文只做「汇总方向与负责人」,没有要求任何代码改动。我已核对 #61/#303/#143/#273/#248/#314/#315/#152/#238 都存在且标题与表格大体对应,但多条跟踪入口与所述范围、当前状态并不一致。Verdict:不需要代码改动(no code change requested);在把本 Issue 当作跟踪入口之前,工作项 2、4、1/5、7 的跟踪与验收位置,以及它与 #61 的从属关系需要先补齐(详见 findings)。Labels: kind:roadmap, area:process(程序级 roadmap 锚点,内容为仓库级协作与治理,不是某项代码交付)
工作项 2 的跟踪条目与所述范围不一致
status:proposed),与「索引/检索的性能与精准度」没有对应内容。Issue 正文已标注「关联待核对」,但表格仍把它当作工作项 2 的跟踪入口。工作项 4 的跟踪条目当前处于中止状态,表格未反映
docs/harness-improvement.md:9-16只把 HarnessPro 列为离线 harness 改进 MVP 的设计来源(trace 驱动诊断与质量/成本选择),并不是 benchmark 交付物。工作项 1、5 指向 RFC,缺少落地任务
kind:rfc,正文自述「No implementation, no measurement and no evidence bundle exists for it」;[RFC] Hardware-aware optimization goals throughout the RSI workflow #143 同为kind:rfc,无 assignee、Decision needed: none、无新评论,主题是「硬件感知的优化目标」,而不是「完善搜索空间并把 torch / torch_npu 纳入覆盖」。Issue 正文说「具体任务继续在相关 issue 中细化」,但没有点名任何落地 issue;src/inferrsi/catalog.py:10的REPO_TYPES仍是 7 个引擎类型,torch/torch_npu只作为 knowledge scope 出现(src/inferrsi/catalog.py:17)。docs/agent-collaboration.md「assignment identifies accountability」不一致。工作项 6 的宿主范围与 #152 冲突且无决策记录
status:proposed。工作项 7 没有跟踪入口、单一 owner 或验收判据
docs/agent-collaboration.md的角色定义无法判定完成或阻塞,也不会产生可验收的产出;「全体成员」等同无人负责。kind:trackingissue 并指定负责人。与 #61 的关系、阶段与子 issue 关系未定义
kind:roadmap,自带 Now/Next/Later、Issue organization 与 related-work 表(其中已含 task: measure whether InferRSI helps Claude Code and Codex optimize inference tasks #248、[RFC] Benchmark selection by task for InferRSI #60、[RFC] Skill Eval v1: revision-scoped discovery and task-efficacy evaluation #40 等),与本 Issue 的八项存在重叠,但本 Issue 未说明两者的权威/从属关系;六个维度也没有阶段或依赖顺序(kind:roadmap的描述是「Program-level roadmap anchor (Now / Next / Later)」)。另外 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314/[Task] 0 Day Model Support: Reusable Integration Experience from Transformers to GPU and NPU Inference Engines #315 只在正文写「Parent issue: [Roadmap] InferRSI: Optimization, Evaluation, and Engineering #316」,GitHub 的sub_issues_summary.total对 [Roadmap] InferRSI: Optimization, Evaluation, and Engineering #316 仍为 0,子关系只存在于文字里。Reviewed commit: 2baebf6
Coverage: Snapshot: 2637 files, 42149780 bytes; skipped 0 entries; Initial model context: 28 files; other accepted files available through tools; Git workspace contains a fixed snapshot, not full upstream history
NumberWan commentedon Nov 11, 2026
Workstreams and Ownership 里还缺集群 RSI 这一项,建议补进主表,不要放进「延续上一版」里。它不是第 9、10 项那种优化目标,而是一轮里让多条 lane 同时改、由 InferRSI 统一量测和记账。
prepare/submit/serve已有;close、incumbent 推进、Claude Code / Codex driver 还没有。不把 M0–M2 当成已验收)请 @david6666666 看要不要加进表里。序号如果要插到现有 1–15 中间,我这边没有偏好。