Skip to content

[Roadmap] InferRSI: Optimization, Evaluation, and Engineering #316

Open
2 of 2 issues completed
Open

Description

@david6666666

Goal

按当前分工跟踪 InferRSI 的 9 个主要工作项,覆盖架构重构、评测、性能上限、知识检索、外部 Agent 对接、可观测性、应用层、文档与集群 RSI;另有 7 项延续自上一版 roadmap。保留原有 1–15 编号,新增集群 RSI 为第 16 项并列入主表。

本 issue 汇总分工、交付进展和剩余事项;整体方向参见 #61,模型优化专项参见 #416。具体范围与交付内容以对应 issue / PR 为准。本 roadmap 以 PR 合入作为完成标准,无需等待跟踪 issue 关闭;后续增量工作单独跟踪。

Workstreams and Ownership

状态图例: ✅ 已完成(PR 已合入) · 🚧 进行中(PR 待合入) · 📋 待开展 / 待决策 · ⚪ 已关闭。

# 工作项 范围与关注点 Owner Tracking issue 状态
1 Knowledge / Harness / Benchmark 三模块目标架构重构 按 #362 拆分 K/H/B 与 Apps,明确依赖方向、公开接口(read/collect、prepare、execute、assess)及迁移边界。Workbench 已更名为 Harness。 @Dong1017 #362;接口 #387;迁移 #407–#414、#451 ✅ 已完成(K01/K02/H02/B01/OBS/S01 迁移及共享 contracts/resources 已合入;PR #453/#458/#459)
2 Benchmark 评价和对比实验 建设可复用工程优化任务、正确性依据与测量规则;比较系统、模型及知识条件下的优化效果、可靠性与成本。 @Bounty-hunter #336、#337;相关 #248 ✅ 已完成(PR #338 已合入)
3 上限估计 L1 权重需求锚定 checkpoint;模型级 SOL 与 distance-to-bound;用户目标优先,缺项才由上限分析辅助推导。 @fake0fan @amy-why-3459 #348;相关 #303、#385、#399 ✅ 已完成(PR #351/#400 已合入);🚧 模型级 SOL PR #386 待合入
4 搜索域搜索(Skill Indexer) 改进材料发现、排序、上下文送达与采用;与 rg 对照,并关联逐轮证据。 @jiaran-king #379(总跟踪)、#380(核心实验);#370、#344 ✅ 已完成(PR #384 已合入,#370 两组对照已交付);🚧 统一入口 PR #466 待合入
5 MindIE-agent 对接 将 MindIE 知识读取、来源留存与候选证据交接接入 InferRSI,并完成 Apps 归位及真实任务验证。 @jiangkuaixue123 #374;迁移 #452 ✅ 已完成(PR #393 已合入);📋 Apps 迁移 #452 待实施
6 Dashboard 优化 展示逐轮改动、性能曲线、事件/耗时、测试进度及知识检索到候选/run 的证据导航;缺失观测保持未知。 All contributors #345;相关 #392、#406、#413 ✅ 已完成(PR #405/#428/#450 已合入)
7 apps 重构 CLI / Python / Plugin 通过 K/H/B 公开接口装配流程,保留固定记录、错误与恢复语义。 @zengchuang-hw #371;#408、#412;相关 #362、#152 ✅ 已完成(PR #461/#465/#469 等已合入);🚧 wheel 修复 PR #470 待合入
8 docs 优化 随模块迁移同步操作说明、接口/迁移文档、发布说明与结果交付入口。 All contributors 在本 issue 跟踪;相关 #371、#387、#443 ✅ 已完成(PR #391/#395/#445 及迁移配套文档已合入)
16 集群 RSI(parallel round) 一轮冻结多条正交 lane,从同一 incumbent 隔离改动;统一设备协调、AB/BA 测量与 ledger,保留失败尝试。 @NumberWan #249;实现切片 PR #268 🚧 进行中(PR #268 待合入)

延续上一版 roadmap 的工作项

以下各项保留原编号与负责人;已关闭的事项保留其实际验收边界。

# 工作项 范围与关注点 Owner Tracking issue 状态
9 Kernel 性能优化 以上限估计(第 3 项)的差距为依据,做瓶颈诊断与 kernel 优化。 @fake0fan #303 📋 待开展(#303 提案,暂无对应实施 PR)
10 引擎侧搜索空间优化 完善搜索空间与硬件感知目标,覆盖扩展到 torch / torch_npu。 @amy-why-3459 #143;目标准备切片 #399 ✅ 已完成(PR #167/#400 已合入);📋 torch / torch_npu 覆盖扩展待开展
11 知识有效性评估 评估知识是否正确、是否对优化任务有用;区别于检索效率、命中与采用记录。 @Dong1017 待建(原关联 #273 已关闭且主题不符) 📋 待开展(待建专门跟踪 issue)
12 Agent 插件与发布 按 #152 当前范围对齐 Codex / DSH / openJiuwen(WorkSwarm) 的集成、生命周期与自动发布。 @zengchuang-hw #152;release bot #238;版本 #443 ✅ 已完成(PR #239/#327/#361 已合入,v0.2.0 已发布)
13 0 Day 模型支持 沿 Transformers → GPU 推理引擎 → NPU 推理引擎 沉淀接入、验证与优化经验。 @amy-why-3459 #315 ⚪ 已关闭(#315,completed)
14 测试经验收集 收集用例、问题与解决经验,沉淀可复用测试知识。 @yenuo26 在本 issue 跟踪 📋 待开展(在本 issue 跟踪)
15 人工 trace 审查与框架反馈 审查优化 trace,把低收益、失败与证据缺口反馈到框架、知识库和搜索策略。 All contributors 在本 issue 跟踪,使用第 6 项能力 📋 待开展(人工复盘与反馈;展示能力见第 6 项)

近期新增的跨工作项议题

以下补充现有工作项的依赖与后续范围,不新增未经确认的负责人或排期。

议题 关联工作项 状态
分层归档与 PR 体积控制 #464 8、14、15 ✅ 已完成(试点 PR #435/#394 已合入);📋 共享 manifest、读取器及工具/模板待交付
RSI 结果交付契约 #468 6、7、8 📋 待决策(RFC Proposed,尚无实施 PR)
服务复用与多场景优化 #467 2、7、16 📋 待决策(Proposed,尚无实施 PR)
可解释改进与测量有效性 #454/#455 2、3、6、14 🚧 进行中(范围已附条件接受;PR #457/#456 待合入)
Agent 工作方法改进与跨任务经验复用 #460 4、11、15 📋 待决策(RFC Proposed,尚无实施 PR)

How the Workstreams Connect

  • 架构与装配: 第 1 项确定 K/H/B 边界,第 7 项通过公开端口装配,第 8 项同步使用与迁移文档。生产端口和联调仍在各自任务中推进。
  • 评测、上限与优化: 第 2 项冻结任务和判据,第 3 项给出有依据的上限/差距;第 9、10 项产生优化候选,第 16 项协调同轮多 lane 探索,结论仍来自受控测量。
  • 知识与外部对接: 第 4 项改进材料发现与采用,第 5 项接入 MindIE,第 11 项独立评估知识有效性。
  • 观察与反馈: 第 6 项提供固定记录与证据导航,第 15 项复盘并反馈,第 13、14 项沉淀模型接入和测试经验;[RFC] Tiered Experiment Artifact Archiving and PR Size Control #464/[RFC] RSI Result Delivery Contract #468 分别补齐归档与交付规范。

Tracking Notes

Activity

  1. changed the title [-][Roadmap] InferRSI:优化能力、评测闭环与工程化[/-] [+][Roadmap] InferRSI: Optimization, Evaluation, and Engineering[/+] on Nov 2, 2026
  2. agent-ci-infra-bot commented on Nov 2, 2026

    @agent-ci-infra-bot

    该 Issue 用六个维度/八项工作汇总本轮方向、负责人与跟踪 issue,属于协调型 Roadmap,全文只做「汇总方向与负责人」,没有要求任何代码改动。我已核对 #61/#303/#143/#273/#248/#314/#315/#152/#238 都存在且标题与表格大体对应,但多条跟踪入口与所述范围、当前状态并不一致。Verdict:不需要代码改动(no code change requested);在把本 Issue 当作跟踪入口之前,工作项 2、4、1/5、7 的跟踪与验收位置,以及它与 #61 的从属关系需要先补齐(详见 findings)。Labels: kind:roadmap, area:process(程序级 roadmap 锚点,内容为仓库级协作与治理,不是某项代码交付)

    工作项 2 的跟踪条目与所述范围不一致


    工作项 4 的跟踪条目当前处于中止状态,表格未反映


    工作项 1、5 指向 RFC,缺少落地任务


    工作项 6 的宿主范围与 #152 冲突且无决策记录


    工作项 7 没有跟踪入口、单一 owner 或验收判据

    • Where: 表格「Trace 人工复盘与框架反馈 … 负责人 全体成员(All people) … 本 issue 跟踪,结合 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 Trace 能力」
    • Problem: 该行只有方向(复盘低收益任务并把结论反馈到框架/知识/搜索策略),没有跟踪 issue、没有单一 accountable 人、没有完成判据或复盘节奏(样本量、频率、反馈落到哪个 backlog)。
    • Conditions: 需要判断该工作是否完成、是否阻塞时。
    • Impact: 按 docs/agent-collaboration.md 的角色定义无法判定完成或阻塞,也不会产生可验收的产出;「全体成员」等同无人负责。
    • Fix: 在 [Task] RSI Dashboard: Optimization Workflow Visualization and Trace Capture #314 的 Trace 能力就绪后,写明复盘节奏、样本量与反馈去向,或单独建一个 kind:tracking issue 并指定负责人。

    与 #61 的关系、阶段与子 issue 关系未定义

    Reviewed commit: 2baebf6
    Coverage: Snapshot: 2637 files, 42149780 bytes; skipped 0 entries; Initial model context: 28 files; other accepted files available through tools; Git workspace contains a fixed snapshot, not full upstream history

  3. pinned this issue on Nov 2, 2026
  4. NumberWan commented on Nov 11, 2026

    @NumberWan

    Workstreams and Ownership 里还缺集群 RSI 这一项,建议补进主表,不要放进「延续上一版」里。它不是第 9、10 项那种优化目标,而是一轮里让多条 lane 同时改、由 InferRSI 统一量测和记账。

    # 工作项 范围与关注点 Owner Tracking issue 状态
    16 集群 RSI(parallel round) 一轮冻结多条正交 lane,每条只改自己的文件和一个平面(harness / model / infra)。InferRSI 从 incumbent 分出目录,排队拿设备锁,用现有 AB/BA 跟 incumbent 比;agent 自报的时间不算数。赢的、输的都写入 ledger。 @NumberWan #249;实现切片 PR #268 进行中(#249 / PR #268。prepare / submit / serve 已有;close、incumbent 推进、Claude Code / Codex driver 还没有。不把 M0–M2 当成已验收)

    请 @david6666666 看要不要加进表里。序号如果要插到现有 1–15 中间,我这边没有偏好。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:processRepo-wide process, governance, privacy and security rulesbot-reviewedkind:roadmapProgram-level roadmap anchor (Now / Next / Later)

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions