背景介绍
随着Qoder产品家族规模扩大及用户量增长,用户反馈量持续攀升。此前反馈处理完全依赖人工:运营需从渠道导出Excel数据,经清洗分类后录入系统,研发再人工分析日志定位问题。
该流程存在明显瓶颈:运营陷于重复的问题录入与分派工作,研发人工分析单个问题耗时超30分钟。反馈量激增导致大量积压,亟需突破人力限制。
核心目标明确:构建7×24小时无人值守用户反馈自动处理系统,实现从反馈提交到问题分类、聚类、日志分析乃至代码修复的全流程自动化,仅需人工终审Code Review。
产品方案
新设计的issue处理后台包含四大核心模块,形成端到端处理流水线:
问题分类:自动过滤无效数据,将有效反馈分为产品建议与缺陷反馈,并细化缺陷业务领域。取代人工分类录入环节。
问题聚类:对相似问题智能聚合,避免同一缺陷的多条反馈重复处理,提升分析效率。
日志分析:针对深度缺陷,结合代码库自动分析日志、还原用户操作路径、定位根因并生成修复建议,消除人工日志排查环节。
自动修复:对高置信度问题自动生成修复代码并创建Code Review,人工仅需最终评审。
人机协作边界清晰:分类、聚类、分析环节完全自动化;代码修复由系统执行,人工把控质量关。系统负责吞吐量,人聚焦质量验证。
技术实现
为什么选Qoder CLI
整套AI能力层基于Qoder CLI构建,核心优势在于:
适配7×24小时持续运行场景,进程隔离与并发处理能力突出
封装工具调用、上下文管理等基础设施代码,无需自行开发重试逻辑
环境准备
服务端Dockerfile中添加安装指令:
RUN curl -fsSL https://qoder.com/install | bash
将https://qoder.com/account/integrations获取的Access Token配置至环境变量QODER_PERSONAL_ACCESS_TOKEN,即可通过子进程调用。核心参数包括:
--yolo:自动确认模式--model:按需选用经济型/性能型模型--output-format=json:结构化输出--worktree:隔离多任务工作区--max-turns:限制处理轮次防无限循环
问题分类
Qoder CLI执行四步处理:
过滤无效反馈
区分产品建议与缺陷反馈
验证缺陷有效性
细化缺陷业务类别
此环节选用经济型模型(Effective),显著降低处理成本。
问题聚类
基于分类结果进行语义级聚类,优于传统文本匹配:
调用Auto模型多模态能力,综合分析用户描述、截图及环境信息
动态时间窗口淘汰旧问题,结合衰减系数提升聚类精准度
通过置信度阈值动态调优聚类效果,支持人工抽样复核
日志分析与根因定位
启用性能模型执行深度分析:
智能使用grep等工具精准定位日志,规避全量读取导致的性能下降
自主调用web_search验证问题普遍性
任务结束生成
task-retro.md复盘报告,驱动Skill迭代优化
形成"诊断-修复-复盘"闭环,赋予系统自我进化能力,持续优化Harness Engineering效率。
自动修复
根据AI输出的修复置信度动态触发流程:
高置信度问题自动创建修复代码及Code Review
依赖
--worktree实现多任务并行修复通过
--max-turns 80及timeout 1800双重控制成本上限
问题修复流水线通过Skill体系串联执行:
系统自身的运维闭环
建立任务失败自愈机制:
通过
qodercli -p "任务修复指令"触发自动诊断devops Skill预置日志获取、错误模式及部署逻辑
实施机械化质量验证管道,保障修复质量
模型选用经验:
复杂任务必用强模型:根因分析等深度推理任务使用SOTA模型可避免无效尝试
简单任务适配轻量模型:分类聚类等基础任务经济型模型更快更准
实践形成按环节匹配模型策略:分类聚类→经济型,日志分析→性能型,代码修复→极致型。
实际效果
系统实现质效飞跃:
单问题根因定位时间从30分钟缩短至2分钟
7×24小时无间断运行,彻底释放运营的人工分类及研发的日志分析工作量
通过持续Self-retro机制,系统在运行中不断优化Skill,形成正向进化循环
该实践为Harness Engineering场景提供可复用的自动反馈处理范式,助力企业构建自成长的技术闭环。

