要让 Claude Code 或 Codex 高效处理重复性任务，编写详尽的 Skill（技能手册）是关键。然而，手动梳理工作流程并持续优化门槛较高。为此，Codex 推出了「Record & Replay」插件，Anthropic 也在 Claude Cowork 中上线了类似的「Record a skill」功能，确立了通过录屏教 AI 学习技能的技术路径。
近日，微软将这一思路封装为桌面工具Skill Recorder并正式开源。该工具允许用户通过录屏演示操作，自动生成可复用的 Skill 或定时执行的 Automation（自动化流程）。
核心功能：从录屏到智能体执行
Skill Recorder 的工作流程简洁高效：点击录制后，用户在电脑上完成一次重复性任务，期间可开启麦克风口述操作逻辑。录制结束后，点击「分析」按钮，云端 AI 会将视频内容整理为明确的「意图」和「有序步骤」。
用户可对生成的步骤进行人工校验与修正，确认无误后即可一键生成 Skill 供 Agent 直接调用，或设置为基于时间、事件触发的 Automation，适用于日报整理、表单提交等场景。
技术优势：超越传统 RPA 的泛化能力
虽然流程看似与传统 RPA（机器人流程自动化）相似，但二者本质不同。RPA 依赖固定的鼠标坐标和 UI 元素定位，界面微调即可导致流程失效。而 Skill Recorder 侧重于理解用户意图，并将操作转化为 gh CLI、web_fetch 等 Agent 原生工具指令。
这种机制实现了从“单个操作”到“一类能力”的泛化。例如，录制一次表单提交后，Agent 即具备处理所有同类表单的能力，展现出更强的适应性与智能化水平。
隐私安全与部署方式
针对录屏工具的隐私顾虑，微软在官方文档中明确：录制、存储、画面提取及语音转写均在本地完成。仅当用户点击「分析」时，事件时间线、截图和旁白文本才会发送至云端 AI 处理。其中，语音转写采用本地运行的 Whisper 模型，支持 99 种语言。尽管如此，录制时仍建议避免展示密码、API Key 等敏感信息。
目前该工具主要支持 macOS，同时也提供 Windows 11 和 Linux 的安装方案。用户需授予录屏权限，并使用具备 Copilot 权限的 GitHub 账号进行分析功能。项目采用 MIT 协议开源，虽处于早期迭代阶段，但更新迅速，用户可通过 GitHub Issue 反馈问题。
commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash行业展望
近期各大 AI 巨头纷纷布局“教会 Agent 干活”的功能，标志着大模型已从单纯的内容生成转向实际任务执行。相比于编写高门槛的 SKILL.md 文档，录屏演示大幅降低了技能沉淀的难度，如同为新员工进行现场实操培训般高效。
微软开源 Skill Recorder 将进一步推动该领域发展，预计未来将有更多 Agent 工具跟进此类功能，让 AI 真正成为日常工作的得力助手。
GitHub 项目地址：https://github.com/microsoft/skill-recorder