加微信 huice666 免费进群技术交流
📋 系统概述
但问智能UI自动化测试系统是一个基于多模态大模型与多智能体协作的现代化自动化测试平台，支持图片分析和网页分析，自动生成MidScene.js格式的YAML测试脚本和Playwright测试脚本。
🎯 核心特性
● 多模态AI分析: 支持图片上传和网页URL分析
● 智能测试生成: 自动识别UI元素，生成测试用例
● 多格式脚本输出: 生成MidScene.js兼容的YAML脚本和Playwright脚本
● 实时协作: 多智能体协同工作，实时反馈
● 现代化界面: React + Ant Design + 3D效果
前端架构
技术栈
● 框架: React 18 + TypeScript
● UI库: Ant Design 5.x
● 状态管理: Zustand
● 路由: React Router v6
● 动画: Framer Motion + GSAP
● 3D渲染: Three.js + React Three Fiber
● 图表: ECharts + D3.js
● 构建工具: Vite
后端架构
技术栈
- 框架: FastAPI + Python 3.9+
● 异步: asyncio + aiofiles + httpx
● 智能体: AutoGen Framework
● 数据库: SQLAlchemy + Alembic
● 缓存: Redis + aioredis
● 日志: Loguru
● 监控: Prometheus
智能体架构
1. 图像分析智能体 (ImageAnalyzerAgent)
● 功能: 多模态图像分析，UI元素识别
● 输入: 图片数据 + 测试描述
● 输出: 页面分析结果 + UI元素列表
2. YAML生成智能体 (YAMLGeneratorAgent)
● 功能: 基于分析结果生成MidScene.js YAML脚本
● 输入: 页面分析结果
● 输出: 标准YAML测试脚本
3. Playwright生成智能体 (PlaywrightGeneratorAgent)
● 功能: 生成Playwright TypeScript脚本
● 输入: 页面分析结果
● 输出: Playwright测试脚本
4. 脚本执行智能体 (YAMLExecutorAgent)
● 功能: 执行YAML脚本，管理测试流程
● 输入: YAML脚本 + 执行配置
● 输出: 执行结果 + 测试报告
5. 数据库保存智能体 (ScriptDatabaseSaverAgent)
● 功能: 将生成的脚本保存到数据库
● 输入: 脚本内容 + 元数据
● 输出: 保存确认 + 脚本ID
🔧 关键技术特性
1. 多模态AI集成
● DeepSeek-Chat: 文本理解和生成
● Qwen-VL-Max: 图像理解和分析
● UI-TARS: GUI专用视觉模型
2. 实时通信
● SSE (Server-Sent Events): 实时状态推送
● WebSocket: 双向实时通信
● 事件驱动架构: 异步消息处理
3. 脚本执行引擎
● MidScene.js: YAML脚本执行
● Playwright: 浏览器自动化
● 并发执行: 支持批量并行执行
📊 系统监控与运维
性能监控
● API响应时间: 接口性能监控
● 智能体执行时间: AI处理性能
● 数据库查询性能: SQL优化监控
● 资源使用率: CPU、内存、磁盘监控
日志管理
● 结构化日志: JSON格式日志
● 分级日志: DEBUG/INFO/WARN/ERROR
● 日志轮转: 按时间和大小轮转
● 日志聚合: 集中式日志管理
错误处理
● 异常捕获: 全局异常处理
● 错误重试: 智能重试机制
● 降级策略: 服务降级保护
● 告警通知: 实时错误告警
