大模型突破技术瓶颈，有望加速 AI 场景落地
我们认为，AI 在安防行业商业化落地进程中主要存在两大痛点：第一，传统机器学习模型 精度不足；其次，模型限制成为大数据发展的挑战之一，模型下游应用场景有限。
随着 AI 时代到来，我们看到如下趋势：通过突破技术端瓶颈，或将显著提高模型精度并降 低人工标注成本，拓宽下游应用领域，加速场景落地。具体而言，
（1）图像机器学习+大小 模型协同进化，模型精度将显著提升
（2）大模型有效降低标注成本，助力下游场景日渐 丰富
（3）多模态驱动模型精度提升，音频技术助力智能安防。
1.1. 图像机器学习 +大小模型协同进化，模型精度显著提升
我们认为，图像机器学习+注意力机制将提高精度并降低人工标注成本，通过大小模型协 同进化，拓宽下游应用场景。具体而言：
（1）在图像机器学习+注意力机制赋能下，AI 大模型对于复杂图片和场景的识 别能力有望显著提升，降低人工标注成本，提高大模型自我训练的精度；（2）大模型通过 知识蒸馏、量化等方式，在边侧将其沉淀的知识与推理能力向小模型输出，达到训练小模 型的目的。
（3）小模型向大模型反馈算法和执行成效，帮助大模型迅速收敛。通过上述流 程，将实现大小模型在云边端协同进化。
1.1.1. 图像机器学习+注意力机制实现降本提精，图像交互方式或被颠覆
Clip 模型是 OpenAI 于 2021 年初发布的开源神经网络，在无需人工标注标签的图像识别上 性能卓越，Clip 开源的特点或将加快国内厂商技术追赶图像机器学习进度，为后续机器视 觉大规模商业化打下技术基础。
Clip 带来图像机器学习关键节点，机器视觉大规模商业化时间线可参考 ChatGPT。Clip 技 术突破带来迅速的下游应用渗透，在 Clip 发布两年后，2022 年 11 月、2023 年 3 月 ChatGPT 与 GPT-4 分别发布，图像机器学习使得 AIGC 大规模商业化成为了可能。参考 ChatGPT， 我们认为图像机器学习的技术触角有望延展到机器视觉 2B 应用端：（1）短期：可实现降 低成本、提高精度；（2）中长期：人和图像数据的交互方式或被颠覆。
短期：图像机器学习摆脱人工标注，将降低标注成本、提升识别精度。1) 实现图像的机器 学习将减少 AI 图像视频判断对人工标注的依赖，降低数据成本。2）在识别成本下降的同 时，机器学习将会提升图像标签的识别精度，提升数据挖掘的维度，无法被人眼识别的数 据将得到被挖掘的可能，拓宽下游机器视觉 2B 应用场景。
长期：在摄像头海量数据支持下，AI+安防的交互方式或被颠覆。摄像头作为目前视频、 图像信息的重要接收窗口，在日常生活中具备较高覆盖度，可以从边端侧为 AI 分析提供海 量数据源，是 AI 自我学习视频图像数据的重要抓手。通过机器学习，如今已经实现通过文 字描述查找视频关键帧等应用，随着机器学习技术的进一步迭代，深入挖掘更多图像视频 的视觉信息，我们认为在 AI+安防领域有望创造更多人与深度视觉数据互动的方式，如自 动生成监控视频的文字描述、选择关键片段替代原视频等。
实现不同模态信息提取，意力机制助力图像识别的机器学习。在图像的机器学习中，使用了注意力机制，用于提取图像和文本的特征表示，从而实现图像和文本之间的相似度计 算。模仿人类视觉选择性关注信息、忽略其他可见信息的特点，注意力机制是一种抑制无 用特征、提高对有用特征的关注度的算法。在 2017 年由 Google 提出可以实现注意力机制 的神经网络架构 Transformer 后，注意力机制经过发展，已经可以完成音频、图像、视频、 自然语言等不同模态的数据特征抓取任务，实现了多模态的信息提取，成为 Clip 模型为代 表的图像机器学习的重要基础之一。
注意力机制原理如下：注意力机制共包含三个参数：查询向量（query vector），键向量（key vector），和值向量（values vector），实现注意力机制的核心在于对于给定输入图片，实现 Q、K、V 值的不断重置。以面部识别为例，将图像分割成数个部分，把各模块（眼睛、皮 肤、胡须等）按序编码得到一系列 Q、K、V 向量，依次计算每一部分 Q 向量与所有特征 K 向量（K 向量为所有 Q 向量的集合）的相似度，即注意力权重系数，并将系数与原特征向 量 V（V 在第一次迭代中=K）进行加权求和，重新生成携带关联性信息的该特征向量（V^1）， 例如嘴巴（关联性程度依次为胡须、皮肤等）。
在识别图片过程中，注意力机制不断选出与此次迭代的 V 相关性最高的特征，不断更新 Q、 K、V 直到图像中的所有特征都被识别完毕。例如，在对给定男性肖像图片进行识别时， Transformer 框架将综合重点特征描述，通过多次迭代推导出最终的识别结果：男性。
1.1.2. 大模型+小模型协同进化，在边侧实现模型精度提升
传统机器学习模型精度瓶颈明显，复杂场景识别受限。由于数据量不足、特征提取能力不 足、模型复杂度不足、计算资源有限等问题，传统机器学习模型往往精度有限、难以处理 大规模的数据。当在复杂环境中存在干扰因素时，识别效果往往大打折扣。
例如在工业质检领域，质量检测是制造业生产线中的重要环节，对精度要求尤为严格，通 常为微米级别，在半导体等产业甚至达到纳米级别。以车间加工中心为例，各工序精度要 求基本在 1-10μm 间。传统机器学习模型存在精度不足、成本过高等痛点，应用效果不 佳。
大小模型协同进化实现精度提升，使复杂场景精确识别成为可能。（1）在图像机器学习+ 注意力机制赋能下，大模型对于复杂图片和场景的识别能力将会显著提升，助力模型精度 提高；（2）在算力不足的边侧，通过知识蒸馏等方式实现大模型对小模型的训练；（3）小 模型向大模型反馈算法和执行成效，帮助大模型迅速收敛。通过上述流程，将实现大小模 型在云边端协同进化、实现精度提升。
例如在自动驾驶背景下，车辆需要实时感知周围场景。传统模型下人工标注的信息获取维 度单一，处于运动状态下的车辆可能出现相互遮挡等情况，导致无法精准识别并感知周围 场景。而在机器视觉充分被数据训练后，海量的多维度数据将会被标注，并给予适量权重， 从而使复杂场景的精确识别成为可能。
在大模型监督、训练小模型的过程中，知识蒸馏是主流方法之一。知识蒸馏核心思想是生 成一个复杂的大模型，对于同一数据源，小模型以大模型的输出结果或生成的数据标签为 目标进行训练。
知识蒸馏可实现大模型能力迁移，在边侧等算力不足区域提高模型精度。（1）提升模型精 度：利用已有的更高精度的大模型对小模型进行知识蒸馏，从而得到更高精度的小模型。
（2）降低模型时延，压缩网络参数：通过更高精度的大模型对参数量小、时延低的小模型 进行知识蒸馏，提高该小模型的精度，从而降低时延。
（3）标签之间的域迁移：将两个训 练集不同的模型同时蒸馏，可以得到集合两个模型效果的模型，实现了两个不同域的数据 集的集成和迁移。
以小米的小爱同学智能音响为例，首先在云上基于大规模数据训练 BERT 大模型，然后再 将这个模型作为 teacher 模型，进行模型蒸馏，来训练一个更小的 Albert tiny 模型。最终 得到的小模型可以学习到 Bert 大模型的知识，在效果没有明显下降的情况下，响应时间降 低到 20ms，大幅优化了客户体验。
文章篇幅有限，仅为部分预览
回复暗号：23044394
*免责声明：以上报告均为本公众号通过公开、合法渠道获得，报告版权归原撰写/发布机构所有，如涉侵权，请联系删除；本号报告为推荐阅读，仅供参考学习，不构成投资建议。
短视频（抖音、TikTok、快手、视频号、B站等）、直播电商（短视频直播、直播带货、抖音电商、快手电商、淘宝、天猫、拼多多、双11专题、618专题、跨境电商等）、自媒体（小红书、公众号、知乎、微博、社交媒体、内容营销、小程序等）、跨年演讲、私域营销、数字营销、社交营销、社交媒体、知识地图、人群洞察（Z世代、00后、95后、8090、她报告、他报告、母婴、银发、年轻人）、互联网（移动应用、社区团购、广告投放、大数据、云服务）、新消费洞察、品牌洞察、人工智能、ChatGPT、Web3.0、物联网、AR、VR、元宇宙、新国货、新国潮、宠物、出行、电子3C数码、房地产行业、服务业、个护家清、户外运动、婚恋婚庆、家居家装、家具家电、健身、教育、快消零售、旅游、民宿、酒店、露营、美妆护肤、母婴、配饰、新能源汽车、日化、生鲜、时尚奢侈、食品饮料（食品、餐饮、新茶饮、酒水、儿童辅食、方便速食、烘焙、咖啡冲饮、零食、奶制品、乳制品、水产肉类、饮品饮料、预制菜等）、文化娱乐、物流配送、鞋服、康养、健康、医疗、职业职场、人才薪酬、就业招聘、创业、工业观察、工业制造、经济观察、企业观察、社会生活城市、市场观察、碳中和、下沉市场、智能制造、政策解读、半导体、能源等。