技术与标准丨基于用户体验的移动网络质量评测体系研究

∗ 基金项目：国家科技重大专项项目（No.2018ZX03001029）资助

基于用户体验的移动网络质量评测体系研究*

张儒源   闫旭鹏   胡博然

（中国信息通信研究院泰尔系统实验室，北京 100191）

摘要：移动网络是信息社会的基础设施，需要确保其网络质量稳定高效。传统的网络质量评测普遍关注于网络覆盖率、吞吐量等宏观性能指标，然而众多实例表明这些网络侧性能指标的优越往往不代表良好的用户体验。亟需从用户侧日常业务体验出发，研究基于用户体验的移动网络质量评测体系。分析梳理了评测体系下涵盖的各类典型评测业务及其关键指标，并以此建立了网络质量综合评分模型。

关键词：移动网络；用户体验；网络质量评测

1   引言

起步于2G/3G时代，繁荣于4G时代，移动互联网如今正飞速迈入5G时代。随着各类APP应用层出不穷，移动互联网已渗透到普通群众日常生活的方方面面。中国互联网络信息中心在《第44次中国互联网络发展状况统计报告》^[1]中指出：截至2019年6月，我国手机网民规模达8.47亿，网民使用手机上网的比例达99.1%。与5年前相比，移动宽带平均下载速率提升约6倍，手机上网流量资费水平降幅超90%。用户月均使用移动流量达7.2 GB，为全球平均水平的1.2倍。移动互联网在重塑人们生活方式的同时，也在潜移默化地改变着人们的思维和行为习惯，用户体验满意度已成为衡量网络质量优劣的最重要指标。

为了保证移动网络质量的稳定高效,需要建立完善的、相应的网络质量评测体系，并定期组织开展专项评测。从政府监管角度，需要一种有效手段把控网络质量整体动向，不断督促电信运营商持续优化网络；从人民群众角度，群众对网络质量及用户体验的要求和关注度越来越高，但缺乏专业权威渠道获取相关评测信息；从运营商需求角度，在国内携号转网和提速降费等相关政策指引下，运营商的关注重点正逐渐过渡到比拼更为优质可靠的网络服务。

目前，移动网络质量评测主要由电信运营商在自身网络维护优化过程中从网络侧开展，评测方案普遍关注于网络覆盖率、信号强度、吞吐量等宏观性能指标。然而，大量现实案例和统计数据表明，优越的网络侧性能指标往往不代表良好的用户体验，亟需从用户侧日常业务体验出发，研究基于用户体验的移动网络质量评测体系。

2   国内外研究现状

目前，国际上有多家专业移动网络质量评测机构，比较知名的有欧洲的P3 Communication以及IHS Market旗下的RootMetrics。以P3为例，其专注于开展在业内称之为公共基准比对评测（Public Benchmark）业务，该项评测从用户日常业务体验出发制定完善的评测方案，定期对某个国家或地区范围内多家电信运营商的移动网络质量进行综合评分和比对排名。同时，P3还与欧洲最权威的电信和IT杂志《Connect》建立战略合作关系，将评测排名结果定期在该杂志面向公众发布。由于其巨大的影响力，国外电信运营商对P3的排名结果高度重视，将其作为年度绩效考核的重要指标，这一排名也成为了电信运营商不断进行网络优化、提升服务质量的驱动力。国内方面，2017年上海市政府牵头，以用户话音和数据业务为主对市内部分场所的移动网络质量进行了初步评估并发布《上海市移动通信用户感知度测评报告》^[2]，取得了不错的示范效果。受工业和信息化部指导和委托，自2019年起中国泰尔实验室定期在全国范围内开展基于用户体验的网络质量专项评测，评测结果面向公众发布，获得了良好的社会反响。

国际上也在积极开展基于用户体验的网络质量评测相关标准化工作。国际电联电信标准化部门（I-TUT）的主要研究工作归口于SG12研究组（性能、服务质量和体验质量），相关标准中介绍了典型业务评测指标和评测方法^[3-4]；欧洲电信标准化协会（ETSI）发布的《ETSI TR 103559 V1.1.1》^[5]技术报告中介绍了网络质量基准比对评测和综合评分的相关研究。国内方面，中国泰尔实验室已在中国通信标准化协会立项并积极开展研究工作，借鉴国外先进经验的同时结合国内移动用户的使用习惯，逐步建立符合我国通信行业发展需要的移动网络质量评测体系。

3   典型业务应用及评测指标

为客观评估移动网络质量，真实反映用户体验，评测体系需从用户使用习惯出发，涵盖用户日常各类业务应用。同时，为方便量化分析，需进一步提炼出各类业务的关键指标。图1为评测体系下各类典型业务。

图1   评测体系下各类典型业务

3.1   话音业务

指由运营商提供的端到端语音通话业务，既包含2G/3G的电路域通话，也包含4G VoLTE的分组域通话，但不包含诸如Skype之类的网络通话。话音业务的大致流程为一端发送请求，建立连接，保持通话，结束通话。其中，与用户体验相关的关键指标包括：接通率，指用户正常发起语音呼叫直至成功建立通话连接的概率；掉话率，指用户在成功建立通话连接后由于各种网络原因通话意外中断的概率；话音质量，一般用MOS值体现，反映用户通话体验的直观感受，通常5分代表理想状态，1分代表质量恶化到难以忍受；呼叫建立时间，指从用户端发起呼叫请求至接收到通话成功建立的反馈信息两者间的等待时长。

3.2   数据业务

随着移动互联网产业的蓬勃发展和提速降费一系列政策的指引，数据业务异军突起。数据业务涵盖的范畴较广，通常选用网页浏览、FTP/HTTP文件上传下载、软件测速等典型应用进行评测。其中，与用户体验相关的关键指标包括：网页访问成功率，指用户通过终端浏览器与网站服务器建立连接，并在规定时间内下载完成指定大小数据包或全部数据的概率；网页首屏响应时间，指从用户发出获取网站数据请求至接收到该网站返回的数据能够占满用户终端屏幕的等待时长；文件上传/下载成功率，指用户通过FTP、HTTP等方式与远端服务器建立连接，在规定时间内完成指定大小文件上传/下载的概率；上传/下载文件耗时，指从用户端发起连接请求至上传/下载完成指定大小文件的所用时间；上传/下载速率，指用户与远端服务器建立连接后，在规定统计时间内上传/下载的数据总量与统计时间之比，其单位为Mbit/s，也可用主流测速软件完成此指标的评测。

3.3   视频业务

视频业务大致可分为点播和直播视频两类。考虑到点播视频能够在网络质量好的环境下提前加载缓存，建议评测时选用直播视频。其中，与用户体验相关的关键指标包括：视频播放成功率，指视频连接成功建立并持续播放规定时长的概率；首帧响应时间，指从用户发起视频播放请求到评测终端首次出现视频影像的等待时间；卡顿次数，指在规定时间内，视频播放过程中出现的卡顿等待缓冲的次数；视频播放质量，一般用VMOS值表示，反映视频播放过程中用户的直观感受，是视频清晰度、卡顿、分辨率、抖动延时等因素的综合度量，通常5分代表理想状态，1分代表质量恶化到难以忍受。

3.4   其他典型业务

移动互联网业务层出不穷，渗透到用户生活的方方面面。例如，即时通信类应用（国内的微信、国外的WhatsApp），在线游戏（王者荣耀、和平精英）等对操作响应速度、卡顿、丢包、延时等指标比较敏感。未来5G的各类典型应用场景也对评测指标提出了新的要求，例如海量并发连接数、高可靠性、低时延等关键性能指标。评测体系需要根据实际网络环境和用户使用习惯的改变不断做出相应调整。

4   评测数据加权模型

各指标的原始评测数据其单位各不相同，有百分比、MOS值、时间单位（s）、速率单位（Mbit/s）等。在进行加权合成和综合评分前，需要分别建立映射函数，将各项指标的测试结果转化为统一尺度下的分值，一般是5分制或百分制。映射函数可以是线性函数，也可以是非线性函数或分段映射函数，需要结合评测指标自身特性和评测需求进行合理选择。例如，我国相关通信行业标准^[6]中对网页首屏响应时间这一关键指标定义的映射函数为：

其中，首屏响应时间在0.1 s内，被认为是理想业务体验，获得满分5分；在0.1 s ~ 30 s范围内，业务体验满意度随时间增加而下降，得分也逐渐下降；超出30s后，被认为其业务体验完全无法接受，得分归零。

在对各指标统计结果的尺度进行统一后，需要对各项统计数据进行加权合成，以得到网络质量的整体评分结果。权值的设置直接影响到最终的综合评分，需要结合实际慎重考虑。可参照图2的方式，建立评测场景、评测业务、评测指标的三级加权体系。

根据评测场景划分第一级权值，∑Pn=1。对于网络质量的整体评测首先需要划分不同场景。不同场景下，用户使用习惯不同，相应的评测业务及其权值也会不同。例如，对一个国家整体网络质量的评测可分为中心城市、一般规模城市、乡村、道路，并为每个场景设计不同的评测方案；即使小到对某个具体场馆的评测，也可依据其功能区域划分不同评测场景。

根据评测业务划分第二级权值，∑Qm=1。根据当前场景下用户的使用习惯合理配置不同的业务占比。例如，对于城市中心区域和乡村两个场景，前者的数据业务占比应适当高于后者。

根据评测指标划分第三级权值，∑Wk=1。不同的评测业务背后由各项关键评测指标来支撑，例如话音业务，其评测指标包括掉话率、接通率、等待时间、话音质量等。为推广普及VoLTE提升话音质量，可适当提高话音质量的权值占比。

将各评测指标的单项得分按照图2中的三级体系自下而上逐级加权，最终即可得到反映整体网络质量的综合得分，如公式所示。其中，Vk为对应测试项的统计平均值按照函数映射后给出的单项评分。

图2   综合评分模型的三级加权体系

5   结束语

从用户侧真实业务出发，开展基于用户体验的移动网络质量评测体系研究，具有重要的社会和经济效益。目前，中国泰尔实验室已在中国通信标准化协会立项，积极开展移动网络质量评测体系的标准化研究工作，也欢迎各方专家一起加入到相关研究中。为保证移动网络质量的稳定高效，在结合评测体系研究的基础上，需定期开展移动网络质量专项评测。

2019年下半年，为配合工业和信息化部专项行动“深入推进宽带网络提速降费、支撑经济高质量发展”，切实推动移动网络质量提升，不断改善用户体验，中国泰尔实验室在工业和信息化部指导和委托下组织专业评测团队在全国范围内首次开展基于用户体验的移动网络质量专项评测。评测场景涵盖全国十大高铁站、北京市十大高校、上海市十大地铁线路和广州市十大医院，获得了良好的示范效果和社会反响。后续，此专项评测将在工业和信息化部的支持下逐步定期化、常态化。

参考文献

[1] 中国互联网络信息中心. 第44次中国互联网络发展状况统计报告[R], 2019.

[2] 中国社会科学院, 上海市人民政府上海研究院, 电信科学技术第一研究所. 上海市移动通信用户感知度测评报告[R], 2017.

[3] ITU-T P.863. Perceptual objective listening quality prediction[S], 2019.

[4] ITU-T J.341. Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference[S], 2019.

[5] ETSI TR 103 559 V1. 1. 1, Speech and multimedia Transmission Quality(STQ). Best practices for robust network QoS benchmark testing and scoring[R], 2019.

[6] YD-T 3341-2018. 宽带互联网业务体验网络评分计算方法网页/视频/ 测速业务[S], 2019.

Research on quality evaluation system of mobile network based on user experience

ZHANG Ruyuan, YAN Xupeng, HU Boran

（CTTL System Laboratory, China Academy ofInformation and Communications Technology, Beijng 100191, China）

Abstract: As the key infrastructure of information society, it is critical to ensure the stability and efficiency of mobile network. In traditional quality evaluation systems, the macro performance indexes such as coverage and throughput are always been evaluated, which could not reflect the real user experience in many cases. It is significant to study the new quality evaluation system based on user experience from the user side. This paper organizes the typical applications and their key indexes of quality evaluation system, and establishes the comprehensive scoring model.

Key words: mobile network; user experience; network quality evaluation system

本文刊于《信息通信技术与政策》2020年第8期

主办：中国信息通信研究院

🔷 专家论坛     

🔷 专题            

🔷 产业与政策

🔷 技术与标准

ictp@caict.ac.cn（投稿邮箱）

 010-62300192（联系电话）