物联网终端评测体系发展研究

谢金凤，严涵琦，邓炳光，张炎

专题：移动通信（5G）测试

物联网终端评测体系发展研究

谢金凤1，严涵琦1，邓炳光2，张炎1

（1. 重庆信息通信研究院，重庆 401336；2. 重庆邮电大学，重庆 400065）

针对物联网（internet of things，IoT）技术大规模商用，现有终端评测体系无法满足海量、多种类、多形态的物联网终端评测新需求的问题，开展面向物联网终端的评测体系发展研究，从基础性、应用性、安全性3个维度并结合测试手段的发展趋势，提出物联网终端评测体系方法，以促进物联网终端质量提升，保障终端和网络良好的互通性，提升端到端业务质量。

物联网；物联网终端；测试工具；评测体系

1 引言

随着全球城市智能化管理、制造业信息化与智能化、终端融合化趋势的加快推进，大数据、云计算、人工智能、5G等新一代移动通信技术等核心关键技术的持续演进，物联网规模化应用加速，全球物联网产业正以碎片化、孤立化应用为主的起步阶段迈入“重点聚焦、跨界融合、集成创新”的新阶段，行业渗透率持续提高，全球物联网终端设备连接数保持强劲增势。GSMA发布的《2020年移动经济》报告显示，预计到2025年，全球物联网总连接数规模将达246亿，年复合增长率高达13%。

物联网终端作为面向应用底层的基础设施，是各类智能应用的基础，必须保证联网设备的稳定可靠，所采集的数据真实有效。随着新型网络和物联网的快速发展，对物联网终端尤其智慧城市典型应用物联网关键终端设备评测的需求与日俱增。面向海量、多种类、多协议的物联网终端的特性，终端评测行业也向多功能、自动化、智能化方向迅速发展，我国现有评测系统评测能力暂不能完全满足评测需求，需从终端兼容性、标准一致性、可靠性、安全性等方面，开展研究及能力建设，形成较为完整先进的评测体系，从而支撑物联网终端的研发、制造及应用的成熟。

2 物联网终端发展趋势

物联网终端由于应用领域广泛，应用场景复杂，形态类型也多种多样。随着物联网技术和微电子技术的发展，物联网终端在相同功能范围内向更加小型、轻量化的方向发展，在相同体积范围内向功能更多、功耗更低、性能更高的方向发展。物联网更加开放，促使终端融入更加智能化的算法，不同物联网终端设备之间的协作逐渐成为常态，物联网终端逐步呈现小型化、低功耗、多传感融合以及智能化处理等发展趋势。

依据GSMA发布的《物联网终端（IoT）安全指南》，将物联网终端定义为“一种物理计算设备，作为连接至物联网产品或服务一部分执行功能或任务”，并按计算能力和功能类型，分为轻型终端、复杂终端、网关型终端3类。另外，按照终端是否有操作系统，又可划分为含操作系统的终端和无操作系统的终端。

（1）轻型终端

轻型终端通常是传感器或简单的物理设备（如智能门锁、可穿戴设备、传感器终端等），可以为物联网服务系统或消费者提供数据。通常采用成本较低的处理单元，使用短距离个人局域网或窄带蜂窝网络进行连接（例如ZigBee、NB-IoT、LoRa、eMTC等）。轻型终端功率往往较低，通常通过物联网服务网关和用户端设备网关连接至后台服务系统。

（2）复杂终端

复杂终端通过蜂窝等长距离通信链路或Wi-Fi、以太网经用户端设备网关持续连接至后端服务器。通常内置基本处理器，能够运行更稳定的处理单元（例如智能家用电器、工业控制系统、网联汽车跟踪和监测设备等）。

（3）网关型终端

网关型终端通常连接专用电源，管理轻型终端及其驱动后端系统之间的通信。网关用于管理长距离通信链路（例如蜂窝、卫星、固定线路、光纤或以太网）。物联网网关的主要功能是为轻型终端传输信息，同样也具有发现设备、部署网络驱动、管理功能等功能。

（4）含操作系统终端

具有操作系统的终端（如RFID读写器、摄像头、具有读卡功能的智能手机等），通常具有较强的安全功能。

（5）无操作系统终端

不具有操作系统的感知终端集成有采集和/或指令执行功能模块、中央处理功能模块和网络通信功能模块，这类感知终端通常安全功能有限，但为攻击者提供的攻击途径也有限。

3 物联网终端评测需求与挑战

随着物联网技术的大规模商用，物联网终端设备呈现种类繁多、大小形式功能不一、网络连接方式多样化等特性，如短距离、自组织、蜂窝等。物联网终端从周围物质世界获取的数据具有多源异构性、海量性、多粒度、多维度等特点。同时，物联网终端的能力正逐步向云化管理、统一决策、控制执行、终端间协同等方面转变。物联网终端的发展趋势，对物联网终端性能的测试评估方法提出了新的需求，主要体现在3个方面，包括基于模拟场景的物联网终端评测需求、多制式复杂网络融合评测需求、物联网终端的安全可靠性评测需求。

3.1 基于模拟场景的物联网终端评测需求

物联网终端在实际部署环境的性能表现是使用者较为关注的，目前实验室测试还不能提供相应的测试解决方案，主要问题在于物联网终端实际部署环境的信道模型较为复杂，体现在：物联网应用场景多，不同场景采用的通信技术和传播环境各不同；物联网应用场景终端呈现超大规模、多元异构特点；物联网终端种类多、极致成本和对效率的诉求。

为适应物联网终端新的评测需求，需面向物联网应用场景多样化、复杂化，物联网终端超大规模性、多元异构性、系统动态性等特点，结合5G技术的商用和演进可支持每平方千米百万级的终端接入能力，研究物联网应用场景信道模型关键技术，仿真高压力、大规模的流量条件以及语音、视频和数据应用混合形成的各种环境，构建适用于海量物联网终端应用场景的网络性能评估模型，支撑物联网终端市场新的评测需求。

3.2 多制式复杂网络融合评测需求

与传统互联网通信协议较为单一、集中不同，物联网中短距离、长距离，蜂窝2G、3G、4G、5G，非授权频段，移动物联网等多类无线通信技术并存，同时针对不同的应用场景，通信组网方式也不相同。为确保物联网设备高效地通信，不会因为支持多种无线技术而承受过重负担，需考虑通过将多种测试手段有机结合，保障测试平台能够支持多种网络接入，优化设备的耗电、信号或电源完整性测试，物联网设备互操作测试以及与日俱增的无线技术和谐共存测试，以便加快对多模物联网设备和系统的性能验证和故障诊断。

3.3 物联网终端的安全可靠性评测需求

近年，物联网终端安全事件频发，安全隐患凸显，物联网终端被破坏、被控制、被攻击以及物联网卡被滥用，不仅影响应用服务的安全稳定，导致隐私数据泄露、生命财产安全受损，更会危害网络关键基础设施，甚至国家安全。主要原因在于：部分物联网终端设备自身安全防护能力较弱，受限于低成本、低功耗等特性，一些有效、成功的安全策略和算法不能直接被应用；物联网终端工作区域的无监督性、一些设备使用周期长，安全敏感数据长时间使用，更新能力弱，也使物联网终端安全管理难度较大；不同厂商、不同型号和不同协议的物联网设备难以统一控管或整合；传统网络安全领域的典型防空措施如分隔、域等已不能完全适用于物联网安全新挑战。故需研究物联网终端安全与风险评估评测方法，解决物联网安全性的量化评测问题。

4 物联网终端评测体系建议

结合物联网终端评测需求以及测试系统发展趋势，本文提出物联网终端测试体系的参考方法，旨在推动物联网终端测试的标准化，并指导测试工具、测试仪表的开发验证。

从总体上来看，物联网终端测试体系可包括基础性、功能性、安全性以及物联网典型应用4个部分，如图1所示。

4.1 基础性要求

基础性主要是指一系列在物联网终端测试体系里被普遍使用、具有广泛指导意义的指导性文件及测试工具。主要包括3个部分：一是与测试相关的需求分析与术语；二是用于测试的参考模型，包括数据采集模型、信道模型、业务模型、安全分析策略模型等；三是关键测试流程和方法，包括终端测试流程、云测试流程、海量接入的并行测试、自适应评测等测试和流程方法的说明。

图1 物联网终端测试体系

4.2 功能性要求

基于物联网系统架构，结合物联网终端业务功能逻辑，功能性部分重点关注感知类、网络类、业务类评测要求3个方面。

感知类测试主要针对物联网终端在数据采集能力，涉及传感器、二维码、射频识别、实时定位及多媒体信息采集等方面的评测。参照国标GB/T36468-2018《物联网系统评价指标体系编制通则》，对终端感知类指标主要包括感知精确度、控制精确度、感知成功率、控制成功率、持续工作时长（电池供电）、能耗、终端监测覆盖率、感知终端在线率、唤醒时间等，物联网终端感知类评测指标如图2所示。

网络类测试主要实现各种网管标准和接入网络、自组织性、异构网融合等承载网支撑技术，是为感知层信息进行广域范围应用和服务提供所需基础的承载网络（公网、专网、短距离通信），对满足未来不同内容传输需求具有重要意义。物联网终端分为两类，一类是支持TCP/IP而能直接接入物联网（如Wi-Fi、2G/3G/4G/5G等）；另一类是其未能支持IP而需要网通过协议转换接入物联网（如ZigBee、蓝牙等设备）。针对此两类终端，网络类测试体系主要包括国内进网检测、CCC、型号核准要求的强制性认证测试项目，另外还包括生产厂商、终端使用客户普遍关注的可靠性测试（如射频性能、电磁兼容性、环境可靠性、协议一致性、功能、电气安全测试、功耗、卡接口、终端天线性能、吞吐量、分组丢失率、时延等测试指标），物联网终端网络类评测指标如图3所示。

图2 物联网终端感知类评测指标

业务类测试主要实现互操作性、控制执行能力，兼容性，主要包括设备管理、连接管理、应用使能、业务分析等指标。

4.3 安全性要求

物理安全方面，物理攻击时常发生，如攻击者对传感器等实施的物理破坏，其使物联网终端无法正常工作，攻击者也可能通过盗窃终端设备并通过破解获取用户敏感信息，或非法更换传感器设备导致数据感知异常，破坏业务正常开展。故从选址、供电、防破坏、防盗方面对物理安全提出要求。

接入安全方面，时常发生利用物联网终端的安全漏洞，攻击者获得节点的身份和密码信息，假冒身份与其他节点进行通信，进行非法的行为或恶意的攻击，如监听用户信息、发布虚假信息、发起DoS攻击等。同时还存在攻击者对物联网中传输的数据和信令进行拦截、篡改、伪造、重放，从而获取用户敏感信息或者导致信息传输错误，业务无法正常开展。同时，RFID标签、二维码等的嵌入，使物联网接入的用户不受控制地被扫描、定位和跟踪，极容易造成用户隐私泄露。故在接入安全方面，提出接入认证网络、访问控制网络的安全评估要求。

通信安全方面，目前物联网中采用了现有的多种网络接入技术，使得物联网在通信网络环节所面临的安全问题异常复杂，主要涉及各种无线网络协议本身以及传输数据的安全，故评测指标从无线电安全和完整性传输两个方面提出。

数据安全方面，物联网的各种应用数据分布存储在云计算平台、大数据挖掘与分析平台以及各业务支撑平台中进行计算和分析。其云端海量数据处理和各类应用服务的提供使得云端易成为攻击目标，容易导致数据泄露、恶意代码攻击等安全问题。在物联网应用服务中，会涉及大量用户、企业等诸多方面数据，存在隐私泄露风险。故从威胁检查、数据保密、数据完整、数据新鲜、访问控制等方面提出安全评估要求。

系统安全方面，物联网终端通常采用通用、开源的操作系统，或直接调用未做任何安全检测的第三方组件，软件漏洞和缺乏安全有效的更新机制给物联网终端带来了极大的安全风险，故在系统安全方面，主要从标识鉴别、访问控制、日志审计、失效保护、软件安全方面提出安全指标要求。

图3 物联网终端网络类评测指标

结合物联网终端在物理安全、接入安全、通信安全、数据安全、系统安全方面所面临的风险，本文提出物联网终端安全评测体系。同时体系采用“将安全思想贯穿物联网终端全生命周期”的思路，需形成覆盖物联网终端安全需求分析、安全设计、安全开发、安全测试、安全交付和维护等全生命周期各阶段的安全防护体系。

4.4 建立物联网终端在实际业务场景中的评测要求

根据具体行业的物联网应用系统的特点，从物联网终端在应用系统里的适用性、可用性、兼容性情况出发，并基于“云－管－端”物联网系统典型应用、网络性能和终端特性测试方法，建立面向典型应用物联网终端评测方法体系，可为物联网应用系统终端部署提供综合测试验证和服务。

基于上述分析，本文提出物联网终端评测体系框架，物联网终端评价指标框架如图4所示，评价指标主要由3个一级指标、16个二级指标、31个三级指标组成。

评测框架主要分为功能类、性能类、安全类三大类指标。功能类指标主要包括终端的通用功能（如自描述、可管理性、自配置、准确性、灵活性、实时性等），感知控制（如感知精确度、控制精确度、感知成功率、控制成功率、唤醒时间等），以及终端在典型应用场景中的特定功能验证；性能类指标主要面向终端的通信性能、可靠性能、功耗、安全、协议一致性等方面；终端安全类指标主要从终端的物理安全、接入安全、设备安全、通信安全、数据安全提出。

5 物联网终端评测技术发展趋势

开展物联网终端评测需满足模拟大规模并发场景、行业应用场景以及低测试成本要求等市场需求，物联网测试系统架构正逐渐向一体化平台、云架构等方向发展，并结合物联网标识、人工智能、用户数据治理等技术，进一步提高测试准确度及效率，并满足新兴测试需求。

（1）测试架构云化趋势明显

针对物联网终端测试系统处理能力要求高、测试资源不能共用、测试效率低等问题，可采用基于云网络架构的分布式测试平台，突破传统测试仪表架构，采用硬件功能软件化和软件功能构件化技术，可支持针对多种类、多数量物联网终端的云测试方案；同时，利用集成于云服务器中的测试工具动态分配性，实现后续功能的可扩展、易用性，提高有限测试工具资源的利用率。

（2）测试技术向自动化、可扩展的能力发展

针对传统自动测试系统故障检测率不高、虚警率、不能复现的问题以及物联网终端系统结构复杂性、模型的严重非线性、测试方法的多样性的问题，结合物联网终端的功能和性能特点，建立高效通用且可扩展的自动测试标识体系，结合物联网标识命名技术、物联网标识寻址技术、物联网标识发现技术，构建合理的标识管理体系。

图4 物联网终端评价指标框架

根据物联网终端的真实应用环境，根据终端的测试性能，对终端的功能完整性、性能符合性、协议标准符合性、兼容性、可靠性、协议一致性、互操作性、标识符合性等方面的测试进行分类标识。从终端自身特征自动适配测试项目、测试标准、测试方法、测试流程子集出发，采用基于标识的自动测试方法，实现对测试设备和被测设备的高效控制、测试流程集成化，提高测试效率和降低测试成本，使物联网终端在测试过程中，可被唯一识别、追溯和控制，实现自动适配测试指标、方法、流程，同时测试系统可自动化部署评测工具及负载，保障终端评测的高度自动化、可扩展性，有效降低终端测试成本。

（3）需具备海量接入模拟测试能力

针对未来物联网面临海量用户终端连接的性能问题，需研究物联网终端数据模拟方法以及海量用户并发测试技术，实现对真实物联网用户数据进行录制、清洗和回放，提高物联网应用平台性能的测试能力和效率。

（4）基于复杂应用场景的建模及复现

物联网应用面向多种场景，应用场景与传统移动通信相比更加复杂多样。针对物联网终端多应用场景的特点，需解决测试场景难模拟的问题，研究重点需聚焦在构建不同物联网场景空间信道模型方法，突破物联网多维信道建模关键技术，建立适用于智慧城市等物联网场景下的三维空间信道，实现对真实应用场景传播环境的准确模拟，支撑终端评估。

（5）安全防护策略技术

综合考虑物联网终端本身及其所面临的安全威胁特点，需从硬件、接入、操作系统、业务应用等方面着手，对设备的资产、威胁、脆弱性等要素进行分析及识别，研究采取适当的安全防护措施和安全解决方案，需采用“将安全思想贯穿物联网各个终端全生命周期”的思路，研究物联网终端安全评测技术，形成覆盖物联网各个终端安全需求分析、安全设计、安全开发、安全测试、安全交付和维护等全生命周期各阶段的安全评测方法和安全防护体系，确保物联网终端安全乃至物联网整网安全。

6 结束语

本文基于物联网终端多应用、多形态、多制式的特点，结合市场对物联网终端测试技术和安全防护需求出发，同时着眼物联网终端评测平台呈多元化、差异化、开放性、成长性的纵横多维发展趋势，从基础性、功能性、安全性、应用测试方面，提出物联网终端评测体系，为物联网终端安全快速接入物联网系统，以及促进物联网产业的健康发展，提供有力支撑。

[1] 王琳. 物联网无线通信产品国内外认证要求解析[J]. 电子产品世界, 2020, 27(2): 63-66.

WANG L. Analysis of certification requirements for IOT wireless communication products at home and abroad[J]. Electronic Engineering & Product World, 2020, 27(2): 63-66.

[2] 朱伟弟. 物联网时代：如何做好安全防御?[J]. 单片机与嵌入式系统应用, 2018, 18(1): 89-90.

ZHU W D. Internet of things era: how to do security defense well?[J]. Application of Single Chip Microcomputer and Embedded System, 2018, 18(1): 89-90.

[3] 物联网系统评价指标体系编制通则: GB/T36468-2018[S]. 2018.

Internet of things-General principles of stipulation on evaluation indicator system: GB/T 36468-2018[S]. 2018.

[4] 肖清旺, 王锦华, 朱易翔. 物联网智能终端设备识别方法[J]. 电信科学, 2017, 33(2): 3-8.

XIAO Q W, WANG J H, ZHU Y X. Intelligent terminal device identification method of internet of things. Telecommunications Science, 2017, 33(2): 3-8.

[5] 戴彬, 曹园园, 莫益军. 未来网络场景及需求分析综述[J]. 电信科学, 2019, 35(8): 39-48.

DAI B, AO Y Y, MO Y J. A survey on future networks: application scenarios and requirements analysis[J]. Telecommunications Science, 2019, 35(8): 39-48.

[6] 李晶, 张明明, 郑永丰, 等. 物联网终端性能与网络协议综合测试解决方案[J]. 计算机测量与控制，2019, 27(10): 12-13.

LI J, ZHANG M M, ZHENG Y F, et al. Comprehensive test solution for IoT terminalper for mance and network protocol[J]. 2019, 27(10): 12-13.

[7] 钱燕萍. 面向NB-IoT终端的性能评价体系设计[J]. 电信快报, 2020(7): 12-14.

QIAN Y P. Design of performance evaluation system for NB-IoT terminal[J]. Telecom Express, 2020(7): 12-14.

Development research of terminal evaluation system of internet of things

XIE Jinfeng1, YAN Hanqi1, DENG Bingguang2, ZHANG Yan1

1. Chongqing Institute of Telecommunications, Chongqing 401336, China 2. Chongqing University of Posts and Telecommunications, Chongqing 400065, China

Under the large-scale commercial application of internet of things technology, the existing terminal evaluation system can not meet the new requirements of massive, multi-type and multi-form internet of things terminal evaluation. The research on the development of evaluation system for internet of things terminal was carried out, and the suggestions and methods of evaluation system for internet of things terminal were put forward from three dimensions of foundation, application and security, combined with the development trend of testing means, so as to provide reference for future development, promote the quality of IoT terminals, ensure the good interoperability between terminals and networks, and improve the end-to-end service quality.

internet of things, internet of things terminal, test tool, evaluation system

TN929

A

10.11959/j.issn.1000−0801.2021037

2020−11−20；

2021−02−03

国家重点研发计划项目（No.2018YFB2100200）

The National Key Research and Development Program of China（No.2018YFB2100200）

谢金凤（1985− ），女，重庆信息通信研究院高级工程师，主要研究方向为物联网测试关键技术及标准体系。

严涵琦（1986− ），女，重庆信息通信研究院高级工程师，主要研究方向为物联网测试关键技术及标准体系。

邓炳光（1978− ），男，重庆邮电大学副教授，主要研究方向为通信网测试技术。

张炎（1982− ），男，重庆信息通信研究院高级工程师，主要研究方向为电子信息、物联网等相关测试技术、应用技术及标准化研究。