1 評價說明
1.1 評價方法體系
為給普通客戶選擇比較好終端產(chǎn)品提供客觀詳實的依據(jù),并提升終端廠商及客戶對產(chǎn)品質(zhì)量的關(guān)注度,引導(dǎo)產(chǎn)業(yè)鏈推出更多質(zhì)量可靠、使用放心的產(chǎn)品,正在成為各大運營商及互聯(lián)網(wǎng)第三方評測機(jī)構(gòu)的重要方向。
終端廠商、友商及第三方現(xiàn)有移動終端性能分析模式主要集中在產(chǎn)品設(shè)計、入網(wǎng)申請、產(chǎn)品生產(chǎn)及上市環(huán)節(jié),主要評測手段及方式包括仿真測試、入網(wǎng)監(jiān)測、生產(chǎn)合格檢測及第三方評測等,這些測試目前存在以下問題:
1.單品檢測
2.非統(tǒng)計性
3.抽樣偶然性
4.測試性
5.內(nèi)場測試
聯(lián)通網(wǎng)絡(luò)技術(shù)研究院終端大數(shù)據(jù)團(tuán)隊則從入網(wǎng)使用環(huán)節(jié)著手,基于全網(wǎng)用戶及終端全采樣方式,借助大數(shù)據(jù)工具及手段,采集全部在網(wǎng)終端的在網(wǎng)運行數(shù)據(jù)(包含信令數(shù)據(jù)及業(yè)務(wù)數(shù)據(jù))進(jìn)行評測,具備現(xiàn)網(wǎng)統(tǒng)計、采樣全面、獨立客觀、及外場補(bǔ)充的獨特優(yōu)勢,更直接地體現(xiàn)移動終端在網(wǎng)絡(luò)中的實際表現(xiàn),更加貼近用戶體驗的同時更直觀體現(xiàn)終端優(yōu)劣。
終端是用戶與移動網(wǎng)絡(luò)交互的媒體,也是網(wǎng)絡(luò)的鏡像,能提供全程全棧的詳細(xì)數(shù)據(jù)。
由于終端的通信模塊、結(jié)構(gòu)設(shè)計、工藝水平等差異,除造成用戶體驗不同外,對于網(wǎng)絡(luò)的影響和兼容性也存在較大的差異,終端的大部分性能指標(biāo)測試在實驗室內(nèi)完成,而其在網(wǎng)絡(luò)中的實際表現(xiàn)則更為重要,具體體現(xiàn)為終端在無線網(wǎng)絡(luò)中的各類性能指標(biāo)的差異。
KPI統(tǒng)計分析僅能體現(xiàn)網(wǎng)絡(luò)或終端運行的總體情況,無法進(jìn)行深度挖掘并直接關(guān)聯(lián)原因。采用事件及消息進(jìn)行分類統(tǒng)計及分析,既能定位問題及原因,又便于工具化的處理及分析,本報告即從事件及消息維度對終端的無線網(wǎng)絡(luò)性能進(jìn)行綜合分析和評價。
1.2 目標(biāo)評價智能手機(jī)
本報告針對聯(lián)通在網(wǎng)終端進(jìn)行數(shù)據(jù)全采樣及挖掘分析,本次采集范圍為某地市兩個工作日的4G網(wǎng)絡(luò)呼叫記錄數(shù)據(jù),共獲取568個品牌,3674個型號的終端業(yè)務(wù)及信令數(shù)據(jù)。基于展示限制,本報告僅針對全網(wǎng)業(yè)務(wù)活動頻繁的30款終端型號進(jìn)行深度評測及展示。
具體品牌及型號列表如下:
1.3 評價內(nèi)容
本報告從4G網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)的接入性、保持性,以及創(chuàng)新的空間和極限能力四個方面展開,結(jié)構(gòu)如下:
終端的4G網(wǎng)絡(luò)業(yè)務(wù)性能評價(PS)
1.接入能力
2.保持能力
3.空間能力
4.極限能力
2 終端的4G網(wǎng)絡(luò)業(yè)務(wù)性能評價(PS)
2.1 接入能力
2.1.1 阻塞比率
統(tǒng)計不同型號的阻塞率發(fā)現(xiàn),TOP30阻塞率均在3.24%以下,個別終端阻塞比例偏高。
高(差)阻塞率:VIVO X9高,達(dá)到3.24%,其次為VIVO X7 PLUS為3.21%,再次為VIVO V3 MAX為3.16%,VIVO品牌整體阻塞率偏高;
低(好)阻塞率:iPhone系列整體表現(xiàn)較為理想,均在0.6%左右。
2.1.2 阻塞時電平
統(tǒng)計不同型號阻塞時電平發(fā)現(xiàn),TOP30阻塞時RSRP基本在-92.08~-97.18dB之間,總體差異不大,變化區(qū)間僅5.1dB左右。
高(差)阻塞電平:iPhone 6S Plus,阻塞電平達(dá)到-92.08dB,其次為華為暢享5S為-92.46dB;
低(好)阻塞電平:樂視 樂2阻塞電平表現(xiàn)好,僅有-97.18dB,其次紅米Note 4為-96.92dB。
阻塞電平個體差異不大。
2.1.3 接入時延
統(tǒng)計不同型號接入時延發(fā)現(xiàn),TOP30接入時延基本在3.57s~3.96s之間,總體差異不大,變化區(qū)間非常小。
大接入時延:iPhone 7 Plus接入時延為3.96s。
小接入時延:樂視 樂2和紅米 Note 4接入時延小,為3.57s。
接入時延性能各品牌及型號差異較小。
2.2 保持能力
2.2.1 掉話比率
統(tǒng)計不同型號的4G網(wǎng)絡(luò)掉線率時發(fā)現(xiàn),TOP30型號掉線率整體不大,均在0.91%~3.23%之間。
高(差)掉線率:樂視 樂2掉線率高,遠(yuǎn)超其他終端,達(dá)到3.23%;
低(好)掉線率:iPhone 6 plus掉線率低,僅有0.91%,整體看其余終端掉線率相當(dāng)。
除樂視 樂2等個別終端外,掉線率整體情況良好。
2.2.2 掉線時CQI
統(tǒng)計不同型號的4G網(wǎng)絡(luò)掉線時CQI發(fā)現(xiàn),TOP30型號掉線時CQI整體差異不大,均在7.10~9.8之間。
高(差)掉線CQI:魅藍(lán)Note3掉線時CQI高,達(dá)到9.80;其次為樂視 樂2也在9以上;
低(好)掉線CQI:華為 榮耀 8掉線時CQI為7.10,剩余大部分型號也基本相當(dāng),總體差異不大。
掉線時CQI整體差異不大。
2.2.3 掉線時電平
統(tǒng)計不同型號的4G網(wǎng)絡(luò)掉線時RSRP發(fā)現(xiàn),TOP30型號掉線時電平整體差異不大。
高(差)掉線電平:OPPO A59掉線電平高達(dá)-101.25dB,與其他型號終端整體差異不大;
低(好)掉線電平:OPPO R9掉線電平低為-105.73,表現(xiàn)好,但跟其他型號相比差異不大,優(yōu)勢不明顯。
2.3 空間能力
2.3.1 阻塞時距離
統(tǒng)計不同型號的4G網(wǎng)絡(luò)阻塞時距離發(fā)現(xiàn),TOP30型號阻塞時距離基本在697-944之間,大差異為247米。
短(差)阻塞距離:VIVO Y67的 阻塞時接入距離為697米,其次是iPhone 7為725米,兩者表現(xiàn)差;
長(好)阻塞距離:VIVO V3 MAX阻塞時接入距離長,達(dá)到944米,其次為VIVO X9,為912米,表現(xiàn)良好。
阻塞時接入距離整體差異不大。
2.3.2 掉線時距離
統(tǒng)計不同型號的4G網(wǎng)絡(luò)掉線時距離發(fā)現(xiàn),TOP30型號掉線時距離基本在1338~1850之間,大差異512米。
短(差)掉線距離:樂視 樂2掉線時平均距離為1338米,其次是樂視 樂1S掉線時接入距離為1440米,表現(xiàn)相對較差。
長(好)掉線距離:紅米Note 2掉線時距離長,達(dá)到1850米,其次為華為 榮耀 暢玩 5X為1832米,表現(xiàn)良好。
2.4 極限能力
極限能力,是網(wǎng)研院終端大數(shù)據(jù)團(tuán)隊首次提出的針對終端在極端情況(如異常事件、極端無線環(huán)境等)下的大承受度和性能表現(xiàn),主要由異常事件占比、異常事件接入距離、極限承受CQI(3G為質(zhì)量)及極限承受電平組成,這些指標(biāo)從異常情況出現(xiàn)概率以及出現(xiàn)異常情況下的大承受度兩個方面來反應(yīng)終端性能,稱為終端的極限能力。
2.4.1 異常事件占比
統(tǒng)計不同型號的異常事件占比發(fā)現(xiàn),TOP30型號異常事件占比總體差異不大,僅個別終端較高。
高(差)異常事件占比:樂視 樂2異常事件占比為0.45%,絕對值不高,但相對值超過其他終端很多.
低(好)異常事件占比:其余手機(jī)度在0.05%~0.17%左右,整體表現(xiàn)良好。
2.4.2 異常事件時距離
統(tǒng)計不同型號的異常事件極限距離發(fā)現(xiàn),TOP30型號掉線時距離在853~1524之間,大差異671米,差異較大。
短(差)極限距離:VIVO Y67的極限距離僅有853米,表現(xiàn)差,其次為樂視 樂1S為887米.
長(好)極限距離:iPhone 6 Plus極限距離表現(xiàn)佳,達(dá)到1524米,其次為iPhone 6S Plus,達(dá)到1476米,表現(xiàn)良好。
國產(chǎn)手機(jī)各品牌型號表現(xiàn)差異巨大,品牌穩(wěn)定性低。
2.4.3 極限承受CQI
統(tǒng)計不同型號的異常事件極限承受CQI發(fā)現(xiàn),TOP30型號掉CQI在7.44~11.79之間,差異在4dB左右。
大(差)極限CQI:魅藍(lán) Note 3的極限CQI為11.79,相對其他終端表現(xiàn)差;
小(好)極限CQI:華為Mate 8的極限CQI為7.44,表現(xiàn)好,但與其他型號終端整體差異不大。
2.4.4 極限承受電平
統(tǒng)計不同型號的極限承受電平發(fā)現(xiàn),TOP30型號電平在-98.65dB~-103.85dB之間,大差異5.2dB左右,差異不大。
大(差)極限電平:OPPO A59極限電平差,高達(dá)-98.41dB,其次為小米5為-98.65dB
小(好)極限電平:iPhone VIVO 樂視品牌終端均在-100dB以下,表現(xiàn)好,iPhone系列在-100dB以下,整體表現(xiàn)非常好。
2.4.5 多維評價
將異常事件占比與極限承受質(zhì)量進(jìn)行二維分布繪圖,可以清晰地從兩個維度綜合考量終端的無線網(wǎng)絡(luò)性能,針對終端的4G無線網(wǎng)絡(luò)性能進(jìn)行二維分布繪制如下:
象限定義為差,代表異常比例高,極限承受能力差,
第二象限定義為較差,代表異常比例低(好),極限承受能力差,
第三象限定義為好,代表異常比例低(好),極限承受能力好,
第四象限定義為較差,代表異常比例高(差),極限承受能力好。
二維全景圖如下:
近原點附近放大圖如下:
3 評價結(jié)論
從4G無線網(wǎng)絡(luò)性能評價看:
蘋果品牌各型號手機(jī)各項指標(biāo)較為穩(wěn)定、均衡,尤其是iPhone7之前的各型號各性能指標(biāo)均在中等水平;
新晉品牌OPPO在幾款型號及各性能表現(xiàn)差異較大,指標(biāo)穩(wěn)定及成熟度不足;OPPO R9整體表現(xiàn)尚可,A59多項指標(biāo)較差;
VIVO進(jìn)入TOP30型號相對OPPO多,同樣存在型號間、指標(biāo)間的較大差異,其中VIVO X6表現(xiàn)相對較好,其余手機(jī)多項指標(biāo)較差;
小米手機(jī)同樣存在品牌內(nèi)各型號及各指標(biāo)差異較大問題,整體看小米5和紅米Note系列表現(xiàn)相對較好,其余手機(jī)型號多項指標(biāo)較差;
華為品牌無整體表現(xiàn)良好指標(biāo),各手機(jī)型號或多或少存在較差指標(biāo);
三星隨多為存量手機(jī),但整體表現(xiàn)尚可;
樂視僅有2款手機(jī)進(jìn)入TOP30,其中樂1S表現(xiàn)尚可,樂2表現(xiàn)較差;
由于本次評價根據(jù)手機(jī)用戶業(yè)務(wù)次數(shù)進(jìn)行排名,因此多個知名品牌未能進(jìn)入評價范圍,后續(xù)在體量足夠時再進(jìn)行評價。
4 結(jié)束語
本報告主要針對目前聯(lián)通網(wǎng)內(nèi)業(yè)務(wù)排名較多的智能手機(jī)進(jìn)行了評價,不同于現(xiàn)在的實驗室及內(nèi)場的單樣本測試,本評價報告基于現(xiàn)網(wǎng)全采樣,較為客觀地反映了終端的性能情況;同時評價內(nèi)容重點在于無線網(wǎng)絡(luò)性能,未來在與核心網(wǎng)業(yè)務(wù)數(shù)據(jù)對接后,可進(jìn)行更多指標(biāo)及更多維度的性能評價。
(AM 8:00-12:00 PM 14:00-18:00)