TestBird全球首家發(fā)布《2014中國手游兼容性測試白皮書》

134812個(gè)兼容性問題，導(dǎo)致800萬玩家流失

您知道您的手游有多少兼容性問題嗎?您知道這些兼容性問題都是什么原因造成的嗎?您知道怎么去解決這些問題嗎?您以為兼容性測試只是安裝和啟動測試那么簡單?您知道過去這樣的輕視和忽略很可能給您造成了上百萬的損失嗎?

近日，由專注手游的云測試平臺TestBird撰寫的《2014中國手游兼容性測試白皮書》(以下稱白皮書)正式發(fā)布。這是全球首次針對手游兼容性問題進(jìn)行研究和解析的白皮書，首次為業(yè)界定義了10大手游兼容性問題，完整展現(xiàn)了手游兼容性問題現(xiàn)狀，系統(tǒng)詮釋了手游兼容性問題的分類，深度解析了手游兼容性問題的根源，并提供了諸多的真實(shí)有效的解決建議。

通過白皮書，也許你能更清楚地了解上述問題的答案：作為手游上線前必經(jīng)的第一關(guān)——兼容性測試，遠(yuǎn)非想象的那么簡單。

16項(xiàng)指標(biāo)，首次定義手游兼容性

到底什么是兼容性問題?用哪些指標(biāo)可以準(zhǔn)確考核和定義兼容性問題?哪些性能指標(biāo)會影響到手游兼容性?以往，我們單純地將手游兼容性測試等同于安裝和啟動測試。可是如此的草率和不專業(yè)，意味著在手游上線前的第一步，您就已經(jīng)錯(cuò)失先機(jī)。

TestBird已經(jīng)測試了近3000款手機(jī)游戲，發(fā)現(xiàn)134812個(gè)兼容性問題，通過對這些問題進(jìn)行深入分析，TestBird首次在行業(yè)內(nèi)對影響手游品質(zhì)的兼容性問題和性能指標(biāo)進(jìn)行了明確的定義。

白皮書里將兼容性問題分為10大類，分別是安裝失敗、啟動失敗、游戲閃退、游戲卡頓、游戲卡死、數(shù)據(jù)異常、UI異常、游戲鏈接異常、程序異常、游戲黑屏。性能指標(biāo)則包括CPU占用率、內(nèi)存占用值、IO等待率、溫度、啟動時(shí)延和流量共6項(xiàng)。

兼容性問題釋義

安裝失敗游戲app在某款手機(jī)上進(jìn)行安裝操作，但是沒有安裝成功。

啟動失敗游戲app安裝成功，但是無法啟動,或者啟動后馬上自動退出。判斷標(biāo)準(zhǔn)：啟動后，檢測游戲畫面是否可見。

游戲閃退在游戲過程中程序崩潰導(dǎo)致意外退出。判斷標(biāo)準(zhǔn)：崩潰日志與游戲畫面結(jié)合分析。

游戲卡頓在游戲過程中運(yùn)行不流暢，畫面切換卡屏。主要原因是CPU或者內(nèi)存占用過高，需要CP進(jìn)行優(yōu)化。

游戲卡死手機(jī)系統(tǒng)無法正常運(yùn)行，不接受輸入事件，但游戲沒有閃退。游戲觸發(fā)了手機(jī)的系統(tǒng)級BUG，引起系統(tǒng)崩潰。

游戲黑屏手機(jī)系統(tǒng)正常運(yùn)行，但游戲無法正常運(yùn)行，沒有顯示任何UI界面。

數(shù)據(jù)異常游戲客戶端與服務(wù)器數(shù)據(jù)交互異常，但是鏈接未斷開。通常是手機(jī)游戲與服務(wù)器交互接口設(shè)計(jì)沒有經(jīng)過充分驗(yàn)證，導(dǎo)致異常數(shù)據(jù)在服務(wù)器與手機(jī)游戲之間傳輸。

UI異常UI界面顯示紊亂。主要原因是分辨率差異或者游戲場景切換邏輯代碼書寫有誤。

游戲鏈接異常與服務(wù)器交互鏈接發(fā)生異常。通常由于開發(fā)人員沒有考慮到網(wǎng)絡(luò)編程中的異常，或壓力過大引發(fā)服務(wù)器崩潰。

程序異常游戲運(yùn)行時(shí)出現(xiàn)異常提示或現(xiàn)象。

性能指標(biāo)解釋

CPU占用率(%)游戲進(jìn)程占用的CPU資源，cpu使用率過高，說明游戲比較耗電，而且容易卡頓。

內(nèi)存占用值(kb)游戲進(jìn)程所消耗的手機(jī)內(nèi)存，內(nèi)存占用高容易引起游戲卡頓甚至閃退。

IO等待率(%)游戲進(jìn)程進(jìn)行IO等待所占用CPU時(shí)間百分比，占用率過高說明游戲進(jìn)行了大量的io操作，例如文件讀寫。

幀速率(fps)游戲引擎每一秒內(nèi)刷新的幀數(shù)，反映了游戲畫面流暢程度。

溫度(°C)通過android溫度傳感器獲取的手機(jī)溫度，跟手機(jī)cpu占用率成正比。

啟動時(shí)延(ms)對游戲發(fā)起啟動指令，到真正進(jìn)入游戲第一個(gè)界面所消耗的時(shí)間，反映了游戲的加載速度，跟游戲資源包大小有關(guān)。

流量(bps)游戲運(yùn)行過程中所消耗的網(wǎng)絡(luò)流量，主要集中在游戲與服務(wù)器交互過程中產(chǎn)生的網(wǎng)絡(luò)消耗。

1款游戲52個(gè)兼容性問題，損失高達(dá)六位數(shù)

在手游產(chǎn)業(yè)，任何一款手游產(chǎn)品都必須經(jīng)過兼容性測試后方可上線。然而，由于傳統(tǒng)的兼容性測試周期長，測試成本較高，加上兼容性問題屬于隱型問題，不及游戲畫面、游戲內(nèi)容和操作設(shè)計(jì)等因素那般具象，導(dǎo)致兼容性問題長期未受到手游開發(fā)者的重視，但因兼容性問題導(dǎo)致的用戶流失和成本損失，卻是以數(shù)十百萬計(jì)的。

《2014中國手游兼容性測試白皮書》的研究數(shù)據(jù)顯示，平均每款游戲存在52個(gè)兼容性問題，因?yàn)椴患嫒菰斐傻挠脩袅魇蔬_(dá)21%，假如每款游戲20萬用戶，按照行業(yè)常規(guī)，一個(gè)用戶的導(dǎo)入成本為10塊，那么每款游戲因?yàn)榧嫒菪詥栴}導(dǎo)致的成本損失將達(dá)到20萬人*21%*10元/人=42萬元。

從如此高額的成本損失可以看出兼容性問題已經(jīng)刻不容緩，成為手游開發(fā)商迫待解決的關(guān)鍵問題。

12類游戲，兼容性問題各有不同

白皮書打破了傳統(tǒng)手機(jī)兼容性測試粗糙的分析方式，利用TestBird手游自動化云測試平臺強(qiáng)大的游戲分類能力，在對卡牌游戲、策略經(jīng)營、角色扮演、塔防游戲、跑酷競速、飛行射擊、消除游戲、棋牌撲克、動作格斗、體育運(yùn)動、虛擬養(yǎng)成、休閑益智等12個(gè)不同類別的游戲進(jìn)行逐個(gè)分析后發(fā)現(xiàn)，整體上來說動作格斗和角色扮演類兼容性問題最多，但是在每個(gè)具體的問題上，每類游戲確實(shí)各有不同。

通常意義上，幾乎所有人都認(rèn)為角色扮演和動作格斗類RPG重度游戲應(yīng)該是流量消耗最大的一類游戲?？墒峭ㄟ^白皮書的研究卻發(fā)現(xiàn)，平均流量消耗最大的實(shí)為虛擬養(yǎng)成類中度游戲，而RPG重度游戲甚至連前三都排不上。

白皮書的報(bào)告還顯示，在CPU占用率上，體育運(yùn)動類游戲最高，棋牌撲克類最低;在啟動時(shí)延上，飛行射擊類游戲最大，體育運(yùn)動類最小;在內(nèi)存占用上，動作格斗類游戲最高，棋牌撲克類最低;在IO等待率上，酷跑競速類游戲較高，體育運(yùn)動類卻較低;在手機(jī)平均溫度上，卡牌游戲最高，體育運(yùn)動類最低。

37%+19%，閃退和卡死才是最主要的問題

過去由于傳統(tǒng)的兼容性測試方式僅僅只是測試安裝和啟動兩個(gè)項(xiàng)目，測試者對游戲啟動后將會發(fā)生的事情一無所知。也正是因此，通常的認(rèn)知中手游兼容性問題最突出的往往是安裝失敗和啟動失敗。

然而現(xiàn)實(shí)是，隨著安卓手機(jī)的快速發(fā)展，以往的問題重災(zāi)區(qū)安裝、啟動問題在所有問題中的占比越來越低，絕大部分問題是在游戲運(yùn)行后發(fā)生的。而要發(fā)現(xiàn)這些問題，就必須要深入到游戲內(nèi)部進(jìn)行測試。

TestBird采用了全球領(lǐng)先的鷹眼引擎測試技術(shù)，在深入近3000款游戲內(nèi)部進(jìn)行測試后，對發(fā)現(xiàn)的134812個(gè)兼容性問題進(jìn)行了統(tǒng)計(jì)分析，發(fā)現(xiàn)游戲閃退、游戲卡死、UI異常才是兼容性問題占比最高的3大類問題。其中游戲閃退現(xiàn)象最為嚴(yán)重，占比高達(dá)37.18%，游戲卡死現(xiàn)象占比則達(dá)到了18.53%。

816款手機(jī)，主流品牌兼容性問題較少

市面上，安卓系統(tǒng)的手機(jī)品牌高達(dá)數(shù)十個(gè)，從三星、聯(lián)想、華為等主流品牌到其他非主流的品牌手機(jī)，到底哪個(gè)品牌的手機(jī)兼容性較好?不同手機(jī)內(nèi)存大小對手游兼容性影響到底又有多大?另外，不同品牌手機(jī)的CPU也有所異同，那么不同的CPU是否也會影響到兼容性問題的發(fā)生?

TestBird通過對816款測試手機(jī)，歷經(jīng)近3000款游戲測試后發(fā)現(xiàn)：對比各品牌的兼容性問題數(shù)，主流品牌的兼容性整體好于非主流品牌。兼容性問題最少的品牌當(dāng)屬三星，每終端每款游戲的失敗率(即平均每款終端在每款游戲上的不兼容率)僅有3.82%，聯(lián)想和小米的兼容性也表現(xiàn)優(yōu)異，失敗率不足5%。而其他非主流品牌的失敗率則高達(dá)10%以上，兼容性問題非常嚴(yán)重。

在內(nèi)存大小對手機(jī)游戲的兼容性的影響方面，白皮書的研究表明，內(nèi)存越大出現(xiàn)兼容性問題越少，256M的兼容性問題最多，兼容性問題檢出率高達(dá)82%。而隨著內(nèi)存的加大，兼容性問題發(fā)生概率明顯呈現(xiàn)出逐步減小的趨勢。

而在不同CPU品牌在兼容性問題的表現(xiàn)上，展訊出現(xiàn)的兼容性問題占比最大。兼容性表現(xiàn)最好，檢出率最低的，并非我們所熟知的聯(lián)發(fā)科和高通兩大類CPU品牌——當(dāng)然，它們二者表現(xiàn)也不錯(cuò)——而是海思和Mmarvell。

*兼容性問題檢出率：即兼容性問題的數(shù)量占該品牌總數(shù)的比值。

此外，白皮書還針對不同游戲引擎的兼容性問題發(fā)生概率進(jìn)行了研究，發(fā)現(xiàn)自定義引擎出現(xiàn)的兼容性問題最多，檢出率達(dá)32%，而常用的cocos2D-X和unity3D游戲引擎的兼容性問題的檢出率分別是28%和27%，相對表現(xiàn)較好。

16條建議，提供完整兼容性問題解決方案

話到此處，或許你已經(jīng)開始明白兼容性問題遠(yuǎn)非想象的那么簡單?？墒?，這些兼容性問題究竟該如何解決?

“我們將報(bào)告奉獻(xiàn)給廣大的手游CP、發(fā)行和渠道，希望能給行業(yè)分享一些經(jīng)驗(yàn)和干貨，打造更精品的手機(jī)游戲?！边@是報(bào)告開頭的第一句話，透過這句話，能了解到TestBird發(fā)布這份白皮書的初衷。而在長達(dá)47頁的白皮書最后，TestBird也確實(shí)毫無保留地針對各項(xiàng)兼容性問題，敘述了詳盡的解決方案。

如針對閃退、卡死、UI異常三大手游兼容性問題，并給三類問題給予詳盡的解決建議，但因篇幅有限，現(xiàn)只能在此做簡單綜述，以饗同行：

閃退問題出現(xiàn)場景各不相同，常見原因?yàn)閮?nèi)存不足、溫度過高、系統(tǒng)不兼容、cpu不兼容等。開發(fā)人員可以根據(jù)問題現(xiàn)象，分析logcat和BUGreport日志來定位原因，找到閃退原因后根據(jù)需求優(yōu)化。

游戲卡死現(xiàn)象很像ANR(application not response)。系統(tǒng)在一定時(shí)間內(nèi)發(fā)現(xiàn)UI thread沒有響應(yīng)，就會出現(xiàn)彈框報(bào)錯(cuò)。比如輸入事件，等待通常是5秒。主要原因是在UI thread做了不必要且費(fèi)時(shí)的操作。比如訪問網(wǎng)絡(luò)操作、本地?cái)?shù)據(jù)讀寫操作、游戲計(jì)算下一幀數(shù)據(jù)操作。解決方案是把這些費(fèi)時(shí)用異步的方式完成。UI thread只做響應(yīng)用戶操作以及繪制UI的事情。開發(fā)過程中可以StrictMode來檢查一些潛在ANR的代碼風(fēng)險(xiǎn)。開發(fā)完以后，可以使用android工具Systrace和Traceview對游戲的性能瓶頸進(jìn)行分析，避免ANR。

而游戲卡頓問題，通過對10016個(gè)UI問題的統(tǒng)計(jì)和分析，TestBird認(rèn)為導(dǎo)致UI異常主要有兩方面的問題：

1)和安卓手機(jī)分辨率相關(guān)，如手機(jī)分辨率尺寸，游戲上控件排版時(shí)需要考慮分辨率，避免使用pixel unit，考慮使用dp(Density-independent pixel)、sp等.可以了解多尺寸多密度屏幕支持等相關(guān)文章。

2)和游戲引擎相關(guān)，如Unit3D引擎游戲，使用系統(tǒng)字庫，容易出現(xiàn)在OPPO等手機(jī)終端上，字體無法顯示，原因?yàn)椴糠职沧繌S商深度定制安卓系統(tǒng)，導(dǎo)致部分U3D引擎游戲，調(diào)用的系統(tǒng)字體不能顯示。解決建議為使用其他字體庫。

《2014年手游兼容性測試白皮書》整個(gè)研究歷時(shí)8個(gè)月，測試多達(dá)近3000款手游，整理分析了上萬份的評測報(bào)告。而這些數(shù)據(jù)和報(bào)告正是基于TestBird獨(dú)創(chuàng)的領(lǐng)先測試技術(shù)優(yōu)勢以及其作為國家手游測試中心的權(quán)威地位，并且透過這些真實(shí)的數(shù)據(jù)，白皮書才能首次真正地對手游兼容性問題進(jìn)行系統(tǒng)而全面的研究，并與廣大手游行業(yè)同仁共享。