2017-4-5 資深UI設(shè)計(jì)者
產(chǎn)品改版前設(shè)計(jì)師該對(duì)哪些內(nèi)容進(jìn)行調(diào)研？改版后該用哪些指標(biāo)、哪些數(shù)據(jù)要注意？筆者結(jié)合項(xiàng)目實(shí)踐，寫(xiě)成此篇改版調(diào)研經(jīng)驗(yàn)小結(jié)（效果評(píng)估篇），歸納出一些通用型的經(jīng)驗(yàn)和流程來(lái)幫助設(shè)計(jì)師自行開(kāi)展改版項(xiàng)目的調(diào)研工作。
互聯(lián)網(wǎng)產(chǎn)品的節(jié)奏特點(diǎn)就是小步快跑，不斷迭代優(yōu)化，因此產(chǎn)品改版是很常見(jiàn)的情況。設(shè)計(jì)師和產(chǎn)品同學(xué)等也都意識(shí)到可以借助調(diào)研幫助實(shí)現(xiàn)業(yè)務(wù)目標(biāo)和更好滿(mǎn)足用戶(hù)需求。但是在實(shí)際工作中，筆者經(jīng)常會(huì)遇到設(shè)計(jì)師在改版前會(huì)來(lái)討論要調(diào)研的內(nèi)容，表示不太清楚從何入手，或者改版后過(guò)來(lái)咨詢(xún)“我們想看看改版后的效果，但是不知道該用哪些指標(biāo)，看哪些數(shù)據(jù)？” 鑒于以上情況，筆者結(jié)合項(xiàng)目實(shí)踐，歸納出一些通用型的經(jīng)驗(yàn)和流程來(lái)幫助設(shè)計(jì)師自行開(kāi)展改版項(xiàng)目的調(diào)研工作，由于篇幅的問(wèn)題，本文先只介紹改版后的效果評(píng)估部分，總結(jié)起來(lái)，可以從3個(gè)意識(shí)，5個(gè)環(huán)節(jié)入手，具體請(qǐng)看下文。
在介紹具體的實(shí)操流程前，先把個(gè)人認(rèn)為非常重要的三個(gè)“意識(shí)”分享如下：
Tips 1：評(píng)估工作要提早開(kāi)始準(zhǔn)備，改版結(jié)束才想起來(lái)需要收集分析數(shù)據(jù)可能就來(lái)不及了；
Tips 2：改版目標(biāo)要清晰、具體、可量化 ；
Tips 3：關(guān)注數(shù)據(jù)，更要重視和分析引起數(shù)據(jù)變化的原因（設(shè)計(jì)，功能等），以作為后續(xù)工作的指導(dǎo)。
筆者通常把效果評(píng)估流程分為以下幾個(gè)環(huán)節(jié)，根據(jù)大家集中集中反饋的問(wèn)題情況，本文重點(diǎn)介紹制定指標(biāo)和對(duì)比分析兩個(gè)環(huán)節(jié)。
1、明確改版目標(biāo)
具體，可量化，可實(shí)現(xiàn)（目標(biāo)數(shù)據(jù)合理；改版內(nèi)容與目標(biāo)相關(guān)較大）的改版目標(biāo)是制定評(píng)估指標(biāo)的前提。
【反例】改版目標(biāo)：通過(guò)改版xx頁(yè)面，提升用戶(hù)體驗(yàn)，促進(jìn)用戶(hù)再次購(gòu)買(mǎi)
【解讀】
1）不夠具體：用戶(hù)體驗(yàn)包含的范圍太大了，具體指哪方面？效率，滿(mǎn)意度？如果不能清晰的定義，當(dāng)然也就無(wú)法衡量。與之對(duì)應(yīng)的，“促進(jìn)再次購(gòu)買(mǎi)”就可以通過(guò)“復(fù)購(gòu)率”等指標(biāo)進(jìn)行解讀和評(píng)估。
2）不能量化：即使促進(jìn)再次購(gòu)買(mǎi)，那么計(jì)劃是提升多少？有了具體的目標(biāo)數(shù)字，才能評(píng)估目標(biāo)的完成程度，當(dāng)然，如果目標(biāo)是提升了就好，不在乎具體數(shù)字，那另當(dāng)別論。
3）不容易實(shí)現(xiàn)：在本案例中，經(jīng)過(guò)與設(shè)計(jì)師的溝通，發(fā)現(xiàn)改版的頁(yè)面是訂單列表頁(yè)，本次改版重點(diǎn)是解決收集到的的用戶(hù)體驗(yàn)問(wèn)題，減少操作失誤等，且改版內(nèi)容也主要是信息布局等?？梢?jiàn)，這些改版內(nèi)容并不太能“促進(jìn)再次購(gòu)買(mǎi)”因此，制定這個(gè)目標(biāo)并不太合適。
【修改后的目標(biāo)】：通過(guò)改版XX頁(yè)面，用戶(hù)的一次操作成功率提升5%，解決體驗(yàn)問(wèn)題10個(gè)。
所以：如果下次苦于找不到改版效果評(píng)估的指標(biāo)，可以先回頭檢查一下改版目標(biāo)制定的是否具體，可量化，可實(shí)現(xiàn)。
2、根據(jù)改版目標(biāo)制定衡量指標(biāo)
當(dāng)然，清晰的目標(biāo)還是依賴(lài)于對(duì)目標(biāo)的拆解能力的，不排除有些童鞋表示“我就是不知道如何從比較宏大的目標(biāo)變成具體的小目標(biāo)，該用哪些指標(biāo)來(lái)表達(dá)呢”？ 或者之前就定的比較模糊，現(xiàn)在都改版完了，也沒(méi)辦法完善目標(biāo)了。那么，筆者先介紹一個(gè)從改版目標(biāo)推導(dǎo)到衡量指標(biāo)的思考模型，再介紹一個(gè)自身實(shí)踐總結(jié)的常用評(píng)估模型供參考。
1）從目標(biāo)到指標(biāo)的思考模型
當(dāng)確定了比較宏觀的目標(biāo)后，還需要找到能量化、細(xì)化目標(biāo)的指標(biāo)，這個(gè)推導(dǎo)的思路可以借鑒Google的GSM模型
2）評(píng)估模型參考
各個(gè)產(chǎn)品不同，當(dāng)然改版目標(biāo)也不同，但根據(jù)筆者的經(jīng)驗(yàn)，這些目標(biāo)基本可分為兩類(lèi)：體驗(yàn)?zāi)繕?biāo)（如：提升用戶(hù)滿(mǎn)意度）和商業(yè)目標(biāo)（如：提升付費(fèi)用戶(hù)規(guī)模）。所以，評(píng)估模型也按照體驗(yàn)和商業(yè)兩類(lèi)分別介紹。
① 用戶(hù)體驗(yàn)評(píng)估模型
由于用戶(hù)體驗(yàn)是指用戶(hù)在使用產(chǎn)品/服務(wù)時(shí)的主觀感受，這個(gè)概念包含的內(nèi)容比較多，且比較宏觀，必須找到合適的切入點(diǎn)（能較好解釋用戶(hù)體驗(yàn)的一些細(xì)分維度）和量化手段（可以觀察，收集到數(shù)據(jù)的指標(biāo)）才能有效評(píng)估體驗(yàn)的質(zhì)量。 在用戶(hù)體驗(yàn)領(lǐng)域，評(píng)估體驗(yàn)的模型，比較知名的有Google的HEART模型，但是由于國(guó)內(nèi)外產(chǎn)品、文化的差異性，導(dǎo)致該模型的適用性受限。1688UED的同學(xué)以用戶(hù)接觸和使用產(chǎn)品的路徑為主線(xiàn)，提出了用戶(hù)體驗(yàn)的五度模型，從吸引度、完成度、滿(mǎn)意度、忠誠(chéng)度和推薦度五個(gè)維度來(lái)評(píng)估和量化用戶(hù)體驗(yàn)質(zhì)量。
用戶(hù)體驗(yàn)質(zhì)量評(píng)價(jià)的“5度”模型
根據(jù)實(shí)踐發(fā)現(xiàn)，在B2B的業(yè)務(wù)中，由于競(jìng)爭(zhēng)、商業(yè)隱私的問(wèn)題，B類(lèi)用戶(hù)即使覺(jué)得產(chǎn)品體驗(yàn)不錯(cuò)，也未必愿意推薦給他人,因此推薦度未必適應(yīng)于B類(lèi)業(yè)務(wù)。而且根據(jù)NPS（凈推薦系統(tǒng)）的概念，推薦度/推薦意愿能較好的衡量忠誠(chéng)度，所以筆者認(rèn)為，不論是B類(lèi)C類(lèi)產(chǎn)品，吸引度、完成度、滿(mǎn)意度，忠誠(chéng)度四個(gè)維度就好較好的評(píng)估用戶(hù)體驗(yàn)。
另外，根據(jù)產(chǎn)品類(lèi)型不同，在評(píng)估用戶(hù)體驗(yàn)質(zhì)量時(shí)，以上四個(gè)維度的權(quán)重也是可以有區(qū)分的。比如，產(chǎn)品類(lèi)型可根據(jù)目的分為信息型（以展示，引流，介紹為目的的，比如首頁(yè)）和工具型（需要用戶(hù)操作較多的，如開(kāi)通流程，商品發(fā)布頁(yè)面等）。相應(yīng)的，信息型產(chǎn)品會(huì)需要更關(guān)注吸引度的目標(biāo)是否達(dá)成，工具型的產(chǎn)品更強(qiáng)調(diào)完成度。
② 商業(yè)價(jià)值評(píng)估模型
一般而言，業(yè)務(wù)目標(biāo)一般都比較容易量化，也會(huì)更具體，不難制定出相應(yīng)的衡量指標(biāo)。但為了便于后續(xù)的解讀和分析，可以考慮補(bǔ)充一些“解釋型”指標(biāo)，以常用的業(yè)務(wù)目標(biāo)：GMV（成交金額，收入等）為例，可以從影響GMV的因素入手，得到用戶(hù)規(guī)模/用戶(hù)量，客單價(jià)，轉(zhuǎn)化率等指標(biāo)。
GMV=用戶(hù)規(guī)模X客單價(jià)X轉(zhuǎn)化率
此處的用戶(hù)規(guī)模、轉(zhuǎn)化率等可以根據(jù)產(chǎn)品和改版目的的不同具體定義，比如活躍用戶(hù)，B類(lèi)用戶(hù)，購(gòu)買(mǎi)轉(zhuǎn)化率，點(diǎn)擊率等。
③ 評(píng)估模型和指標(biāo)參考示例
以下是筆者在五度模型的基礎(chǔ)上，結(jié)合在電商網(wǎng)站的實(shí)踐經(jīng)驗(yàn)總結(jié)的較為常用的模型和指標(biāo)，具體使用時(shí)還是要從自身產(chǎn)品特點(diǎn)（信息型VS工具型），改版目的入手來(lái)選擇適合的指標(biāo)。
3）關(guān)于指標(biāo)使用的建議
指標(biāo)的制定除了是衡量目標(biāo)是否達(dá)成外，還有個(gè)重要的作用在于幫助解讀分析改版結(jié)果，從而為目標(biāo)達(dá)成提供佐證和為后續(xù)的工作提供指導(dǎo)，因此，對(duì)于指標(biāo)的的數(shù)量和結(jié)構(gòu)的建議是
① 數(shù)量：每個(gè)目標(biāo)對(duì)應(yīng)的衡量指標(biāo)盡量2個(gè)及以上，方便不同的指標(biāo)相互佐證，提高結(jié)論的可信度
② 結(jié)構(gòu)：指標(biāo)分成結(jié)果型和原因型，這樣就能既監(jiān)測(cè)結(jié)果，又能提供解讀，原因型指標(biāo)最好能與本次改版的內(nèi)容（設(shè)計(jì)方案，功能等）相關(guān)，便于回顧分析改版內(nèi)容。
3、指標(biāo)數(shù)據(jù)的收集
此部分工作與調(diào)研和數(shù)據(jù)分析相關(guān)聯(lián)大，考慮到已有資料較多和本文篇幅問(wèn)題，就不再具體介紹實(shí)際操作的技巧了，提供一條經(jīng)驗(yàn)分享，由于需要比較改版前后的數(shù)據(jù)，因此指標(biāo)收集的工作盡量在新版上線(xiàn)前就開(kāi)始準(zhǔn)備和開(kāi)始，畢竟有些數(shù)據(jù)，尤其是老版本用戶(hù)評(píng)價(jià)的收集（問(wèn)卷投放和回收等）本身就需要一定時(shí)間，且新版本上線(xiàn)后也不適合再收集了，缺失了改版前的數(shù)據(jù)，自然無(wú)法比較和衡量效果了。
4、指標(biāo)的對(duì)比
在拿到指標(biāo)的數(shù)據(jù)后，對(duì)于設(shè)計(jì)師或產(chǎn)品經(jīng)理，就可以通過(guò)改版指標(biāo)數(shù)據(jù)的的變化來(lái)分析本次設(shè)計(jì)、功能的優(yōu)化的效果了。但是，需要提醒，產(chǎn)品并不是處在真空環(huán)境里，除了設(shè)計(jì)、功能的改變，同期還有很多因素在變化，因此改版前后數(shù)據(jù)的變化還會(huì)來(lái)自頁(yè)面上內(nèi)容/促銷(xiāo)活動(dòng)、全站流量變化（淡旺季，假期、所處生命周期階段，即如果產(chǎn)品處于快速成長(zhǎng)期，用戶(hù)規(guī)模等都是呈快速增加的趨勢(shì)的），用戶(hù)差異、用戶(hù)的適應(yīng)度（即：用戶(hù)使用新版初期，由于覺(jué)得新鮮需要探索從而產(chǎn)生了更多使用/點(diǎn)擊，這種情況主要出現(xiàn)在信息型產(chǎn)品里，如首頁(yè)等；或者由于不習(xí)慣，一時(shí)找不到功能入口，造成短期內(nèi)效率，滿(mǎn)意度等指標(biāo)下降。）等諸多因素。需注意不同類(lèi)型的產(chǎn)品（信息型、工具型）所受的影響及大小也會(huì)有差異。
為了相對(duì)更科學(xué)、客觀的了解設(shè)計(jì)、功能的改變帶來(lái)的效果，就需要把其他因素的作用盡量去除或減少。由于當(dāng)前改版的對(duì)比方式主要有兩種， A/B測(cè)試（新老版本同時(shí)在線(xiàn)）和前后對(duì)比測(cè)試，所以下文就分別針對(duì)兩種不同對(duì)比方式介紹一些對(duì)策。 必須指出，由于一些因素本身就難以區(qū)分開(kāi)，比如某個(gè)頁(yè)面上的功能和內(nèi)容（如新功能才有的新內(nèi)容/促銷(xiāo)活動(dòng)/商品）所以筆者目前也沒(méi)有很好的對(duì)策能區(qū)分開(kāi)這種因素對(duì)改版效果帶來(lái)的影響。
趨勢(shì)對(duì)比法：
【原理】：網(wǎng)站在不同的生命周期階段（成長(zhǎng)，衰退等），全站流量（包含改版頁(yè)面）與流量結(jié)構(gòu)的也都是動(dòng)態(tài)變化的，因此，如果改版頁(yè)面前后的變化幅度大于全站的變化幅度，則說(shuō)明改版有效果
【操作】：
step 1：改版后與去年同期流量對(duì)比，得到該頁(yè)面改版前后變化幅度
step 2：提取今年與去年同期全站的流量，得到網(wǎng)站年度變化幅度
step 3：如果改版前后變化幅度>網(wǎng)站年度變化幅度，則為改版帶來(lái)的作用
如果對(duì)改版效果的精準(zhǔn)性沒(méi)有那么高的要求，一般主要注意取數(shù)時(shí)避開(kāi)淡旺季、假期，等新版本上線(xiàn)一段時(shí)間再分析即可，如果條件允許，盡量使用A/B測(cè)試的同時(shí)對(duì)比方法。
5、指標(biāo)數(shù)據(jù)的解讀
在拿到改版前后的數(shù)據(jù)后，數(shù)據(jù)的解讀一般就容易開(kāi)展了，關(guān)于這個(gè)環(huán)節(jié)，有兩個(gè)小建議：
Tips 1: 多個(gè)指標(biāo)（如滿(mǎn)意度，用戶(hù)對(duì)某功能的點(diǎn)擊率）等配合使用，能彼此佐證和更好的解讀效果。
Tips 2: 改版前后數(shù)據(jù)的變化不僅能評(píng)估改版目標(biāo)是否達(dá)到，更是對(duì)設(shè)計(jì)、產(chǎn)品等相關(guān)項(xiàng)目組成員工作的反饋，值得根據(jù)指標(biāo)數(shù)據(jù)分析原因，更好指導(dǎo)以后的工作。
結(jié)合以上內(nèi)容可以發(fā)現(xiàn)，單次的效果評(píng)估需要投入的時(shí)間和人力資源較多，而且產(chǎn)生的價(jià)值也有限。其實(shí)，改版分析中收集到的這些數(shù)據(jù)還可以發(fā)揮更多用途，也可以采用工具化的方式提升效率。
1、從單次效果評(píng)估到體驗(yàn)摸底與監(jiān)測(cè)
對(duì)于經(jīng)常處于優(yōu)化迭代期的產(chǎn)品，本次改版后的數(shù)據(jù)和用戶(hù)反饋其實(shí)就可以作為下次改版前的參考；也能作為業(yè)務(wù)和體驗(yàn)水平的基準(zhǔn)數(shù)據(jù)，通過(guò)定期收集這種指標(biāo)數(shù)據(jù)，了解產(chǎn)品是否有異動(dòng)，從而起到體驗(yàn)監(jiān)測(cè)的作用。 而且，即使產(chǎn)品最近暫不改版，也可以參考評(píng)估模型的指標(biāo)對(duì)現(xiàn)有的體驗(yàn)水平進(jìn)行摸底，更好的了解用戶(hù)體驗(yàn)現(xiàn)狀。
2、工具化
為了提升效率，可以在數(shù)據(jù)收集環(huán)節(jié)多采用工具的方式來(lái)解決，比如，對(duì)于長(zhǎng)期，經(jīng)常觀察的后臺(tái)數(shù)據(jù)通過(guò)報(bào)表等方式展示，對(duì)于用戶(hù)反饋（如滿(mǎn)意度，忠誠(chéng)度）等體驗(yàn)指標(biāo)，也可以在產(chǎn)品內(nèi)長(zhǎng)期收集和監(jiān)測(cè)，既能提高取數(shù)的效率，也能避免忘記改版前收集數(shù)據(jù)，改版后無(wú)數(shù)可看的風(fēng)險(xiǎn)。
綜上，改版效果評(píng)估的調(diào)研工作可以歸納為：三個(gè)意識(shí)，五個(gè)環(huán)節(jié)，兩個(gè)擴(kuò)展。
藍(lán)藍(lán)設(shè)計(jì)( www.gyxygd.cn )是一家專(zhuān)注而深入的界面設(shè)計(jì)公司，為期望卓越的國(guó)內(nèi)外企業(yè)提供卓越的UI界面設(shè)計(jì)、BS界面設(shè)計(jì) 、 cs界面設(shè)計(jì) 、 ipad界面設(shè)計(jì) 、 包裝設(shè)計(jì) 、 圖標(biāo)定制 、 用戶(hù)體驗(yàn) 、交互設(shè)計(jì)、 網(wǎng)站建設(shè) 、平面設(shè)計(jì)服務(wù)
藍(lán)藍(lán)設(shè)計(jì)的小編 http://www.gyxygd.cn