2020-12-15 濤濤
互聯網下半場，所有的比拼都在產品體驗；然而“體驗”是一個非常抽象的詞，我們怎么把一個抽象的概念拆解成可落地執行的策略，作用到企業中后臺產品上，怎么衡量策略的有效性，這一直是我們團隊面臨的重大課題。
業界關于體驗度量的經驗
目前關于“體驗度量”比較成熟的理論模型當屬 Google 的 HEART 模型，另外還有 ISO 9126 軟件質量模型和Davis 的 TAM 技術接受模型。后人在此基礎上進行了很多實踐，譬如 SAP 的用戶體驗問卷（UEQ）、Oracle 的客戶體驗價值公式（CX）等。公司內部各個 BU 也在不斷的嘗試和探索，譬如新零售技術團隊的 TES 模型。技術團隊研發效能的 DEVA 模型，國際 UED 語音設計的 HII 模型，阿里云的 QoUE 模型。縱觀這些模型和實踐，大多是主觀數據和客觀數據的結合。
我們團隊也曾提出過 TECH 、PTECH 模型，但由于模型的操作門檻較高、對埋點數據有不少要求，難以推廣到各條業務線。痛定思痛后，我們決定重新回歸業務，回歸“體驗度量”的初心，去繁從簡，提高通用性。
企業中后臺產品的特點
企業級中后臺產品最大的特點是任務性質非常明確；用戶使用這類產品通常是為了解決某個確定的問題點，期待用新的解決方式降本增效。
桌面研究也表明：可用性問題是軟件行業的普遍問題：在英國，一般商用計算機用戶只有30%-40%的有效生產率；軟件缺陷中，48%是可用性問題。
正是基于上述原因，我們嘗試提出了“兩章一分”的標準，分別從設計驗收、可用性測試、易用度分數等三個維度對產品體驗進行體檢和把關。
什么是「兩章一分」
1. 設計驗收章
“設計驗收章”主要有 3 個維度：產品還原度、任務流程跑通率、單頁面加載時間。
產品還原度：指技術同學的最終產出與設計稿之間的差異；
匯總人工智能線、技術風險線等 5 個產品近 1 年的可用性測試結果。除功能、性能問題外，高頻體驗問題主要集中在“幫助引導”、“操作反饋”、“任務流程”、“概念術語”、“功能入口”這 5 個方面。同時，結合之前項目沉淀的設計經驗和設計工具，我們最終將“產品還原度”的子維度定為“信息導航”、“幫助引導”、“操作反饋”、“文案名詞”；每個子維度用 2-3 句描述來進行評分。
任務流程跑通率：驗收確認能跑通的主干任務流程數，在所有主干任務流程數中的占比；舉個例子，設計稿中枚舉了 10 條主干任務流程，驗收發現其中 9 條已跑通，那么任務流程跑通率就是 9/10*100%=90%。
單頁面加載時間：接入雨燕性能指標數據的產品看“首次有效渲染時長 fmp”這個指標；未接入的產品直接主觀判斷，超過 3 秒的視為不合格。
2. 可用性測試章
“可用性測試章”也在驗收階段執行，同樣有三個參評維度：最終完成率、人均求助次數和高阻礙頁面。
我們沒有考慮將可用性測試的常用指標——操作時長作為參評維度，主要原因是企業中后臺產品類型多、使用場景復雜程度各自不同：用語雀創建企業空間只需要 5 分鐘；用云鳳蝶搭建一個后臺頁面可能需要 60 分鐘，用 sofa stack 創建并發布一個應用可能需要 2-3 個小時……難以確定可以作為標準的具體操作時長。
3. 易用度分數
“易用度分數”標準為 5.5 分。
「兩章一分」的實踐
截至 2020 年 9 月，已有 58 個 產品實踐過“兩章一分”系列方法，基本覆蓋平臺設計團隊支撐的重點項目及 UV 超過 100 的產品。詳細數據如下圖：
完整體驗“兩章一分”的 18 個產品，僅可用性測試就幫助發現 364 個問題，平均每個產品發現 20 個問題；其中，“九州2.0 發布部署”發現問題數多達 53 個。
設計驗收：共創式驗收
企業中后臺產品生產階段中，由于一般沒有專門的測試同學，因此設計驗收都是由設計師或 PD 單獨執行，沒有作為必選環節，有時候甚至會因為開發周期緊張而直接略過；既沒有方法論，又缺乏儀式感。
“兩章一分”的實踐中，我們首次踐行“共創式驗收”，以項目組會議的方式，邀請各個角色共同參與到驗收環節中：如果產品沒有什么技術門檻，那么各個角色分別獨立操作核心流程；如果產品有一定的技術門檻，則由技術同學操作核心流程，同時共享屏幕，其他同學從旁觀察。操作完畢后，項目組內共同討論發現的體驗問題，并將問題落地到 Aone 中進行排期管理落地。
可用性測試：引入“技術支持”+圈定測試人數+ 線上測試降成本
企業中后臺產品通常有一定的技術門檻，以 SOFAstack的測試任務為例：
使用 sofaboot 技術棧，創建 “hello world” 應用，通過“經典版”發布部署模式發布成功。
測試過程中經常會出現一些涉及到底層技術系統的問題，非設計同學能解決，因此我們建議做企業中后臺產品的可用性測試時，需要配備至少一名技術支持同學，以備不時之需。
Jakob Nielsen 在 2000年提出測試 5 人就能發現 85%的可用性問題；結合我們的實際業務場景：有些產品真實客戶非常難找；前期“共創式驗收”已跑通核心主干流程；因此我們將測試人數限制為 3 人。
我們開始實操案例時，恰逢疫情期間，于是就引入了線上遠程測試的方式；后續實踐下來，發現遠程測試能在觀察、分析階段顯著降低執行成本。
通過釘釘或阿里郎發起視頻會議，邀請參加測試和觀察的同學入會，請測試用戶共享操作屏幕，主持人錄屏捕捉用戶操作軌跡，PD、技術等項目組成員從旁觀察。測試結束后，使用語音轉文本工具，快速將音頻轉成文字。這種模式最大的好處有兩點：
執行階段的多樣化
最開始提出“兩章一分”的時候，我們原本希望這套標準能被作為判斷產品體驗是否好用，能否上線的標準之一；但實際并未推動成功。這里面有很多原因，其中一個非常實際的問題是很多產品需要調用線上數據庫才能跑通核心流程，在測試階段沒法跑通；這就導致在測試階段做可用性測試無法真實還原用戶場景。
此外，設計師或 PD 新接手某款產品時，也希望能通過可用性測試的方式來快速了解產品問題。回歸到“兩章一分”的初心——幫助產品發現體驗問題，因此，我們拓展了方法的執行階段，不再局限于測試或驗證階段，只要場景適合，都可以用。
產品簡介
LinkE 研發運維中心是云通未來 Serverless 戰場的重要產品；業務方希望用該產品來整合研發同學日常高頻使用的研發、運維、中間件平臺，大幅減少平臺割裂和跳轉，提供沉浸式的產品體驗。
目前該產品還處于 0-1 建設的階段。
實踐過程
結果用戶在任務 2 遇到高阻礙頁面，導致可用性測試結果為“不通過”，任務 2 的易用度分為僅 4.4 分，顯著低于 5.5 分的參考標準；最終發現 30+ 問題點，并推動 PD 思考產品邏輯設置是否合理。
實踐效果
在實踐過程中，我們發現企業中后臺產品的典型場景大致可以分為 4 個場景；不同場景面臨的設計項目有所偏重；不同設計項目在體驗度量方面的切入點也有所不同。譬如：云鳳蝶是一個典型的沉浸式畫布頁面，所有操作幾乎都是通過編輯器屬性面板來調整，那么如何來評估編輯器的效率呢？通過一系列實踐和思考，我們提出可以通過“高頻屬性查找、配置的步驟數和時間”、“設置相同組件屬性的耗時變化”等指標進行衡量。以下是我們根據不同典型場景、設計項目提出的體驗度量切入點。
「兩章一分」的未來
經過 S1 長達幾個月的探索：我們制定了“兩章一分”的標準；對 30+ 產品進行了易用度分數的測試，捕捉分數基線；提煉實操方法技巧，并賦能給各位設計師；聯合設計師和業務方跑通近 20 個案例。不管是問題發現數量，還是設計師、業務方的主觀反饋，都讓我們堅定“兩章一分”在企業中后臺產品體驗優化中是一個相對有效的模式。為此，S2 我們打算繼續深化。
我們團隊當前支持的企業中后臺產品以 0-1 階段產品為主，PD 通常缺少用戶意識和體驗優化手段，這就導致了設計稿還原度較差、產品上手門檻較高。針對這一現狀，我們嘗試性地提出了“兩章一分”這個評價標準，從設計驗收、可用性測試、易用度分數 3 個維度來評價產品當前的體驗現狀。
通過 S1 50+ 產品的實操，我們一邊不斷完善評價標準和實操經驗，一邊總結體驗度量經驗；共幫助 18 個產品發現 364 個產品，并在 link 、sofa 等重點產品線中落地到業務生產環節中，在業務方層面收到良好反饋。
在這過程中，我們總結了適合不同場景、不同設計項目的體驗度量切入點，驗證了這種方式在當前企業中后臺產品中確實有效。后續我們將嘗試細化標準，閉環案例，對內對外發聲等方式，更好地推動體驗思維在企業中后臺產品生根發芽；同時，也期待能跟對這塊感興趣的同行朋友們多多交流。
藍藍設計( www.gyxygd.cn )是一家專注而深入的界面設計公司，為期望卓越的國內外企業提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 、平面設計服務