1. 引言
視覺是我們最重要的感官之一，使我們能夠看到我們周圍的世界。我們的眼球運動包含重要的信息，我們的面部表情也是如此。通過觀察用戶的眼球運動，以及注視和面部表情，我們可以更多地了解潛意識過程。這可以通過眼球追蹤技術來完成。結合面部表情分析技術，這為用戶體驗、客戶偏好和欣賞提供了寶貴的見解。
長久以來表情和眼動分析就被用于用戶體驗研究的相關項目中，表情和眼動的定量化分析方法，能夠幫助用戶研究人員，更加準確的了解和描述用戶的產品使用過程，為產品原型、產品素材、宣發材料等各種材料提供更加科學和客觀的驗證結果。
比如MEUX在21年與諾達思合作的一項研究中就通過眼動的方式探究視頻類APP，標題在視頻窗口上方或下方，對用戶瀏覽模式的影響。
還有用戶體驗界大名鼎鼎的尼爾森諾曼集團，在2020年發表的文章中提到，他們在眼動分析項目中，發現用戶在瀏覽產品頁面時會存在“割草機模式”的瀏覽習慣，也即習慣從頁面內容左上角開始，向右移動到末尾，然后向下折返瀏覽。
還有早在06年的時候，魯汶大學的研究者就是用FaceReader軟件，對用戶產品使用過程中的愉悅體驗進行測量，發現用戶瀏覽網站時，看到網站相關設計亮點時，會不自覺地流露出積極的面部表情，當用戶遇到困難或者對內容感到困惑時，會流露出負面的面部表情。
1.1什么是眼動分析？
眼動追蹤是一種測量眼球運動的技術，可以知道一個人在看什么，他們在看什么，以及他們的目光在特定位置停留了多長時間。用戶視線停止移動的區域稱為“注視”，注視是我們視覺注意加工信息的最基本單元，而用戶眼睛在注視點之間的移動稱為“眼跳”。通過可視化呈現，我們可以看到眼睛在頁面上的瀏覽路徑。
通過觀察我們如何閱讀文本，可以理解“注視”和“眼跳”這兩個概念。我們經常聽到高效的讀者“掃描”文本。在眼球運動方面，一個高效的讀者往往有較小的注視點和更長的眼跳，而較弱的讀者往往有更長的注視時間和更短的眼跳。差異可以在下圖中清楚地看到。左邊的那個是一個更強的讀者，可以快速輕松地在文本中移動，而右邊的那個是一個較弱的讀者。
眼動分析一般是通過一個專用的硬件——眼動儀，捕捉用戶在使用產品時，用戶的注視點位置。眼動儀是一個比較精密的科研儀器，集成了外攝像機、紅外燈，以及最重要的眼球識別的技術。眼動分析的開展離不開專業的硬件，這也就意味著設備的使用成本較高，并且相關專業人員的培養也是不小的投入。由于這類的問題，使得眼動技術雖然能很好反應用戶使用產品的完整過程，但只有在一些較大的公司才會使用到該技術。
1.2什么是面部表情分析？
面部表情分析則是通過一個AI算法，學習了人類分類表情的基本規則，進而定量化的輸出用戶在使用產品期間，或者關鍵的事件點上，表情變化的基本強度值。該算法能通過一個普通攝像機拍攝的畫面，自動找到用戶面部500個特征點，并進行建模，進而計算出用戶7中基本表情的強度值，和20個微表情動作單元的變化。由于是純軟件的算法，因此已經有云分析平臺了，使用者只需要上傳自己希望測試的材料或者網頁連接，便能夠輕松完成大樣本的定量表情測試。
1.3結合兩種手段的優勢
這兩種生物測量的技術手段在實際用戶體驗研究項目中各有優劣，眼動能夠較好的還原用戶的認知過程，比如用戶在尋找自己訂單信息時，首先會在哪些地方尋找，他看到哪些信息后，會產生點擊“我的”這個操作，這樣認知信息的還原基本能回到產品體驗中遇到的70%的問題，而另外30%則是用戶使用產品過程中的情緒感受的結果。比如用戶尋找訂單時，哪些關鍵時刻讓他產生眉毛下降的表情動作，哪些版本的界面設計能讓用戶在較高情緒效價水平下完成任務。
因此很多的研究者也試圖同時使用這兩種工具，來進行產品相關研究，比如2015年的時候蒙德拉貢大學的研究者就提出了將兩者結合的方法，并將這種方法稱為眼臉分析系統，研究者使用這樣的多維度測量手段，能更加全面的對產品進行體驗評估。
Eyeface由兩個計算機工作站組成，每個工作站都運行特定的工具，即眼球追蹤和面部表情識別。對于這項研究工作中，Facereader的網絡攝像頭安裝在眼球追蹤設備的頂部。因此對普通的用戶研究人員，要使用這樣的多通道的分析技術，幾乎不現實，而所有問題的癥結就在于眼動分析需要有額外的硬件，沒法做到*的遠程在線收集數據。
隨著近年來AI技術的逐步發展，和相關模型算法的完善，通過一個普通攝像頭識別用戶的眼動逐漸變得可行，基于這樣的背景下，諾達思公司聯合了位于阿姆斯特丹的VicarVision，一起開發了一套通過普通攝像頭識別用戶眼動的算法，并將該算法集成到了在線面部表情分析平臺中，使得以往只能在實驗室由專業研究者開展的測試，變成了一個人人都能夠使用的在線分析平臺。
2. AI同時識別眼動和表情的原理介紹
該技術發源于荷蘭地方政府資助的一個科研ICT高科技項目，Noldus和VicarVision花費了近24個月，開發一個突破性的系統，使用簡單的網絡攝像頭跟蹤眼球運動。結合現有的面部表情分析，就能夠提供先進的解決方案，用于測量使用筆記本電腦、平板電腦或智能手機的用戶的體驗感受。
2.1評估瞳孔大小：一項具有挑戰性的任務
對于瞳孔直徑的估計，我們實施并分析了兩種方法：一種是基于使用經典計算機視覺（經典CV）的方法，一種是基于深度學習的方法。兩種方法都對虹膜圖像進行了分割，使虹膜圖像中間的區域與眼睛的瞳孔相近，見深度學習方法（左上圖）和經典CV方法（右圖）的處理步驟示例。在測試中，使用了手動標注的圖片和Tobii nano pro（眼動儀）瞳孔直徑輸出。可以分析的圖片數量有差異，深度學習方法可以分析*的圖片，經典方法可以分析70%的圖片。
在整個數據集中，我們對結果進行了充分的混合。一些被試的某些任務，測量的瞳孔大小和真值之間有很強的相關性（r = 0.86），但其他的任務卻沒有顯示出任何相關性。平均來說，有一個中度的正相關，兩種方法的表現相似（DL：r = 0.39 vs. CV：r = 0.37）。有幾個被試中發現了強烈的正相關，但這些人都是藍眼睛，沒有眼鏡。瞳孔和周圍虹膜之間的強烈對比對于瞳孔大小的估計很重要。這對顏色較深的眼睛和用光反射覆蓋瞳孔的眼睛來說是一個挑戰。相比之下，紅外光有一個優勢，因為不可見的紅外光可以照亮虹膜而不干擾瞳孔的大小。另一個困難是缺乏合適的數據集。大多數可用的數據集只存在于紅外線中，缺乏可見光的特征問題。
我們的研究表明，在某些情況下，從USB攝像頭中估計瞳孔直徑是可能的，但還沒有準備好實施。未來的研究可以通過增加可用數據量和進一步改進預處理步驟來優化當前的方法。
2.2眼動跟蹤：已經可以落地使用
我們開發的EyeReader算法，可以估計用戶注視方向，并將其與屏幕上的圖像聯系起來。神經網絡通過許多標記的屏幕位置和視頻記錄的數據集進行訓練，以學習眼睛的圖像和注視向量之間的關系。在一個校準任務的幫助下，用戶跟隨屏幕上的點，屏幕上的2D X和Y點可以被定量解碼。用我們自己的驗證數據集進行的測試表明，該系統預測屏幕上的注視點的平均偏差為2.4厘米（屏幕的平均偏差為5.2%）。這與市面上其他競爭對手相當。結果顯示，與單獨的屏幕相比，在筆記本電腦上執行的任務的準確度略高（見下面的左圖）。這可能是由于筆記本電腦的尺寸和固定位置。藍色和棕色的眼睛顏色之間沒有大的差別。眼鏡，當它很厚并且有光反射時，在某些情況下會降低結果的準確性。
2.3EyeReader
當比較EyeReader和Tobii Nano眼動儀（科研級）的注視估計時，發現每個類別的總注視時間的估計之間有很強的相關性（見上面的右圖）。這些結果表明，EyeReader非常適用于研究現實的用戶體驗項目，可以通過該手段獲得一個非常清晰的眼動結果。你可以在一個靈活機動的實驗室環境中使用EyeReader，也可以在FaceReader Online平臺中進行在線測試（見下面的熱圖例子）。
2.4面部表情識別
面部表情識別系統，FaceReader是一個用于面部分析的軟件。它可以檢測面部表情。FaceReader已被訓練為將表情歸入以下類別之一：快樂、悲傷、憤怒、驚訝、恐懼、厭惡和中性。這些情緒類別被心理學家Ekman描述為基本或人類統一的情緒。面部表情的強度各不相同，而且往往是各種情緒的混合。此外，人與人之間也有相當多的差異。
FaceReader可以對上述的表情進行分類。也可以自己軟件添加自定義表情。除了面部表情之外，FaceReader還提供了一些額外的分類。例如，它可以檢測目光方向以及眼睛和嘴巴是否閉合。
FaceReader根據以下步驟對面部表情進行分類。
1.人臉識別。人臉在圖像中的位置是通過基于深度學習的人臉識別算法找到的，該算法在圖像中搜索不同比例的人臉區域。
該算法搜索圖像中不同比例的具有人臉外觀的區域。
2.面部建模。FaceReader使用了一種基于深度神經網絡的面部建模技術。它合成了一個人工面部模型，描述了468個關鍵點的位置。
描述臉部468個關鍵點的位置。它是一種單程快速方法，可以直接估計臉部的全部關鍵點。在初步估計之后，關鍵點用主成分分析法進行壓縮。這導致了描述臉部狀態的高度壓縮的矢量代表。
3.面部分類。然后，通過訓練有素的深度人工神經網絡對面部表情進行分類，以識別面部的模式。
FaceReader直接從圖像像素中對面部表情進行分類。超過20,000張經過人工標注的圖像被用來訓練人工神經網絡。
該網絡被訓練用來對Ekman定義的六種基本或普遍的情緒進行分類：快樂、悲傷、憤怒、驚訝、恐懼和厭惡。此外，該網絡還被訓練用來對FaceReader中的面部動作單元進行分類，以識別 "中性 "狀態和分析 "輕蔑"。
3. FaceReader-Online在線面部表情眼動分析平臺
面部表情分析引擎自07年發布以來，經過16年迭代，目前已經到了第九版。16年間各地超過1000個研究單位使用該軟件，發表超過3000篇科研論文。諾達思在此AI引擎的基礎上，結合微軟Azure云的優勢，開發了在線版的面部表情分析系統FaceReader-Online（以下簡稱FRO）。
FRO通過情緒的捕捉與分析,可以了解受測人員對商業廣告、電影預告片、網站等的喜好度、注意力等，從而為客戶提供更客觀的評價和見解。FRO可以創建一個或多個項目，簡言之，您只需給被試發一個測試鏈接，等待被試回應,完成測試后系統會自動分析，結果清晰可見,非常方便快捷。
2022年，在新技術的加持下，FRO的分析引擎也增加了眼動分析功能，能通過受試者的電腦攝像機，自動識別用戶在瀏覽網頁、使用產品原型時的情緒和注意力變化情況。
如何使用
只需三步便可完成FRO的相關設置：
1. 定義你的項目；
2. 邀請用戶測試，收集數據；
3. 查看分析結果。
3.1定義項目
在您從諾達思獲取賬號后，可以通過鏈接訪問FRO平臺，登錄之后只需要選擇新建一個分析項目即可。接下來您需要上傳您的測試材料，比如視頻廣告，或者相關App素材，測試原型鏈接等，之后您需要設置您的測試流程，如何時給用戶呈現視頻或圖片材料，原型測試鏈接的相關指引，測試時長有多少，結束后是否添加相關問題等。設置好試驗后，您可以進行相關的預覽和測試。
3.2邀請用戶
準備好測試相關流程后，FRO會自動生成一個在線測試鏈接，您可以將該鏈接直接發送給被測試的用戶人群，也可以將該鏈接整合到你已有的問卷系統中。之后便可以輕松的在系統后臺中看到測試的進度，以及收集到的數據質量。
3.3查看分析結果
FRO會對收集到的數據進行自動的分析，分析結束后我們便可以在后臺看到收集到的相關數據。分析數據前我們可以首先選擇對比的方式，我們可以對比不同用戶群體在使用同一個用戶界面時的結果和感受，也可以對比多個不同版本的用戶界面設計。除此以外，也能夠對數據做清洗，去除錄像效果較差的數據。
添加結果之后，FRO會以圖標和表格的形式呈現數據，直觀對比不同版本的材料間，用戶在完成測試腳本期間表情的變化情況，如下圖示例中，可以看到新版網站用戶在尋找相關產品信息時，表情更加積極；用戶在瀏覽舊網站時，會有更多消極表情，而這些消極表情，主要是由于用戶瀏覽網站過程中的困惑，困難產生的，如用戶找不到相關信息時會不自覺的皺眉頭等。
眼動分析中，除了傳統的熱區圖以外，我們還能對感興趣的頁面區域做劃分，了解用戶進入當前頁面瀏覽時第一次看到我們目標區域花了多長時間（首視時間），看相關區域一共花了多長時間，以此可以定量對比不同版本的設計，對用戶產生的具體影響情況。
限于篇幅，我們僅就面部表情和眼動分析中的部分結果呈現做了展示，更多豐富的內容可以進入查看。也可聯系我們進行免費試用。
4. 應用前景
在豐富了FRO分析平臺從眼動到表情識別的分析能力后，FRO的應用方向迎來了更多的想象空間，除了傳統的一些用戶體驗相關的視頻或者圖片素材的測試外，還能對一些概念原型做相關評估，包括但不限于如下內容：網頁網站的可用性評估、廣告創意評估、圖片材料評估、產品貨架測試、產品包裝測試、虛擬門店測試、行為心理研究、預告片評估、精神疾病評估等。
FRO能使得以往需要耗費數萬元一次的線下眼動、表情測試，以標準化的線上測試的形式呈現，用以往五分之一的價格，便能完成一次表情+眼動的定量實驗研究，特別是在疾病流行的當下，能幫助客戶更加高效的開展遠程的用戶體驗測試項目。
關注諾達思公眾號，獲取更多產品信息及學術文章！
