用 AR 顯微鏡「圈出」腫瘤!Google 發表 AI 深度學習新平台

AI 加 AR,讓腫瘤在顯微鏡下無所遁形。
評論
透過擴增實境顯微鏡觀察到的視圖。這些圖像展示了4x、10x、20x和40x放大倍數下的淋巴結標本。Photo credit: Google Brain
評論

本文由 雷鋒網 譯自  Google Blog,作者為 Google 大腦團隊產品經理  Craig Mermel 和技術主管 Martin Stumpe,INSIDE 獲授權轉載。

深度學習技術近來在眼科、皮膚科、放射科和病理科等醫學學科領域展現出了極大的應用前景,它可以幫助為世界各地的患者提供更加精準、可用的高品質醫療服務。Google 近期也發佈了一項研究成果,該成果顯示,卷積神經網路檢測淋巴結中的乳腺癌轉移的準確率,可以媲美一名訓練有素的病理學家。然而,目前為止,用複合光學顯微鏡直接觀察組織仍然是病理學家診斷疾病的主要手段,如何將微觀組織進行數位化展示成了深度學習技術在病理學科大規模應用的關鍵挑戰。

今天,在美國癌症研究協會年會(AACR)的一個演講中,團隊透過一篇題為《擴增實境(AR)顯微鏡即時自動檢測癌症(正在審查)》的論文,介紹了一款擴增實境顯微鏡 (ARM) 的平台原型,團隊相信這款產品可以幫助加速深度學習技術在全球病理學領域的推廣應用。

該平台由一個經過改良的光學顯微鏡組成,能夠對圖像進行即時分析並直接在用戶的視野中顯示機器學習演算法的分析結果。

值得一提的是,只需使用低成本的、現成的元件,就可以將這款擴增實境顯微鏡改造成世界各地醫院和診所中常見的普通光學顯微鏡,而且無需對數位系統進行全面升級就能進行組織分析。

現代計算組件和深度學習模型——比如在 TensorFlow 平台上構建的模型,使得這個擴增實境顯微鏡平台能夠執行大量的預訓練模型。和使用傳統顯微鏡的方法一樣,用戶透過目鏡觀察樣品,機器學習演算法輸出的結果將即時投射到光路中,疊加在樣本的原始圖像之上,幫助觀察者快速定位和量化感興趣的特徵。而且,平台的計算和視覺回饋非常迅速——目前速度已經達到了 10 幀/秒,這意味著當用戶移動組織或放大倍數做進一步觀察時,可以獲得流暢、無縫的視覺體驗。

理論上,擴增實境顯微鏡可以提供各式各樣的視覺回饋,包括文本、箭頭、輪廓、熱圖和動畫,而且可以運行多種類型的機器學習演算法以應對不同的任務,比如目標檢測、量化和分類等。

為了示範擴增實境顯微鏡的功能,團隊讓其運行兩種不同的癌症檢測演算法:一種用於檢測淋巴結標本中的乳腺癌轉移,另一種用於檢測前列腺切除術標本中的前列腺癌。這些演算法可以在 4-40x 的放大倍數下運行,並用綠色輪廓勾畫出檢測到

▲左圖:擴增實境顯微鏡的原理概述。一台數位相機捕捉到與用戶相同的視場(FoV),然後將圖像傳送給一個附加的計算單元,該單元能夠運行即時推理的機器學習模型。隨後推理結果被回饋到一個特製的AR螢幕,該顯示螢幕與目鏡內聯,並將模型輸出的結果與標本顯示在同一平面上。右圖:該圖展示了平台原型被改造成典型臨床級光學顯微鏡後的樣子。Photo credit: Google Brain
▲左圖:擴增實境顯微鏡的原理概述。一台數位相機捕捉到與用戶相同的視場 (FoV),然後將圖像傳送給一個附加的計算單元,該單元能夠運行即時推理的機器學習模型。隨後推理結果被回饋到一個特製的 AR 螢幕,該顯示螢幕與目鏡內聯,並將模型輸出的結果與標本顯示在同一平面上。右圖:該圖展示了平台原型被改造成典型臨床級光學顯微鏡後的樣子。Photo credit: Google Brain

腫瘤的區域。這些輪廓可以幫助病理學家注意到感興趣的區域,而不至於遺漏外觀模糊的腫瘤細胞。

透過擴增實境顯微鏡觀察到的視圖。這些圖像展示了4x、10x、20x和40x放大倍數下的淋巴結標本。Photo credit: Google Brain
透過擴增實境顯微鏡觀察到的視圖。這些圖像展示了 4x、10x、20x 和 40x 放大倍數下的淋巴結標本。Photo credit: Google Brain

雖然這兩個癌症檢測模型並非用擴增實境顯微鏡直接捕獲的圖像進行訓練,但它們表現非常出色,無需額外的訓練。團隊相信,假如直接用擴增實境顯微鏡獲取的圖像做進一步訓練,這些演算法的表現還將繼續提升。

他們最初都是用來自一種光學結構完全不同的完整標本掃描儀的圖像訓練,但在擴增實境顯微鏡平台上的表現一樣非常出色,無需額外的再訓練。例如,淋巴結轉移檢測模型在擴增實境顯微鏡上運行時曲線面積達到了 0.98,前列腺癌檢測模型的曲線面積達到了 0.96,僅略低於 WSI 上得到的結果。

團隊相信,這款擴增實境顯微鏡將為全球衛生事業產生重大影響,尤其是在發展中國家的傳染病診斷方面——包括結核病和瘧疾等。此外,在即將採用數位病理工作流程的醫院,擴增實境顯微鏡也可以與數位工作流程結合使用。光學顯微鏡已經在很多產業已經證明其價值,但在病理學領域作用有限。團隊相信擴增實境顯微鏡可以應用於醫療、生命科學研究和材料科學等眾多領域。他們很高興能繼續探索這款擴增實境顯微鏡,幫助加速機器學習技術在世界各地產生積極影響。

延伸閱讀:


Cookie 消失?試試看全新 AI 影像內容辨識:讓用戶看的內容決定看到的廣告

Google Chrome 即將淘汰幫助廣告主的工具—— Cookie ,它的離去將再一次地影響數位廣告產業。
評論
Photo Credit:<a href="https://www.shutterstock.com/zh/image-photo/ai-artificial-intelligence-big-data-internet-1075853384" target="_blank">shutterstock</a>
評論

透過GA分析進站者發現, Safari的新客數越來越多,難道這表示 iOS 的用戶數也跟著增加了嗎?注意了,這有可能是 Apple 封鎖第三方 Cookie 帶來的影響。隨著 Google 即將淘汰 Chrome 上的 Cookie ,這個幫助廣告主記住用戶受眾的小工具,將要再一次地影響數位廣告產業。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

後 Cookie 時代的廣告受眾如何鎖定?

各大廣告平台在過去幾年不斷地透過 Cookie 以及其它方式,悄悄收集使用者的用戶數據,隨著這幾年用戶的隱私權意識抬頭, Apple 與 Google 對於藉由 Cookie 辨識用戶資料的廣告投遞方式,持有不同的態度,這也將是所有廣告主的極大挑戰。當 Cookie 不復存在,要如何辨識使用者資料?

Cookie 消失了,或許會有新的數據辨識工具來取代,但是任何試圖跟蹤受眾的方式,都難以符合大眾對於保護隱私權的期望。另一方面,也極有可能無法再通過日趨嚴格的媒體監管限制。無論如何,數位廣告不能像過去一樣,無條件地使用類似 Cookie 的追蹤方式,來達到與現在同樣的廣告效果。

後 Cookie 時代內容辨識類型的廣告鎖定方式,將成為未來具指標性的投放策略。廣告與瀏覽平台或內文主題的高相關性,不僅能顯著提高受眾的互動度,更重要的是,完全不需要收集任何個人數據。

FreakOut Taiwan 不斷嘗試更友善的廣告投遞形式, 自 2016 年進入台灣市場的原生廣告,到 2020 年末引進「 Mirrors 」 AI 影像視覺內容辨識系統,都是以網路使用者的角度出發。「 Mirrors 」不需要使用傳統的受眾興趣設定,即可針對「目標受眾在觀看的影像內容」、「品牌自身競爭對手或相關指定系列產品出現的影片」來投遞 YouTube 上的影音廣告。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

AI 人工智慧影像技術突破,推動新一代內容辨識功能

傳統的內容比對廣告皆為自然語言處理 NLP 中心,基於「純文字」的比對來顯示相關廣告,如大家很熟悉的 Google AdSense 。但是,結合新興的 AI 演算和複雜的圖像辨識,已然能夠達到「影片」的內容偵測,透過增加多個比對層和基於自然語言處理 NLP 的基準定位,可深度學習並提供更精細的辨識洞察力。

舉例來說,若想要將汽車廣告投放給對汽車有興趣的人,我們要先從可能對汽車感興趣的受眾中開始推估,並且根據過去的經驗加入不同的興趣條件,最後針對素材更進一步地測試。透過 Mirrors ,我們可以讓廣告出現在有滿足特定條件的影片內,例如:在消費者觀看的影片中,出現汽車評測報告、自家品牌或競爭對手的 LOGO 、代言人等指定條件,再依照不同廣告主設定的預算判斷是否露出廣告。

藉由這樣的影像比對方式,可以更有效地根據消費者行為觸發廣告投遞條件,而不再是現行的用戶受眾數據。人的興趣是多樣且多變的,當對汽車有興趣的用戶在完成汽車的選購後,短期內將不會再瀏覽相關資訊,轉而瀏覽其他更具時效性的內容。透過消費者當下正在觀看的影片內容,取代消費者身上被貼上的數位標籤,將更貼近消費者本身的使用行為。

Photo Credit:驚點股份有限公司( FreakOut Taiwan )

Mirrors AI 影像辨識:用消費者看的內容決定廣告

2021 年台灣數位報告指出,台灣人在各網路內容服務中,最愛「網路影片」的比例高達 97.9%,遠超過 Vlog、串流音樂、網路廣播、Podcast 。

影音廣告早已是品牌經營的趨勢:根據 DMA 2019 年台灣數位廣告量統計報告指出,台灣各類型廣告中,影音廣告以 37.2% 的成長比例大幅領先奪冠。其中 YouTube 持續蟬聯台灣最常被造訪網站第 2 名(僅次於 Google ) ,在台灣各大影音平台中的觸及率及影響力不容小覷。

2021 年 FreakOut Taiwan 已與客戶合作,進行搭載新系統的 YouTube 串流內廣告投遞,在針對品牌及產品客製化的多層鎖定策略建議下,房地產廣告的 CTR 表現高於平均,並發現「人臉」群組辨識表現為佳,其中多為財經、名嘴等名人。而美妝品牌廣告 VTR 表現優異,則以品牌「 Logo 」、「人臉」群組有最出色的表現。

本文章內容由「驚點股份有限公司( FreakOut Taiwan )」提供,經關鍵評論網媒體集團廣編企劃編審。