TWI778718B - 用於檢體玻片的刮取指引系統及其方法 - Google Patents

Abstract

本發明提供一種用於檢體玻片的刮取指引系統及其方法。系統透過互動介面顯示檢體的電子影像，用戶可調整參數值來即時變換標記在電子影像上的分析結果，系統將電子影像上分割為多個子區域，基於分析結果選擇至少一部分的子區域並進行標記，產生並輸出刮取指引。透過疊合本發明所輸出的刮取指引與實體玻片，可對實體玻片起到標記效果，而可以輔助用戶有效率地執行檢體刮取。

Description

用於檢體玻片的刮取指引系統及其方法

本發明係與指引刮取操作有關，特別有關於指引檢體玻片的刮取。

於現有的刮取檢體的方法中，多是由專業臨床人員閱覽檢體的實體玻片後，以人工判斷需要刮取的區域，再進行刮取操作。

前述人工判斷刮取區域的方法，其正確性與效率完全仰賴臨床人員的專業度，但如此作法並無法確保不同臨床人員的判讀標準或圈選做法一致，進而導致檢體品質參差不齊。

是以，現有刮取檢體存在上述問題，而亟待更有效的方案被提出。

本發明之主要目的，係在於提供一種指引檢體玻片的刮取系統與刮取方法，可產生並輸出用來輔助刮取檢體的刮取指引。

於一實施例中，一種用於檢體玻片的刮取指引方法，包括：一顯示步驟，包括於一互動介面顯示一檢體的一電子影像，其中該電子影像上標記 一第一參數值的一第一分析結果；一變更步驟，包括於接受參數值變更操作時，顯示使用所變更的一第二參數值的一第二分析結果進行標記的該電子影像，其中該第一分析結果與該第二分析結果是以不同平滑度來表示目標細胞的分佈；一分割步驟，包括將該電子影像與一區域分割圖進行疊合，以將該電子影像分割為多個子區域，其中該區域分割圖的一輸出尺寸是對應該檢體的一實體玻片的尺寸；一選擇步驟，包括基於分析結果選擇至少一部分的該子區域；及，一指引步驟，包括於該區域分割中對所選擇的該子區域進行標記以產生一刮取指引，並基於該輸出尺寸對該刮取指引進行輸出，其中於輸出的該刮取指引與該實體玻片疊合後，該刮取指引中的標記對該實體玻片起到標記效果。

於一實施例中，一種用於檢體玻片的刮取指引系統，包括：一影像庫，用以儲存一檢體的一電子影像；及，一平台端，連接該影像庫，該平台端用以經由網路與一用戶端建立網路連線，並提供一互動介面至該用戶端，該平台端被配置來於該互動介面顯示使用一第一參數值的一第一分析結果進行標記的該電子影像，並於經由該互動介面接受一參數值變更操作時，於該互動介面顯示使用所變更的一第二參數值的一第二分析結果進行標記的該電子影像，該平台端被配置來於該互動介面疊合該電子影像與一區域分割圖，以將該電子影像分割為多個子區域，該區域分割圖的一輸出尺寸是對應該檢體的一實體玻片的尺寸，該平台端被配置來基於分析結果選擇至少一部分的該子區域，於該區域分割圖中對所選擇的該子區域進行標記以產生一刮取指引，並基於該輸出尺寸對該刮取指引進行輸出，其中於輸出的該刮取指引與該實體玻片疊合後，該刮取指引中的標記對該實體玻片起到標記效果。

透過疊合本發明所輸出的刮取指引與實體玻片，可對實體玻片起到標記效果，可以輔助用戶有效率地執行檢體刮取，並提升檢體刮取標準的一 致性。

1:平台端

10:處理模組

100:web模組

101:互動控制模組

102:輸出控制模組

11:儲存模組

110:儲存陣列

12:通訊模組

13:人機介面

2:用戶端

20:處理器

21:輸入裝置

22:顯示器

220:電子刮取指引

23:網路裝置

24:列印裝置

25:儲存裝置

3:識別與分析模組

30:學習模型

31:演算法模組

4:資料庫

40:影像庫

41:結果庫

50:實體刮取指引

51:實體玻片

60:參數值變換模組

61:分割模組

62:手動選擇模組

63:自動選擇模組

630:純度計算模組

631:外接計算模組

632:推薦區域決策模組

633:區域限縮模組

64:渲染模組

65:指引產生模組

66:影像調整模組

70-71、80-81:群集

72、82:網格區域

S10-S15:產生刮取指引步驟

S20-S24:變更參數值步驟

S30-S32:手動選擇步驟

S40-S47:自動選擇步驟

S50-S54:校準輸出尺寸步驟

S60-S64:產生分析結果步驟

S70-S72:目標識別與分析步驟

S80-S73:細胞識別與分析步驟

S90-93:分析與濾波步驟

圖1為目前的檢體的刮取與檢驗程序。

圖2為本發明的一實施例的刮取指引系統的架構圖。

圖3為本發明的一實施例的平台端的處理模組的架構圖。

圖4為本發明的一實施例的刮取指引方法的流程圖。

圖5為本發明的一實施例的變更參數值的流程圖。

圖6為本發明的一實施例的選擇子區域的流程圖。

圖7為本發明的一實施例的校準輸出尺寸的流程圖。

圖8為本發明的一實施例的產生分析結果的流程圖。

圖9為本發明的一實施例的目標識別與分析的流程圖。

圖10為本發明的一實施例的細胞識別與分析的流程圖。

圖11為本發明的一實施例的生成參數值的分析結果的流程圖。

圖12為本發明的一實施例的選擇子區域的介面示意圖。

圖13為本發明的一實施例的標記子區域的介面示意圖。

圖14為本發明的一實施例的刮取指引的使用示意圖。

圖15為本發明的一實施例的基於第一參數值標記電子影像的示意圖。

圖16為本發明的一實施例的基於第二參數值標記電子影像的示意圖。

圖17為本發明的一實施例的刻度量測的示意圖。

圖18為基於圖17的校準輸出尺寸的示意圖。

圖19為基於圖18所產生的刮取指引的示意圖。

茲就本發明之一較佳實施方式，配合圖式，詳細說明如後。

請參閱圖1，為目前的檢體的刮取與檢驗程序。目前有一種電腦輔助的檢體刮取的方法，可以輔助臨床人員識別需要刮取的檢體位置。

具體而言，取得檢體(如手術切下的病變組織或其他待檢測組織)後，檢體被切割為多個薄切片，並以多個實體玻片作為載體。這些實體玻片上的檢體的薄切片，由於是取自相同組織位置，通常具有相同或相似的外觀與細胞組成。

並且，這些實體玻片的其中之一會被用來掃描成電子圖像，即檢體的薄切片的電子圖像。透過電腦對電子圖像執行特徵分析，可以產生分析結果，如病變組織於電子圖像中的位置。

接著，臨床人員可看著電腦螢幕顯示的分析結果，在剩餘的實體玻片上對目標細胞(如腫瘤細胞或其他病變細胞)進行人工標記，以標記要刮取的位置。

最後，臨床人員對人工標記的位置進行刮取，並將刮取取下來的組織送交專門的檢驗單位進行檢驗分析，如次世代定序(Next Generation Sequencing，NGS)。

然而，當臨床人員看著電腦螢幕來對實體玻片進行人工標記，由於虛實之間的落差，臨床人員很難準確地圈選出正確的位置，而容易造成標記誤差。

此外，上述電腦輔助的檢體刮取的方法只能顯示一組預設標準(擴增固定腫瘤邊界)的分析結果，並無法提供不同預設標準的分析結果供臨床人員比較或選擇，而無法符合臨床的變化需求。

此外，由於實體玻片製作容易受到切割或撈片影響(刀痕、組織龜裂或位置偏移等)，即便是兩片位置相鄰的組織玻片在形狀與特徵上也未必相同，這使得電腦螢幕顯示的分析結果可能無法與實體玻片完全對應，而無法準確進行比對，即特徵分析用的實體玻片的檢體與刮取用的實體玻片的檢體可能存在型態差異。

為解決上述問題，本發明提出一種檢體玻片的刮取指引系統與刮取指引方法，可以自動建議刮取區域，並產生刮取指引。並且，當用戶(如臨床人員)將輸出的刮取指引與實體玻片疊合後，刮取指引可以明確地標示出適合刮取的位置。

此外，本發明的刮取指引系統與刮取指引方法，還可供臨床人員快速切換不同嚴謹度(參數值)的不同分析結果，藉以選擇適合目前分析結果的刮取區域。

請一併參閱圖2，為本發明的一實施例的刮取指引系統的架構圖。本發明的刮取指引系統主要包括透過網路(如網際網路或區域網路)連接的平台端1與用戶端2。

平台端1(如伺服器或雲端服務平台等可提供網路服務的電腦設備)用來架設網站(web服務)，並透過網站提供電子影像與其刮取指引的服務。

用戶端2(如桌上型電腦、筆記型電腦、平板電腦等，可由用戶操作的電腦設備)用來透過網路連接平台端1，以供用戶可透過操作網頁來對指定的檢體的電子影像執行刮取指引(電子刮取指引220)的生成與編輯。

並且，用戶可操作用戶端2來輸出電子刮取指引220以獲得實體刮取指引50(如紙本)，將實體刮取指引50與檢體的實體玻片51進行疊合。

藉此，實體刮取指引50可對實體玻片51起到標記作用，而使用戶可依據標記來對實體玻片51進行檢體的刮取。

值得一提的是，前述電子刮取指引220與實體刮取指引50是虛實對應，即實體刮取指引50是實體化的電子刮取指引220。本發明藉由將實體化刮取指引，可以排除虛實之間的落差，而提升標記的效率與正確性。

於一實施例中，平台端1可包括儲存模組11、通訊模組12、人機介面13與電性連接上述元件的處理模組10。

儲存模組11(如RAM、EEPROM、固態硬碟、磁碟硬碟、快閃記憶體等儲存裝置或其任意組合)用以儲存資料。通訊模組12(如網路介面卡，NIC)用以連接網路(如網際網路)，並透過網路與外部設備(如用戶端2、資料庫4及/或識別與分析模組3)通訊。人機介面13(包括輸入介面與輸出介面，如滑鼠、鍵盤、各式按鍵、觸控板、顯示器、觸控螢幕、投影模組等)用以供平台端1的操作者(如網管人員)進行互動。處理模組10(可為CPU、GPU、TPU、MCU等處理器或其任意組合)，用以控制平台端1並實現本發明所提出之功能。

於一實施例中，處理模組10可包括web模組100、互動控制模組101及/或輸出控制模組102。

web模組100(如網站伺服器端模組)被設定來提供網頁服務，以透過網頁協定(如HTTP或HTTPS)與用戶端2連接。

於一實施例中，web模組100可對用戶端2進行驗證(如帳號密碼驗證，一次性密碼驗證、綁定硬體驗證等)，並於用戶端2通過驗證後才允許使用服務。

互動控制模組101，被設定來產生於用戶端2中所顯示的網頁中的互動介面(可為圖形使用者介面(GUI)，如圖12至圖19所示介面)，並透過此互動介面接收用戶端2的操作與顯示資訊給用戶。

輸出控制模組102，被設定來傳送所產生(編輯完成)的刮取指引至用戶端2。

於一實施例中，用戶端2可包括輸入裝置21、顯示器22、網路裝置23、列印裝置24、儲存裝置25與電性連接上述裝置的處理器20。

輸入裝置21(如滑鼠、鍵盤、觸控板等)用以供用戶輸入資料或操作。顯示器22(如液晶顯示器、投影機、觸控螢幕等)用以顯示資訊(如顯示網頁與所產生的電子刮取指引220)。網路裝置23(如網路介面卡，NIC)用以連接網路(如網際網路)，並透過網路與外部設備(如平台端1)通訊。列印裝置24(如印表機)用以列印電子刮取指引220為實體刮取指引50，如列印於紙本或薄透明板，或直接列印於實體玻片51上等，不加以限定。儲存裝置25(如RAM、EEPROM、固態硬碟、磁碟硬碟、快閃記憶體等儲存裝置或其任意組合)用以儲存資料。處理器20(如CPU、GPU、TPU、MCU等處理器或其任意組合)，用以控制用戶端2。

於一實施例中，平台端1可資訊連接(如透過網路連接或透過本機線路連接)識別與分析模組3。識別與分析模組3可建置於伺服器或雲端服務平台(如Amazon Web Service、Google Cloud Platform或Microsoft Azure等)，並用來對電子影像進行目標識別與分析(容後詳述)。

於一實施例中，識別與分析模組3可直接內建於平台端1。

於一實施例中，識別與分析模組3可基於人工智慧(AI，Artificial Intelligence)執行影像自動識別與分析，並包括學習模型30與演算法模組31。

學習模型30(如分類器)可被設定來基於機器學習執行影像分類(如細胞的影像分類)。

演算法模組31被設定來使用學習模型30識別細胞(如非目標細胞與目標細胞)，並可計算各目標細胞所在位置的細胞數量。

於一實施例中，平台端1可資訊連接(如透過網路)用以儲存大量資料的資料庫4(例如是網路資料庫、本地資料庫、關聯式資料庫等資料庫或其組合)。

於一實施例中，平台端1可包括影像庫40，影像庫40可儲存多個檢體的多個電子影像。

於一實施例中，平台端1可包括結果庫41。結果庫41可儲存各檢體的電子影像的分析結果(如後述的結果儲存陣列110)。

請一併參閱圖3，為本發明的一實施例的平台端的處理模組的架構圖。處理模組10可包括模組60-66，自動選擇模組63可包括模組630-633。

這些模組60-66、630-633、圖2的模組100-102、與識別與分析模組3分別被設定來執行不同的功能(容後詳述)。

前述模組是相互連接(可為電性連接與資訊連接)，並可為硬體模組(例如是電子電路模組、積體電路模組、SoC等等)、軟體模組(例如是韌體、作業系統或應用程式)或軟硬體模組混搭，不加以限定。

值得一提的是，當前述模組為軟體模組(例如是韌體、作業系統或應用程式)時，平台端1的儲存模組11可包括非暫態電腦可讀取記錄媒體，前述非暫態電腦可讀取記錄媒體儲存有電腦程式，電腦程式記錄有電腦可執行之程式碼，當處理模組10執行前述程式碼後，可實現對應模組之功能。

請一併參閱圖4，為本發明的一實施例的刮取指引方法的流程圖。本發明各實施例的刮取指引方法可透過圖2-3所示的刮取指引系統來加以實現。

於本實施例的刮取指引方法中，平台端1可透過網路與web模組100提供web服務給用戶端2。用戶端2可向平台端1發出服務使用請求並進行身分驗證，並於通過驗證後登入網頁(亦可不驗證)，並顯示平台端1透過互動控制模組101提供的互動介面。

步驟S10：平台端1可於互動介面上顯示檢體的電子影像。於一實施例中，用戶端2可透過互動介面選擇指定的檢體的電子影像，平台端1則自影像庫40載入所指定的電子影像(如蘇木精與伊紅(H&E)染色玻片影像)。

步驟S11：平台端1可設定參數值(可為系統預設或由用戶端2設定)，取得參數值的分析結果，並透過渲染模組64將分析結果標記在電子影像上。

於一實施例中，結果庫41可預先儲存同一電子影像(同一檢體)使用不同參數值的不同分析結果，並依據當前設定的參數值讀取對應的分析結果。

於一實施例中，不同參數值表示不同的嚴謹度或平滑度(容後詳述)，不同參數值的不同分析結果是以不同平滑度來表示目標細胞的分佈狀態。

於一實施例中，不同參數值的不同分析結果是分別對應不同嚴謹度的標記。

於一實施例中，平台端1可於載入電子影像後即時產生不同參數值的不同分析結果，並依據用戶所設定的參數值，呈現對應的分析結果於電子影像。

於一實施例中，用戶端2可即時切換不同的參數值(如自第一參數值切換至第二參數值)，來使平台端2即時於電子影像上呈現不同的分析結果(如自第一分析結果變換至第二分析結果)。

步驟S12：平台端1可透過分割模組61疊合電子影像與區域分割圖，來將電子影像分割為多個子區域。前述區域分割圖的輸出尺寸是對應檢體的實體玻片的尺寸(如相同或固定比例)。

步驟S13：平台端1可透過自動選擇模組63來基於分析結果自動選擇至少一部分的子區域(如選擇一部分或選擇全部，不加以限定)，如目標細胞所在或容易刮取的子區域。

於一實施例中，平台端1可透過手動選擇模組62來供用戶端2手動選擇子區域。

於一實施例中，平台端1可透過渲染模組64來即時於互動介面中呈現被選擇的子區域。

步驟S14：平台端1可透過指引產生模組65於區域分割圖中對所選擇的子區域進行標記來產生刮取指引(電子刮取指引220)。

於一實施例中，平台端1可透過渲染模組64來即時於互動介面中呈現所產生的電子刮取指引220。

步驟S15：平台端1透過輸出控制模組102輸出具有指定輸出尺寸的刮取指引至用戶端2。

於一實施例中，平台端1可要求用戶端2允許控制列印裝置24來列印所產生的刮取指引為紙本。

於一實施例中，用戶端2可主動列印出具有指定輸出尺寸的刮取指引(實體刮取指引50)。並且，所印出的刮取指引與實體玻片51疊合後，刮取指引中的標記對實體玻片51的建議刮取位置起到標記效果。

藉此，透過疊合本發明所輸出的刮取指引與實體玻片，可對實體玻片起到標記效果，而可以輔助用戶有效率地執行檢體刮取。

請一併參閱圖12至圖14，圖12為本發明的一實施例的選擇子區域的介面示意圖。圖13為本發明的一實施例的標記子區域的介面示意圖，圖14為本發明的一實施例的刮取指引的使用示意圖。圖12至圖14用以示例性說明本發明的一種具體實施樣態。

於本例子中，如圖12、13所示，區域分割圖包括多條格線，重疊電子影像的多條格線將電子影像的檢體影像分割為多個網格區域，以作為多個子區域。

平台端1可於互動介面中，將目前的參數值的分析結果呈現在電子影像上，以於電子影像上顯示目標細胞的圈選標記(如對目標細胞所在位置進行圈選)。前述圈選標記的平滑度是隨參數值改變。

此外，平台端1可於互動介面中顯示分為多個子區域的電子影像，並自動選擇建議刮取(如目標細胞的純度較高)的子區域，如多個網格區域的群集70、71。

於一實施例中，平台端1還可依據各網格區域的目標細胞的純度(如腫瘤細胞純度，Tumor Cell Purity，TCP)執行不同顏色或圖案的標記，如純度越高的網格區域顏色越深。

於一實施例中，平台端1還可於互動介面顯示不建議刮取(如目標細胞的純度過低)的子區域，如網格區域72。

此外，用戶端2可手動對網格區域進行選擇或取消選擇，來改變群集70、71的範圍

如圖13所示，於選擇完成後，用戶端2可請求產生電子刮取指引。本例子的刮取指引是以線條標記(或如圖19所示，以色塊標記)要對檢體進行刮取的位置。

接著，如圖14所示，電子刮取指引經過列印為實體刮取指引後，可用來與實體玻片疊合，而使得實體刮取指引上的標記(如群集70、71的範圍標記與網格區域72的範圍標記)可以明確對實體玻片中的檢體切片起到標記效果，而使用戶可以正確且有效率的進行刮取操作。

請一併參閱圖5，為本發明的一實施例的變更參數值的流程圖。相較於圖4的刮取指引方法，本實施例的刮取指引方法進一步提供由步驟S20-S24所實現的參數值變更功能。

步驟S20：平台端1切換至參數值設定模式。於一實施例中，平台端1可於載入電子影像(步驟S10)後即切換至參數值設定模式，以供用戶端2設定適合的參數值。

步驟S21：平台端1透過參數值變換模組60識別目前設定的參數值(如第一參數值)，並獲取目前的參數值的的分析結果(如第一分析結果)。

於一實施例中，平台端1可取得電子影像的檢體影像的各影像位置的目標細胞(如腫瘤細胞等病變細胞)的數量或純度，前述資訊可預先分析完成並儲存於結果庫41(如透過後述之步驟S60-S64)。接著，平台端1依據所有參數值，計算不同嚴謹度的目標細胞分佈位置，並將這些計算後的位置加入至對應參數值的分析結果，以供後續用戶選擇時呈現。

更進一步地，前述不同參數值分別對應不同嚴謹度。本發明主要是基於不同參數值計算出具有不同的平滑度的目標細胞的分佈標記。當平滑度越高，表示目標細胞認定範圍越廣，即認定目標細胞的嚴謹程度越低；當平 滑度越低，表示目標細胞認定範圍越窄，即認定目標細胞的嚴謹程度越高。藉此，本發明可提供用戶取得不同嚴謹程度下所辨識的目標細胞的分佈。

步驟S22：平台端1透過渲染模組64將目前的參數值的分析結果標記於電子影像上，如於電子影像中呈現分析結果，以使用具有對應的平滑度的標記來圈出目標細胞分佈位置的影像位置(如圖12所示的目標細胞的影像位置)。

步驟S23：平台端1透過參數值變換模組60偵測是否透過互動介面接受用戶端2的參數值變更操作。

若用戶端2變更參數值，則識別變換後的新的參數值(如第二參數值)，再次執行步驟S21-S22，以獲取新的參數值的分析結果(如第二分析結果)，並使用新的分析結果對電子影像進行標記。

若用戶端2未變更參數值或已決定最終參數值則執行步驟S24：平台端1判斷是否離開參數值設定模式，如用戶是否確定不再變更參數值。

若不離開參數值設定模式，則再次執行步驟S23以再次偵測。否則，繼續執行方法的其他步驟。

藉此，本發明可提供不同嚴謹度的分析結果，即具有不同平滑度的標記，而可滿足臨床上的不同嚴謹度需求。

請一併參閱圖11，為生成參數值的分析結果的流程圖。相較於圖4與圖5的刮取指引方法，本實施例的刮取指引方法進一步提供由步驟S90-S93所實現的不同嚴謹度的目標細胞的分析結果。

於本實施例中，是以不同參數值表示不同嚴謹度，並依據不同參數值控制濾波保留的影像細節程度。

步驟S90：平台端1讀取所有可能的參數值。如事先指定多個嚴謹度等級，並將多個嚴謹度等級分別對應至多個參數值)。舉例來說，參數值50對應到較低的嚴謹度；參數值70對應到較高的嚴謹度。

步驟S91：平台端1依據不同參數值計算對應的濾波遮罩。不同參數值所對應的不同濾波遮罩是分別具有不同的濾波能力，如用來濾除不同頻率範圍的訊號。

步驟S92：平台端1使用不同參數值的不同濾波遮罩來分別對影像頻域執行濾波處理，以獲得不同濾波遮罩的不同濾波結果。

於一實施例中，平台端1是先將電子影像自空間域轉換至頻域(如透過傅立葉轉換、快速傅立葉轉換等)，再執行前述濾波處理。

於一實施例中，前述濾波遮罩是低通濾波遮罩，各濾波遮罩是用來於濾波處理中過濾不同頻率範圍的高頻訊號。如較廣的低通濾波遮罩會過濾較多的高頻訊號(嚴謹度較低)，較窄的低通濾波遮罩會保留較多的高頻訊號(嚴謹度較高)。

步驟S93：經過濾波處理，平台端1可獲得不同參數值(不同濾波遮罩)下的目標細胞的影像位置，來作為此參數值的分析結果，並儲存至資料庫4。

藉此，本發明可產生不同的嚴謹度的分析結果。

請一併參閱圖15至圖16，圖15為本發明的一實施例的基於第一參數值標記電子影像的示意圖，圖16為本發明的一實施例的基於第二參數值標記電子影像的示意圖。

本例子中，目標細胞為活體腫瘤細胞(Variable Cancer Cell，VCC)。於本例子中，參數值表示呈現VCC的嚴謹度，且參數值是與嚴謹度成 正比。即參數值越高，嚴謹度越高(標記邊界越精細，而不易圈選)；參數值越低，嚴謹度越低(標記邊界越平滑，而容易圈選)，但不以此限定。

於另一例子中，參數值可被設定為與嚴謹度成反比。即參數值越高，嚴謹度越低；參數值越低，嚴謹度越高。

值得一提的是，本發明可基於不同參數值來控制濾波處理(如圖11所示步驟)中標記細節的保留程度，以提供不同的嚴謹度。

圖15中，參數值為70，即設定較高的嚴謹度。於此設定下，濾波處理會保留較多的高頻訊號(即細節部分)，產生較細緻的VCC的影像位置的標示，進而提供嚴謹度較高的VCC位置的偵測結果。

圖16中，參數值為50，即設定較低的嚴謹度。於此設定下，濾波處理會保留較少的高頻訊號，產生較粗略的VCC的影像位置的標示，進而提供嚴謹度較低的VCC位置的偵測結果。

藉此，本發明可供用戶依據不同嚴謹度需求設定不同的參數值，並即時閱覽對應的分析結果，而可以提供不同標準的分析結果供臨床人員比較或選擇，以避免無法符合臨床的變化需求。

圖6為本發明的一實施例的選擇子區域的流程圖。相較於圖4的刮取指引方法，本實施例的刮取指引方法於步驟S13中，進一步提供由步驟S30-S32所實現的手動選擇模式與步驟S40-S47所實現的自動選擇模式。

手動選擇模式包括以下步驟：

步驟S30：平台端1透過手動選擇模組62與互動介面接受用戶端2的子區域選擇操作，前述子區域選擇操作是選擇或取消選擇至少一子區域。

步驟S31：平台端1透過手動選擇模組62將步驟S30中所選擇的子區域的狀態變更為已選擇、未選擇或不刮取。

於一實施例中，當子區域被第一次選擇時，其狀態自未選擇變更為已選擇；當子區域被第二次選擇時，其狀態自已選擇變更為未選擇。

於一實施例中，用戶端2可直接設定部分子區域的狀態為不刮取(如目標細胞的純度較低的區域或不容易刮取的區域)，以避免後續誤刮取此區域。

步驟S32：平台端1透過渲染模組64即時於互動介面呈現所有子區域的變更後的狀態。

自動選擇模式包括以下步驟。

步驟S40：平台端1透過純度計算模組630取得電子影像的各子區域的純度，並挑選出純度大於預設純度(如30%、50%或70%)的子區域。

步驟S41：平台端1透過外接計算模組631於所選擇的多個子區域中，將相鄰的多個子區域群集設定為範圍較廣的候選區域。

於一實施例中，平台端1可產生多個子區域的最小外接矩形區域當作候選區域。

值得一提的是，由於單一子區域的面積過小，不容易刮取。本發明透過群集多個相鄰且適合刮取的子區域為較大的建議範圍，可有效提升刮取操作的正確性與效率。

步驟S42：平台端1透過推薦區域決策模組632逐一判斷各候選區域是否符合預設條件。

於一實施例中，前述預設條件可包括候選區域的純度不小於預設純度(如30%、50%或70%等)。

於一實施例中，前述預設條件可包括候選區域的目標細胞的數量不小於預設數量(如5000、10000、15000、20000等)。

若有任一候選區域符合預設條件，則對此符合的候選區域執行步驟S43：平台端1透過推薦區域決策模組632將符合的候選區域設定為推薦區域。

若有任一候選區域不符合預設條件，則對此不符合的候選區域執行步驟S44：平台端1透過區域限縮模組633縮減候選區域的範圍(如排除一或多個子區域)，以使縮減後的候選區域符合預設條件並被設定為推薦區域。

於一實施例中，平台端1可透過區域限縮模組633計算對此不符合的候選區域的每一邊的目標細胞的純度，並排除純度最低的一邊的子區域，藉以提升縮減後的候選區域的整體純度。

於一實施例中，平台端1可直接將不符合的候選區域設定為非推薦區域，或者於不符合的候選區域已縮減為空白區域後，將其設定為非推薦區域。

步驟S45：平台端1判斷是否有任一推薦區域產生。

若有任一推薦區域產生，則執行步驟S46：平台端1透過渲染模組64於互動介面的電子影像中呈現推薦區域。

若沒有任一推薦區域產生，則可直接發出無推薦區域的警示，或執行步驟S47：平台端1透過渲染模組64於互動介面的電子影像中呈現涵蓋目標細胞的子區域，以作為用戶端2手動選擇的參考。

於一實施例中，平台端1可進一步透過渲染模組64於互動介面的電子影像中呈現所有子區域，並提供各子區域的目標細胞數量與非目標細胞數量。

請一併參閱圖7、圖17-19，圖7為本發明的一實施例的校準輸出尺寸的流程圖，圖17為本發明的一實施例的刻度量測的示意圖，圖18為基於圖17的校準輸出尺寸的示意圖，圖19為基於圖18所產生的刮取指引的示意圖。

相較於圖4的刮取指引方法，本實施例的刮取指引方法於輸出刮取指引前，進一步提供由步驟S50-S54所實現的校準輸出尺寸。

步驟S50：用戶可先將實體玻片中的檢體對準實體的區域分割圖(於圖17中為實體網格紙)，並確認應對刻度(於圖17中為(12,8)的長寬刻度)。

前述實體的區域分割圖與前述用來分割電子影像的區域分割圖具有相對應的尺寸。

步驟S51：平台端1透過影像調整模組66透過互動介面接受刻度輸入操作，以取得輸入刻度。

如圖18上圖所示，用戶端2可將當前刻度(X,Y)=(12,9)修改為步驟S51所量測的實際刻度(X,Y)=(12,8)，即輸入刻度。

步驟S52：平台端1透過影像調整模組66調整電子影像的輸出尺寸，以使電子影像的當前刻度符合輸入刻度。

於一實施例中，平台端1是對電子影像與刮取指引進行等比例縮放，以使縮放後的電子影像與刮取指引的輸出尺寸符合輸入刻度。

如圖18下圖所示，由於電子影像被縮放，刮取指引的群集70-71與網格區域72的範圍與位置也會隨之縮放與移動，而變更為群集80-81與網格區域82。

步驟S53：平台端1透過指引產生模組65輸出調整後的刮取指引，此刮取指引的輸出尺寸已於步驟S52中被一併調整。

接著，用戶端2可基於調整後的輸出尺寸列印調整後的刮取指引。藉此，所印出的刮取指引可以符合實體玻片的檢體的尺寸。

如圖19所示，由於等比例縮放，調整後的刮取指引(帶有色塊標記的實體網格紙)的群集80-81與網格區域82將可能不會對齊格線，但卻更符合實體玻片的尺寸。

步驟S54：平台端1可將所印出的帶有標記的刮取指引與實體玻片與待刮取的實體玻片對齊，並依標示進行刮取。

藉此，本發明可彌補特徵分析用的實體玻片的檢體與刮取用的實體玻片的檢體之間的型態差異，而提升刮取操作的正確性。

請一併參閱圖8，為本發明的一實施例的產生分析結果的流程圖。相較於圖4的刮取指引方法，本實施例的刮取指引方法進一步提供由步驟S60-S64所實現的分析結果計算功能。前述分析結果計算功能可計算指定的電子影像的詳細分析結果，以供作為選擇子區域，提供步驟S21的資料獲取來源。

步驟S60：平台端1透過識別與分析模組3於儲存模組11中建立目前選擇的電子影像的結果儲存陣列110。

步驟S61：平台端1透過識別與分析模組3逐一讀取電子影像的各子影像(區域影像)，並對各子影像執行步驟S62-63，直到對整張電子影像完成處理。

值得一提的是由於電子影像的解析度相當高，必須要極高規格的硬體設備才能同時對整張電子影像執行識別與分析處理，本發明透過對子影像分批執行處理，可有效降低對於硬體規格的需求。

步驟S62：平台端1透過識別與分析模組3對各子影像執行目標識別與分析，以識別各子影像中目標細胞的數量，作為子影像的分析結果。

於一實施例中，識別與分析模組3可使用基於機器學習(如基於目標細胞的影像特徵訓練而成)的分類器(如學習模型30)於子影像中識別各目標細胞。

於一實施例中，識別與分析模組3可使用學習模型30執行模型預測，來計算每個位置的目標細胞數量，並可搭配演算法模組31的預測演算法(如 卷積網路)所預測目標細胞位置與FRST演算法所產生的細胞核位置，藉以計算每個子區域中的目標細胞數值。

步驟S63：平台端1將各子影像的分析結果儲存至結果儲存陣列110的對應記憶體位置。當所有子影像完成分析後，即可獲得此電子影像的結果儲存陣列110，結果儲存陣列110記錄有各影像位置的目標細胞相關資訊。

於一實施例中，完成的結果儲存陣列110可被儲存於結果庫41中。

步驟S64：平台端1基於結果儲存陣列110取得所有電子影像中目標細胞的位置，並進行儲存，如儲存於結果庫41。

藉此，本發明可產生電子影像的詳盡分析資訊，而可作為後續選擇刮取區域的參考。

請一併參閱圖9，為本發明的一實施例的目標識別與分析的流程圖。相較於前述的刮取指引方法，本實施例的刮取指引方法進一步提供由步驟S70-S72所實現的目標細胞的分析功能。

步驟S70：平台端1透過識別與分析模組3取得所有細胞的位置，並取得所有目標細胞的位置，如透過AI自動識別。

步驟S71：平台端1透過識別與分析模組3計算各目標細胞所在位置的細胞數量，以計算各影像位置的純度。

步驟S72：平台端1計算各子區域的目標細胞與非目標細胞的數量。

藉此，本發明可計算各影像位置的目標細胞純度與數量。

請一併參閱圖10，為本發明的一實施例的細胞識別與分析的流程圖。相較於前述的刮取指引方法，本實施例的刮取指引方法進一步提供由步驟S80-S83所實現的目標細胞的定位功能。

步驟S80：平台端1讀取顏色轉換矩陣。前述顏色轉換矩陣是基於所要識別的目標細胞的類型與所採用的染色法來加以決定，如對於腫瘤細胞可採用蘇木精與伊紅(H&E)染色轉換矩陣。

步驟S81：平台端1使用顏色轉換矩陣拆解各子影像為不同色的多個染色影像通道。

於一實施例中，當目標細胞為腫瘤細胞，電子影像為蘇木精-伊紅染色的病理影像時，可使用顏色轉換矩陣拆解RGB影像(電子影像)為蘇木精染色通道影像與伊紅染色通道影像。

步驟S82：平台端1對各染色影像通道影像執行識別處理，以識別各染色影像通道影像所對應的細胞類型的細胞位置影像。

於一實施例中，平台端1可在蘇木精染色通道影像用FRST演算法偵測細胞位置影像。

值得一提的是，染料蘇木精可以將嗜鹼性結構染成藍紫色，嗜鹼性結構通常包括含有核酸的部分，染色主要將細胞核染色成藍紫色；而伊紅可以將嗜酸性結構染成粉紅色，嗜酸性結構則通常由細胞內及細胞間的蛋白質構成。

步驟S83：平台端1轉換各細胞位置影像為細胞座標(如影像座標)，並儲存細胞座標並存於前述結果儲存陣列110中。

藉此，本發明可有效識別各細胞的具體位置。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之申請專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

S10-S15:刮取指引產生步驟

Claims (20)

1. 一種用於檢體玻片的刮取指引方法，包括：一顯示步驟，包括於一互動介面顯示一檢體的一電子影像，其中該電子影像上標記一第一參數值的一第一分析結果；一變更步驟，包括於接受參數值變更操作時，顯示使用所變更的一第二參數值的一第二分析結果進行標記的該電子影像，其中該第一分析結果與該第二分析結果是以不同平滑度來表示目標細胞的分佈；一分割步驟，包括將該電子影像與一區域分割圖進行疊合，以將該電子影像分割為多個子區域，其中該區域分割圖的一輸出尺寸是對應該檢體的一實體玻片的尺寸；一選擇步驟，包括基於分析結果選擇至少一部分的該子區域；及一指引步驟，包括於該區域分割中對所選擇的該子區域進行標記以產生一刮取指引，並基於該輸出尺寸對該刮取指引進行輸出，其中於輸出的該刮取指引與該實體玻片疊合後，該刮取指引中的標記對該實體玻片起到標記效果。
2. 如請求項1所述之用於檢體玻片的刮取指引方法，其中該區域分割圖包括多條格線，重疊該電子影像的該多條格線將該電子影像的檢體影像分割為多個網格區域，以作為該多個子區域；其中，對該刮取指引進行輸出包括控制一列印裝置來列印該刮取指引為紙本；其中，該刮取指引包括以線條或色塊標記要對該檢體進行刮取的位置；其中，該互動介面為圖形使用者介面。
3. 如請求項1所述之用於檢體玻片的刮取指引方法，其中於該顯示步驟前，更包括： 於一平台端透過網路提供web服務至一用戶端；及於該用戶端通過驗證後，透過網頁顯示該互動介面。
4. 如請求項1所述之用於檢體玻片的刮取指引方法，其中該變更步驟包括：透過該互動介面接受該參數值變更操作時，識別該參數值變更操作所選擇的該第二參數值；自一資料庫中獲取該第二參數值的該第二分析結果；及於該電子影像上呈現該第二分析結果以對該電子影像中的該目標細胞的分佈進行標記。
5. 如請求項4所述之用於檢體玻片的刮取指引方法，其中於獲取該第一分析結果或該第二分析結果之前包括：獲取多個不同的參數值；計算各該參數值所對應的一濾波遮罩，其中各該濾波遮罩是分別用來濾除不同頻率範圍的訊號；基於各該濾波遮罩分別對該電子影像的頻域執行一濾波處理來獲得各該參數值的一分析結果，其中各該分析結果是以不同平滑度來對該目標細胞的影像位置進行標記；及將所有該分析結果儲存至該資料庫；其中，該目標細胞為病變細胞。
6. 如請求項1所述之用於檢體玻片的刮取指引方法，其中該選擇步驟包括：於透過該互動介面接受一子區域選擇操作時，基於該子區域選擇操作變更所選擇的該子區域的狀態為已選擇、未選擇或不刮取；及於該互動介面呈現該子區域的變更後的狀態。
7. 如請求項1所述之用於檢體玻片的刮取指引方法，其中該選擇步驟包括：取得該電子影像的各該子區域的純度；挑選該純度大於一預設純度的該子區域，並將所選擇的相鄰的該多個子區域的群集設定為一候選區域；及於任一該候選區域符合一預設條件時，將該候選區域設定為推薦區域。
8. 如請求項7所述之用於檢體玻片的刮取指引方法，其中該選擇步驟更包括：於任一該候選區域不符合該預設條件時，縮減該候選區域以使符合該預設條件或設定為非推薦區域。
9. 如請求項1所述之用於檢體玻片的刮取指引方法，其中於輸出該刮取指引前包括：透過該互動介面接受一刻度輸入操作，以取得一輸入刻度；調整該電子影像的該輸出尺寸，以使該電子影像的當前刻度符合該輸入刻度；其中，該指引步驟是基於調整後的該輸出尺寸輸出該刮取指引，以使輸出的該刮取指引符合該實體玻片的該檢體的尺寸。
10. 如請求項1所述之用於檢體玻片的刮取指引方法，其中於該顯示步驟前更包括：建立該電子影像的一結果儲存陣列；讀取該電子影像的各子影像，對各該子影像執行一目標識別與分析，以識別各該子影像中目標細胞的數量，作為該子影像的一分析結果；將各該子影像的該分析結果儲存至該結果儲存陣列；及基於該結果儲存陣列儲存所有該目標細胞的位置。
11. 如請求項10所述之用於檢體玻片的刮取指引方法，其中該目標識別與分析包括使用基於機器學習的一分類器於該子影像中識別各該目標細胞。
12. 如請求項11所述之用於檢體玻片的刮取指引方法，其中該目標識別與分析包括：計算各該目標細胞所在位置的細胞數量；及計算各該子區域的該目標細胞與非目標細胞的數量。
13. 如請求項11所述之用於檢體玻片的刮取指引方法，其中，識別該目標細胞包括：讀取一顏色轉換矩陣；使用該顏色轉換矩陣拆解各該子影像為不同色的多個染色影像通道；對各該染色影像通道執行識別處理，以識別該染色影像通道所對應的細胞類型的細胞位置影像；及轉換各該細胞位置影像為細胞座標，並儲存該細胞座標。
14. 一種用於檢體玻片的刮取指引系統，包括：一影像庫，用以儲存一檢體的一電子影像；及一平台端，連接該影像庫，該平台端用以經由網路與一用戶端建立網路連線，並提供一互動介面至該用戶端；其中，該平台端被配置來於該互動介面顯示使用一第一參數值的一第一分析結果進行標記的該電子影像，並於經由該互動介面接受一參數值變更操作時，於該互動介面顯示使用所變更的一第二參數值的一第二分析結果進行標記的該電子影像； 其中，該平台端被配置來於該互動介面疊合該電子影像與一區域分割圖，以將該電子影像分割為多個子區域，該區域分割圖的一輸出尺寸是對應該檢體的一實體玻片的尺寸；其中，該平台端被配置來基於分析結果選擇至少一部分的該子區域，於該區域分割圖中對所選擇的該子區域進行標記以產生一刮取指引，並基於該輸出尺寸對該刮取指引進行輸出；其中，於輸出的該刮取指引與該實體玻片疊合後，該刮取指引中的標記對該實體玻片起到標記效果；其中，其中該第一分析結果與該第二分析結果是以不同平滑度來表示目標細胞的分佈。
15. 如請求項14所述之用於檢體玻片的刮取指引系統，其中該平台端包括一web模組，被設定來提供網頁服務，以透過網頁協定連接該用戶端，並對該用戶端進行驗證；一互動控制模組，用以產生顯示於該用戶端的該互動介面，並透過該互動介面接收操作與顯示資訊，其中該互動介面為圖形使用者介面；及一輸出控制模組，用以傳送該刮取指引至該用戶端，以使該用戶端的一列印裝置列印該刮取指引為該輸出尺寸的紙本。
16. 如請求項14所述之用於檢體玻片的刮取指引系統，其中該互動介面包括一參數值變更介面；該系統包括一資料庫，用以儲存多個參數值的多個分析結果；其中，該平台端連接該資料庫，並包括：一參數值變換模組，被設定來於透過該參數值變更介面偵測到該參數值變更操作時，識別該參數值變更操作所選擇的該第二參數值，自該資料庫獲取該 第二參數值的該第二分析結果，並於該電子影像上呈現該第二分析結果以對該電子影像中的該目標細胞的分佈進行標記；一分割模組，被設定來將基於重疊該電子影像的該區域分割圖的多條格線將該電子影像的檢體影像分割為多個網格區域，以作為該多個子區域；及一指引產生模組，被設定來產生該刮取指引，其中該刮取指引包括以線條或色塊標記要對該檢體進行刮取的位置。
17. 如請求項14所述之用於檢體玻片的刮取指引系統，其中該平台端包括：一手動選擇模組，被設定來於透過該互動介面偵測到一子區域選擇操作時，基於該子區域選擇操作變更所選擇的該子區域的狀態為已選擇、未選擇或不刮取；一純度計算模組，被設定來取得該電子影像的各該子區域的純度；一外接計算模組，被設定來挑選該純度大於一預設純度的該子區域，並將所選擇的相鄰的該多個子區域的群集設定為一候選區域；一區域限縮模組，被設定來從該候選區域移除低純度區域以提升縮減後的該候選區域的純度；一推薦區域決策模組，被設定來於任一該候選區域符合一預設條件時，將該候選區域設定為推薦區域，並於任一該候選區域不符合該預設條件時，對該候選區域執行該區域限縮模組以使符合該預設條件或設定為非推薦區域；及一渲染模組，被設定來於該互動介面即時呈現各該子區域的狀態。
18. 如請求項14所述之用於檢體玻片的刮取指引系統，其中該互動介面包括一刻度輸入介面；其中，該平台端包括： 一影像調整模組，被設定來於透過該刻度輸入介面取得一刻度輸入操作的一輸入刻度，並調整該電子影像的該輸出尺寸，以使該電子影像的當前刻度符合該輸入刻度；及一指引產生模組，被設定來基於調整後的該輸出尺寸輸出該刮取指引，以使輸出的該刮取指引符合該實體玻片的該檢體的尺寸。
19. 如請求項14所述之用於檢體玻片的刮取指引系統，更包括；一儲存模組，資訊連接該平台端，用以儲存該電子影像的一結果儲存陣列；及一識別與分析模組，資訊連接該平台端，被設定來讀取該電子影像的各子影像，對各該子影像執行一目標識別與分析，以識別各該子影像中目標細胞的數量，作為該子影像的一分析結果，將各該子影像的該分析結果儲存至該結果儲存陣列，並基於該結果儲存陣列儲存所有該目標細胞的位置。
20. 如請求項19所述之用於檢體玻片的刮取指引系統，其中該識別與分析模組包括：一學習模型，被設定來基於機器學習執行細胞分類，以於該子影像中識別各該目標細胞；及一演算法模組，被設定來計算各該目標細胞所在位置的細胞數量，並計算各該子區域的該目標細胞與非目標細胞的數量；其中，該識別與分析模組還被設定來讀取一顏色轉換矩陣，使用該顏色轉換矩陣拆解各該子影像為不同色的多個染色影像通道，透過該學習模組對各該染色影像通道執行識別處理，以識別該染色影像通道所對應的細胞類型的細胞位置影像，轉換各該細胞位置影像為細胞座標，並儲存該細胞座標。

Images