TWI777092B - 一種圖像處理方法、電子設備及存儲介質 - Google Patents

Abstract

本申請實施例公開了一種圖像處理方法、電子設備及儲存介質，其中方法包括：對第一圖像進行處理，獲得所述第一圖像中多個像素點的預測結果，所述預測結果包括語義預測結果和中心相對位置預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置；基於所述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定所述第一圖像的實例分割結果，可以使圖像處理中的實例分割具備速度快、精度高的優點。

Description

一種圖像處理方法、電子設備及存儲介質

本申請涉及電腦視覺技術領域，具體涉及一種圖像處理方法、電子設備及儲存介質。

影像處理又稱為圖像處理，是用電腦對圖像進行分析，以達到所需結果的技術。圖像處理一般指數位圖像處理，數位圖像是指用工業相機、攝像機、掃描儀等設備經過拍攝得到的一個大的二維數組，該數組的元素稱為像素點，其值稱為灰度值。圖像處理在許多領域起著十分重要的作用，尤其是對醫學影像的處理。

本申請實施例提供了一種圖像處理方法、電子設備及儲存介質。

本申請實施例第一方面提供一種圖像處理方法，包括：對第一圖像進行處理，獲得所述第一圖像中多個像素點各自的預測結果，所述預測結果包括語義預測結果和中心相對位置預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置；基於所述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定所述第一圖像的實例分割結果。

可選的，所述對第一圖像進行處理，獲得所述第一圖像中多個像素點的語義預測結果包括：對所述第一圖像進行處理，得到所述第一圖像中多個像素點的實例區域預測機率，所述實例區域預測機率指示該像素點位於實例區域的機率；基於第二閾值對上述多個像素點的實例區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的語義預測結果。

可選的，所述實例中心區域包括：在所述實例區域內並且小於所述實例區域的區域，並且所述實例中心區域的幾何中心與所述實例區域的幾何中心重疊。

在一種可選的實施方式中，在對第一圖像進行處理之前，所述方法還包括：對第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設對比度和/或預設灰度值。

在一種可選的實施方式中，在對所述第一圖像進行處理之前，所述方法還包括：對所述第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設圖像大小。

在一種可選的實施方式中，所述基於所述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定所述第一圖像的實例分割結果，包括：基於所述多個像素點中每個像素點的語義預測結果，從所述多個像素點中確定位於實例區域的至少一個第一像素點；基於所述第一像素點的中心相對位置預測結果，確定所述每個第一像素點所屬的實例。

所述實例為第一圖像中的分割對象，具體可以為第一圖像中的封閉性結構。

本申請實施例中的實例包括細胞核，即本申請實施例可以應用於細胞核分割。

在一種可選的實施方式中，所述預測結果還包括：中心區域預測結果，所述中心區域預測結果指示所述像素點是否位於實例中心區域。在此情況下，所述方法還包括：基於所述多個像素點中每個像素點的中心區域預測結果，確定所述第一圖像的至少一個實例中心區域；所述基於所述第一像素點的中心相對位置預測結果，確定所述第一像素點所屬的實例，包括：基於所述第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定所述每個第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述基於所述多個像素點中每個像素點的中心區域預測結果，確定所述第一圖像的至少一個實例中心區域，包括：基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

在一種可選的實施方式中，所述基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域包括：基於所述多個像素點中每個像素點的中心區域預測結果，使用隨機遊走算法對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

在一種可選的實施方式中，所述基於所述第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域，包括：基於所述第一像素點的位置信息和所述第一像素點的中心相對位置預測結果，確定所述第一像素點的中心預測位置；基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域，包括：響應於所述第一像素點的中心預測位置屬於所述至少一個實例中心區域中的第一實例中心區域，將所述第一實例中心區域確定為所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域，包括：響應於所述第一像素點的中心預測位置不屬於所述至少一個實例中心區域中的任意實例中心區域，將所述至少一個實例中心區域中與所述第一像素點的中心預測位置距離最近的實例中心區域確定為所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述對第一圖像進行處理，獲得所述第一圖像中多個像素點的預測結果，包括：對所述第一圖像進行處理，得到所述第一圖像中多個像素點的中心區域預測機率；基於第一閾值對所述多個像素點的中心區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的中心區域預測結果。

在一種可選的實施方式中，所述對第一圖像進行處理，獲得所述第一圖像中多個像素點的預測結果，包括：將第一圖像輸入到神經網路進行處理，輸出所述第一圖像中多個像素點的預測結果。

本申請實施例第二方面提供一種電子設備，包括預測模塊和分割模塊，其中：所述預測模塊，用於對第一圖像進行處理，獲得所述第一圖像中多個像素點的預測結果，所述預測結果包括語義預測結果和中心相對位置預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置；所述分割模塊，用於基於所述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定所述第一圖像的實例分割結果。

可選的，所述預測模塊具體用於：對所述第一圖像進行處理，得到所述第一圖像中多個像素點的實例區域預測機率，所述實例區域預測機率指示該像素點位於實例區域的機率；基於第二閾值對上述多個像素點的實例區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的語義預測結果。

在一種可選的實施方式中，所述電子設備還包括預處理模塊，用於對第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設對比度和/或預設灰度值。

在一種可選的實施方式中，所述預處理模塊，還用於對所述第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設圖像大小。

在一種可選的實施方式中，所述分割模塊包括第一單元和第二單元，其中：所述第一單元，用於基於所述多個像素點中每個像素點的語義預測結果，從所述多個像素點中確定位於實例區域的至少一個第一像素點；所述第二單元，用於基於所述第一像素點的中心相對位置預測結果，確定所述每個第一像素點所屬的實例。

在一種可選的實施方式中，所述預測結果還包括：中心區域預測結果，所述中心區域預測結果指示所述像素點是否位於實例中心區域。在此情況下，所述分割模塊還包括第三單元，用於基於所述多個像素點中每個像素點的中心區域預測結果，確定所述第一圖像的至少一個實例中心區域；所述第二單元具體用於，基於所述第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定所述每個第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述第三單元具體用於，基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

在一種可選的實施方式中，所述第三單元具體用於，基於所述多個像素點中每個像素點的中心區域預測結果，使用隨機遊走算法對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

在一種可選的實施方式中，所述第二單元具體用於：基於所述第一像素點的位置信息和所述第一像素點的中心相對位置預測結果，確定所述第一像素點的中心預測位置；基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述第二單元具體用於：響應於所述第一像素點的中心預測位置屬於所述至少一個實例中心區域中的第一實例中心區域，將所述第一實例中心區域確定為所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述第二單元具體用於：響應於所述第一像素點的中心預測位置不屬於所述至少一個實例中心區域中的任意實例中心區域，將所述至少一個實例中心區域中與所述第一像素點的中心預測位置距離最近的實例中心區域確定為所述第一像素點對應的實例中心區域。

在一種可選的實施方式中，所述預測模塊包括機率預測單元和判斷單元，其中：所述機率預測單元，用於對所述第一圖像進行處理，得到所述第一圖像中多個像素點的中心區域預測機率；所述判斷單元，用於基於第一閾值對所述多個像素點的中心區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的中心區域預測結果。

在一種可選的實施方式中，所述預測模塊具體用於，將第一圖像輸入到神經網路進行處理，輸出所述第一圖像中多個像素點的預測結果。

本申請實施例第三方面提供另一種電子設備，包括處理器以及記憶體，所述記憶體用於儲存電腦程式，所述電腦程式被配置成由所述處理器執行，所述處理器用於執行如本申請實施例第一方面任一方法中所描述的部分或全部步驟。

本申請實施例第四方面提供一種電腦可讀儲存介質，所述電腦可讀儲存介質用於儲存電腦程式，其中，所述電腦程式使得電腦執行如本申請實施例第一方面任一方法中所描述的部分或全部步驟。

本申請實施例中，通過對第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果和中心相對位置預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，基於上述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定上述第一圖像的實例分割結果，可以使圖像處理中的實例分割具備速度快、精度高的優點。

下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。

本申請的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同對象，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。

在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本申請的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。

本申請實施例所涉及到的電子設備可以允許多個其他終端設備進行訪問。上述電子設備包括終端設備，具體實現中，上述終端設備包括但不限於諸如具有觸摸敏感表面（例如，觸摸屏顯示器和/或觸摸板）的移動電話、膝上型電腦或平板電腦之類的其它便攜式設備。還應當理解的是，在某些實施例中，所述終端設備並非便攜式通信設備，而是具有觸摸敏感表面（例如，觸摸屏顯示器和/或觸摸板）的臺式電腦。

本申請實施例中的深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。

深度學習是機器學習中一種基於對數據進行表徵學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素點強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，人臉識別或面部表情識別）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效算法來替代手工獲取特徵。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，從而可以模仿人腦的機制來解釋數據，例如圖像、聲音和文本。

同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分。不同的學習框架下建立的學習模型很是不同。例如，卷積神經網路（Convolutional neural network，CNN）就是一種深度的監督學習下的機器學習模型，也可稱為基於深度學習的網路結構模型，而深度置信網（Deep Belief Net，DBN）就是一種無監督學習下的機器學習模型。

下面對本申請實施例進行詳細介紹，應理解，本公開實施例可以應用於對圖像進行細胞核分割或者其他具有封閉結構的實例的分割，本公開實施例對此不做限定。

請參閱圖1，圖1是本申請實施例公開的一種圖像處理方法的流程示意圖，如圖1所示，該圖像處理方法包括如下步驟。

101、對第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果和中心相對位置預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置。

可選地，在101中，通過對第一圖像進行處理，得到第一圖像包含的多個像素點中國每個像素點的預測結果，其中，多個像素點可以為第一圖像的所有或部分像素點，本公開實施例對此不做限定。上述第一圖像，可以包括通過各種圖像採集設備（比如顯微鏡）獲得的病理圖像，比如細胞核圖像等，本公開實施例對第一圖像的獲取方式以及實例的具體實現不做限定。

在本公開實施例中，可以通過多種方式對第一圖像進行處理，例如，利用實例分割算法對第一圖像進行處理，或者，可以將上述第一圖像輸入到神經網路進行處理，輸出上述第一圖像中多個像素點的預測結果，本公開實施例對此不做限定。

在一個可選例子中，可以通過基於深度學習的神經網路來獲得上述第一圖像中多個像素點的預測結果，比如深層融合網路（Deep Layer Aggregation，DLANet），但本公開實施例對神經網路的具體實現不作限定。深層融合網路，也叫深層聚合網路，通過更深入的聚合來擴充標準體系結構，以更好地融合各層的信息，深層融合以迭代和分層方式合併特徵層次結構，使網路具有更高的準確性和更少的參數。使用樹型構造取代以往架構的線性構造，實現了對於網路的梯度回傳長度的對數級別壓縮，而不是線性壓縮，使得學習到的特徵更具備描述能力，可以有效提高上述數值指標的預測精度。

在一些可能的實現方式中，可以對第一圖像進行語義分割處理，得到第一圖像中多個像素點的語義預測結果，並基於多個像素點的語義預測結果確定第一圖像的實例分割結果。其中，語義分割處理用於將第一圖像中的像素點按照語義含義的不同進行分組（Grouping）/分割（Segmentation）。例如，可以確定第一圖像包含的多個像素點中每個像素點是實例還是背景，即位於實例區域還是位於背景區域。

像素點級別的語義分割可以對圖像中的每個像素點都劃分出對應的類別，即實現像素點級別的分類；而類的具體對象，即為實例。實例分割不但要進行像素點級別的分類，還需在具體的類別基礎上區別開不同的實例。比如說第一圖像中有三個細胞核1、2、3，其語義分割結果都是細胞核，而實例分割結果卻是不同的對象。

在本公開實施例中，對於第一圖像，可選地，可以對第一圖像中的每一個像素點進行獨立的實例判斷，判斷其所屬的語義分割類別以及所屬的實例ID。例如一張圖像中有三個細胞核，則每個細胞核的語義分割類別都是1，但不同細胞核的ID分別是1，2，3，則可以通過上述細胞核ID來區分不同的細胞核。

在一些可能的實現方式中，像素點的語義預測結果可以指示上述像素點位於實例區域或背景區域。也就是說，像素點的語義預測結果指示該像素點為實例或者背景。

上述實例區域可以理解為實例所在的區域，背景區域為圖像中除實例以外的其他區域。比如，假設第一圖像為細胞圖像，則像素點的語義預測結果可以包括用於指示像素點在細胞圖像中為細胞核區域還是背景區域的指示信息。在本公開實施例中，可以通過多種方式指示像素點為實例區域還是背景區域。一些可能的實施方式中，像素點的語義預測結果可以為兩個預設數值中的一個，其中，這兩個預設數值分別對應於實例區域和背景區域。例如，像素點的語義預測結果可以為0或正整數（例如1），其中，0表示背景區域，正整數（例如1）表示實例區域，但本公開實施例不限於此。

可選的，上述語義預測結果可以是二值化結果。此時，可以對第一圖像進行處理，得到多個像素點中每個像素點的實例區域預測機率，其中，實例區域預測機率指示該像素點位於實例區域的機率，然後，基於第二閾值對上述多個像素點中每個像素點的實例區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的語義預測結果。

在一個例子中，上述二值化處理的第二閾值可以為0.5，此時，將實例區域預測機率大於或等於0.5的像素點確定為位於實例區域的像素點，並將實例區域預測機率小於0.5的像素點確定為位於背景區域的像素點。相應地，作為一個例子，將實例區域預測機率大於或等於0.5的像素點的語義預測結果確定為1，並將實例區域預測機率小於0.5的像素點的語義預測結果確定為0，但本公開實施例不限於此。

在一些可能的實現方式中，像素點的預測結果包括像素點的中心相對位置預測結果，用於指示上述像素點與該像素點所屬實例中心之間的相對位置。在一個例子中，像素點的中心相對位置預測結果可以包括對像素點的中心向量的預測結果，例如，像素點的中心相對位置預測結果可表示為向量（x，y），分別表示像素點的坐標與實例中心的坐標在橫軸和縱軸上的差值。可選地，像素點的中心相對位置預測結果還可以通過其他方式實現，本公開實施例對此不做限定。

可選地，可以基於像素點的中心相對位置預測結果和該像素點的位置信息，確定像素點的實例中心預測位置，即像素點所屬實例的中心的預測位置，並基於像素點的實例中心預測位置，確定像素點所屬的實例，但本公開實施例對此不做限定。

在一個可選例子中，可以基於對第一圖像的處理，確定第一圖像中的至少一個實例中心的位置信息，並基於像素點的實例中心預測位置和至少一個實例中心的位置信息，確定像素點所屬的實例。

在另一個例子中，可以將實例中心所屬的一小塊區域定義為實例中心區域，即實例中心區域是在該實例區域內並且小於該實例區域的區域，並且該實例中心區域的幾何中心與該實例區域的幾何中心重疊或鄰近，例如，實例中心區域的中心為實例中心。可選地，該實例中心區域可以為圓形、橢圓或其他形狀，上述實例中心區域可以根據需要進行設置，本申請實施例對實例中心區域的具體實現不做限制。

此時，可選地，可以確定第一圖像中的至少一個實例中心區域，並基於像素點的實例中心預測位置與至少一個實例中心區域之間的位置關係，從至少一個實例中心區域中確定像素點所屬的實例，但本公開實施例對其具體實現不做限定。

可選地，像素點的預測結果還包括像素點的中心區域預測結果，指示像素點是否位於實例中心區域，相應地，可以基於多個像素點中每個像素點的中心區域預測結果，確定第一圖像的至少一個實例中心區域。

在一個例子中，可以通過神經網路對第一圖像進行處理，得到第一圖像包含的多個像素點中每個像素點的中心區域預測結果。

在一些可能的實現方式中，上述神經網路可以是通過監督訓練方式進行訓練得到的。訓練過程中利用的樣本圖像可以標注有實例信息，可以基於樣本圖像標注的實例信息確定實例的中心區域，並將確定的實例的中心區域作為監督進行神經網路的訓練。

可選地，可以基於實例信息，確定實例中心，並將包含實例中心的預設尺寸或面積的區域確定為實例的中心區域。可選地，還可以對樣本圖像進行腐蝕處理，得到腐蝕處理後的樣本圖像，並基於腐蝕處理後的樣本圖像確定實例的中心區域。

圖像的腐蝕操作是表示用某種結構元素對圖像進行探測，以便找出在圖像內部可以放下該結構元素的區域。本申請實施例中提到的圖像腐蝕處理可以包括上述腐蝕操作，腐蝕操作是結構元素在被腐蝕圖像中平移填充的過程。從腐蝕後的結果來看，圖像前景區域縮小，區域邊界變模糊，同時一些比較小的孤立的前景區域被完全腐蝕掉，達到了濾波的效果。

比如，針對每一個實例遮罩，首先利用5×5的卷積核對實例遮罩（mask）進行圖像腐蝕處理，然後，將實例包括的多個像素點的坐標進行平均，得到實例的中心位置，並確定實例中的所有像素點到達該實例的中心位置的最大距離，並將與實例的中心位置之間的距離小於上述最大距離的30%的像素點確定為實例的中心區域的像素點，即得到實例的中心區域。這樣，由樣本圖像中的實例遮罩縮小一圈後，進行圖像二值化處理獲得中心區域預測的二值圖遮罩。

此外，可選地，可以基於樣本圖像中標注的實例中包含的像素點的坐標以及實例的中心位置，獲得像素點的中心相對位置信息，即上述像素點與實例中心之間的相對位置信息，例如由像素點到實例中心的向量，並將該相對位置信息作為監督進行神經網路的訓練，但本公開實施例不限於此。

在本公開實施例中，可以通過對第一圖像進行處理，得到第一圖像包含的多個像素點中每個像素點的中心區域預測結果。在一些可能的實現方式中，可以對上述第一圖像進行處理，得到上述第一圖像的多個像素點中每個像素點的中心區域預測機率；並基於第一閾值對上述多個像素點的中心區域預測機率進行二值化處理，得到上述多個像素點中每個像素點的中心區域預測結果。

其中，像素點的中心區域預測機率可以指像素點位於實例中心區域的機率。

可選地，不位於實例中心區域的像素點可以是背景區域的像素點或者實例區域的像素點。

在本公開實施例中，二值化處理可以為固定閾值的二值化處理或者自適應閾值的二值化處理。例如雙峰法、P參數法、迭代法和OTSU法等，本公開實施例對二值化處理的具體實現不做限定。

可選地，上述二值化處理的第一閾值或第二閾值可以是預設的或者是根據實際情況確定的，本公開實施例對此不做限定。

在一些可能的實現方式中，通過判斷像素點的中心區域預測機率與上述第一閾值之間的大小關係，來獲得像素點的中心區域預測結果。比如第一閾值可以為0.5，此時，可選地，將中心區域預測機率大於或等於0.5的像素點確定為位於實例中心區域的像素點，並將中心區域預測機率小於0.5的像素點確定為不位於實例中心區域的像素點，從而得到每個像素點的中心區域預測結果。例如，將中心區域預測機率大於或等於0.5的像素點的中心區域預測結果確定為1，並將中心區域預測機率小於0.5的像素點的中心區域預測結果確定為0，但本公開實施例不限於此。

在獲得上述預測結果之後可以執行步驟102。

102、基於上述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定上述第一圖像的實例分割結果。

在步驟101中，獲得了上述語義預測結果和上述中心相對位置預測結果之後，可以確定位於實例區域的至少一個像素點以及上述至少一個像素點與其所屬實例中心之間的相對位置信息。

在一些可能的實現方式中，可以基於上述多個像素點中每個像素點的語義預測結果，從上述多個像素點中確定位於實例區域的至少一個第一像素點；基於第一像素點的中心相對位置預測結果，確定第一像素點所屬的實例。

可以根據多個像素點中每個像素點的語義預測結果，確定出位於實例區域的至少一個第一像素點，具體地，將多個像素點中語義預測結果指示位於實例區域的像素點確定為第一像素點。

進一步地，對於位於實例區域的像素點（即上述第一像素點），可以根據像素點的中心相對位置預測結果，判斷該像素點所屬的實例，其中，第一圖像的實例分割結果包括至少一個實例中每個實例包括的像素點，換句話說，包括位於實例區域的每個像素點所屬的實例。在一些可能的實現方式中，可以通過不同的實例標識或標號（例如實例ID）來區分不同的實例，其中，可選地，實例ID可以為大於0的整數，比如實例a的實例ID為1，實例b的實例ID為2，背景對應的實例ID為0，則可以得到第一圖像的多個像素點中每個像素點對應的實例標識，或者得到第一圖像的至少一個第一像素點中每個第一像素點的實例標識，即位於背景區域的像素點不具有對應的實例標識，本公開實施例對此不做限定。

對於細胞實例分割中的像素點，若其語義預測結果為細胞且表示其中心相對位置預測結果的中心向量指向某個中心區域，則將此像素點分配給該細胞的細胞核區域（細胞核語義區域），按照上述步驟對全部像素點進行分配，可以獲得細胞分割結果。

在數位顯微鏡中進行細胞核分割可以提取細胞核的高質量形態學特徵，也可以進行細胞核的計算病理學分析。這些信息是判斷例如癌症級別、藥物治療有效性的重要依據。在過去人們常用大津算法（Otsu）和水線（也稱分水嶺或流域，watershed）閾值算法來解決細胞核實例分割的問題，但由於細胞核形態的多樣性，上述方法效果不佳。實例分割可以依靠卷積神經網路（Convolutional Neural Network，CNN），主要有如下兩種算法的變體：名叫MaskRCNN（Mask Regions with CNN features）和簡單梳理全卷積網路（Fully Convolutional Network，FCN）的目標實例分割框架。但是，MaskRCN的缺點在於超參數繁多，對於具體問題要求人員具備很高的專業認知才能得到較好的結果，且該方法運行緩慢。FCN需要特殊的圖像後處理才能把黏合的細胞分成多個實例，這也需要從業人員較高的專業知識。

本申請實施例中使用表示像素點相對於所屬實例的中心的位置關係的中心向量來建模，使圖像處理中的實例分割具備速度快、精度高的優點。對於細胞分割問題，上述FCN將部分實例收縮為邊界類，然後使用針對性的後處理算法來修整邊界所屬實例的預測，相比之下中心向量建模可以基於數據更精確的預測細胞核的邊界狀態，也無需複雜的專業後處理算法；上述MaskRCNN先通過矩形截取出每個獨立實例的圖像再進行細胞、背景的二類預測，但細胞表現為聚集在一起的多個不規則類橢圓形，矩形截取後一個實例處於中心，別的實例仍然部分處於邊緣，不利於接下來的二類分割。相比之下中心向量建模也不會有這類問題，可以對於細胞核邊界得出精確的預測，從而提高了整體預測精度。

本申請實施例可以應用於臨床的輔助診斷中。醫生在獲得了病人的器官組織切片數位掃描圖像後，可以將圖像輸入本申請實施例中的流程，得出每一個獨立細胞核的像素點遮罩，醫生可以以此為依據，計算該器官的細胞密度、細胞形態特徵，進而得出更準確的醫學判斷。

本申請實施例通過對第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果和中心相對位置預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，基於上述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定上述第一圖像的實例分割結果，可以使圖像處理中的實例分割具備速度快、精度高的優點。

請參閱圖2，圖2是本申請實施例公開的另一種圖像處理方法的流程示意圖，圖2是在圖1的基礎上進一步優化得到的。執行本申請實施例步驟的主體可以為前述的一種電子設備。如圖2所示，該圖像處理方法包括如下步驟：

201、對第二圖像進行預處理，得到第一圖像，以使得上述第一圖像滿足預設對比度和/或預設灰度值。

本申請實施例中提到的第二圖像可以為通過各種圖像採集設備（比如顯微鏡）獲得的多模態病理圖像，上述多模態可以理解為其圖像類型可以是多樣化的，並且其圖像大小、色彩、解析度等特徵可能不相同，呈現出的圖像風格不一樣，即上述第二圖像可以為一張或者多張。在病理切片的製作以及成像的過程中，由於其組織類型、獲取途徑、成像設備等因素的不同，得到的病理影像數據通常差異很大。例如，不同顯微鏡下採集的病理圖像，其解析度會有很大的差異。通過光學顯微鏡可以獲取病理組織的彩色圖像（解析度較低），而電子顯微鏡通常只能採集到灰度圖像（但解析度較高）。然而，對於一套臨床可用的病理系統，通常需要分析不同類型的、由不同成像設備獲取的病理組織。

包含上述第二圖像的數據集中，不同病人、不同器官、不同染色方法的圖片複雜多樣，因此可以首先通過步驟201降低第二圖像的多樣性。

執行本申請實施例步驟的主體可以為前述的一種電子設備。電子設備中可以儲存有上述預設對比度和/或上述預設灰度值，可以將上述第二圖像轉換為滿足上述預設對比度和/或上述預設灰度值的第一圖像後，再執行步驟202。

本申請實施例中提到的對比度指的是一幅圖像中明暗區域最亮的白和最暗的黑之間不同亮度層級的測量，差異範圍越大代表對比越大，差異範圍越小代表對比越小。

由於景物各點的顏色及亮度不同，攝成的黑白照片上或電視接收機重現的黑白圖像上各點呈現不同程度的灰色。把白色與黑色之間按對數關係分成若干級，稱為“灰度等級”。灰度等級的範圍一般從0到255，白色為255，黑色為0，故黑白圖片也稱灰度圖像，在醫學、圖像識別領域有很廣泛的用途。

可選的，上述預處理還可以對上述第二圖像的圖像大小、圖像解析度、圖像格式等圖像參數進行統一。比如，可以對第二圖像進行剪裁，獲得預設圖像尺寸的第一圖像，比如統一為256*256尺寸的第一圖像。電子設備還可以儲存有預設圖像大小和/或預設圖像格式，在預處理時可以轉換獲得滿足上述預設圖像大小和/或預設圖像格式的第一圖像。

電子設備可以借助圖像超解析度（Image Super Resolution）以及圖像轉換等技術，將不同病理組織、不同成像設備獲取的多模態病理圖像進行統一，使它們可以作為本申請實施例中的圖像處理流程的輸入。此步驟也可以稱為圖像的歸一化過程。轉換為統一風格的圖像，更便於後續對圖像的統一處理。

圖像超解析度技術是指用圖像處理的方法，通過軟體算法（強調不變動成像硬體設備）的方式將已有的低解析度（LR）圖像轉換成高解析度（HR）圖像的技術，可分為超解析度復原和超解析度圖像重建（Super resolution image reconstruction，SRIR）。目前，圖像超解析度研究可分為三個主要範疇：基於插值、基於重建和基於學習的方法。超解析度重建的核心思想就是用時間帶寬（獲取同一場景的多幀圖像序列）換取空間解析度，實現時間解析度向空間解析度的轉換。通過上述預處理可以獲得高解析度的第一圖像，對於醫生做出正確的診斷是非常有幫助的，如果能夠提供高分辨的圖像，電腦視覺中的模式識別的性能也就會大大提高。

202、對上述第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果、中心相對位置預測結果和中心區域預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，上述中心區域預測結果指示上述像素點是否位於上述實例中心區域。

其中，上述步驟202可以參考圖1所示實施例的步驟101中的具體描述，此處不再贅述。

203、基於上述多個像素點中每個像素點的語義預測結果，從上述多個像素點中確定位於實例區域的至少一個第一像素點。

基於上述多個像素點中每個像素點的語義預測結果，可以判斷出每個像素點位於實例區域還是背景區域，從而可以從上述多個像素點中確定位於上述實例區域的至少一個第一像素點。

上述實例區域可以理解為實例所在的區域，背景區域為圖像中除實例以外的其他區域。比如，假設第一圖像為細胞圖像，則像素點的語義預測結果可以包括用於指示像素點在細胞圖像中為細胞核區域還是背景區域的指示信息。在本公開實施例中，可以通過多種方式指示像素點為實例區域還是背景區域。一些可能的實施方式中，像素點的語義預測結果可以為兩個預設數值中的一個，其中，這兩個預設數值分別對應於實例區域和背景區域。例如，像素點的語義預測結果可以為0或正整數（例如1），其中，0表示背景區域，正整數（例如1）表示實例區域，但本公開實施例不限於此。

204、基於上述多個像素點中每個像素點的中心區域預測結果，確定上述第一圖像的至少一個實例中心區域。

具體的，可以將實例中心所屬的一小塊區域定義為實例中心區域，即實例中心區域是在該實例區域內並且小於該實例區域的區域，並且該實例中心區域的幾何中心與該實例區域的幾何中心重疊或鄰近，例如，實例中心區域的中心為實例中心。可選地，該實例中心區域可以為圓形、橢圓或其他形狀，上述實例中心區域可以根據需要進行設置，本申請實施例對實例中心區域的具體實現不做限制。

上述中心相對位置預測結果可以指示上述像素點與實例中心之間的相對位置。在一個例子中，像素點的中心相對位置預測結果可以包括像素點的中心向量預測結果，例如，像素點的中心相對位置預測結果為（x，y），分別表示像素點的坐標與實例中心的坐標在橫軸和縱軸上的差值。可選地，像素點的中心相對位置預測結果還可以通過其他方式實現，本公開實施例對此不做限定。

本申請實施例中上述中心區域預測結果可以指示上述像素點是否位於實例中心區域，由此可以通過參考中心區域預測結果，確定位於實例中心區域的像素點，而這些像素點可以組成實例中心區域，由此可以確定出上述至少一個實例中心區域。

可選的，可以基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

其中，連通區域（Connected Component）一般是指圖像中具有相同像素點值且位置相鄰的前景像素點組成的圖像區域（Region，Blob）。上述連通域搜索可以理解為連通區域分析（Connected Component Analysis，Connected Component Labeling），用於將圖像中的各個連通區域找出並標記。

連通區域分析是一種在國際電腦視覺與模式識別會議（Conference on Computer Vision and Pattern Recognition，CVPR）和圖像分析處理的眾多應用領域中較為常用和基本的方法。例如：光學字元辨識（Optical Character Recognition，OCR）識別中字元分割提取（車牌識別、文本識別、字幕識別等）、視覺跟蹤中的運動前景目標分割與提取（行人入侵檢測、遺留物體檢測、基於視覺的車輛檢測與跟蹤等）、醫學圖像處理（感興趣目標區域提取）等等。也就是說，在需要將前景目標提取出來以便後續進行處理的應用場景中都能夠用到連通區域分析方法，通常連通區域分析處理的對象是一張二值化後的圖像（二值圖像）。

對於集合S存在一條通路的條件是，通路的像素點的某種排列使得相鄰像素點滿足某種鄰接關係。例如，假設點p到點q之間有A1、A2、A3.....An個像素點，且相鄰像素點都滿足某種鄰接。則p和q間存在通路。如果通路首尾相連，則稱閉合通路。S集合中的一點p只存在一條通路，則稱為一個連通分量，如果S只有一個連通分量，則稱為一個連通集。

對於R為一個圖像子集，如果R連通的，則稱R為一個區域。對於所有不連接的K個區域，其並集Rk構成了圖像的前景，Rk的補集稱為背景。

基於上述每個像素點的中心區域預測結果，對上述第一圖像進行連通域搜索處理，可以得到至少一個實例中心區域，再執行步驟205。

具體的，對於二值化處理後的第一圖像，可以找中心區域為1的連通域，以確定實例中心區域，為每個連通域分配一個獨立ID。

對於細胞分割，可以基於細胞核中的像素點的坐標和表示該像素點相對於所屬實例的中心的位置關係的中心向量，確定上述中心向量的指向位置是否處於上述中心區域，若像素點的中心向量的指向位置處於中心區域，則為該像素點分配細胞核的ID，否則，表示該像素點不屬於任意一個細胞核，則可以就近分配。

可選的，可以使用隨機遊走算法對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

隨機遊走（random walk）也稱隨機漫步，隨機行走等，是指基於過去的表現，無法預測將來的發展步驟和方向。隨機遊走的核心概念是指任何無規則行走者所帶的守恆量都各自對應著一個擴散運輸定律，接近於布朗運動，是布朗運動理想的數學狀態。本申請實施例中針對圖像處理的隨機遊走（random walk）的基本思想是，將圖像看成由固定的頂點和邊組成的連通帶權無向圖，從未標記頂點開始隨機漫步，首次到達各類標記頂點的機率代表了未標記點歸屬於標記類的可能性，把最大的機率所在類的標簽賦給未標記頂點，完成分割。通過上述隨機遊走算法可以實現對不屬於任意一個中心區域的像素的分配，以獲得上述至少一個實例中心區域。

可選的，可以通過上述深度層級融合網路模型輸出像素點連接圖，在上述連通域搜索處理後可以得出實例分割結果。可選的，可以在上述實例分割結果中對每個實例區域賦予隨機色彩以便於可視化。

其中，上述步驟203和步驟204也可以不分先後次序執行；在確定上述至少一個實例中心區域之後，可以執行步驟205。

205、基於上述至少一個第一像素點中每個第一像素點的中心相對位置預測結果，從上述至少一個實例中心區域中確定上述每個第一像素點對應的實例中心區域。

具體的，可以基於上述第一像素點的位置信息和上述第一像素點的中心相對位置預測結果，確定上述第一像素點的中心預測位置。

在步驟202中可以獲得像素點的位置信息，具體可以為像素點的坐標，而上述第一像素點為位於上述實例區域的像素點，上述第一像素點的中心相對位置預測結果指示上述第一像素點與實例中心之間的相對位置，可見根據上述第一像素點的坐標和上述第一像素點的中心相對位置預測結果，可以確定上述第一像素點的中心預測位置。上述中心預測位置可以指示預測的上述第一像素點所屬的實例中心區域的中心位置。

進一步地，基於上述第一像素點的中心預測位置和上述至少一個實例中心區域的位置信息，可以從上述至少一個實例中心區域中確定上述第一像素點對應的實例中心區域。

在步驟204中，獲得上述實例中心區域時，可以獲得上述實例中心區域的位置信息，也可以由坐標表示，進而可以基於第一像素點的中心預測位置和至少一個實例中心區域的位置信息，判斷上述第一像素點的中心預測位置是否屬於上述至少一個實例中心區域，以此從上述至少一個實例中心區域中確定第一像素點對應的實例中心區域。

具體的，可以響應於上述第一像素點的中心預測位置屬於上述至少一個實例中心區域中的第一實例中心區域，將上述第一實例中心區域確定為上述第一像素點對應的實例中心區域。

若上述第一像素點的中心預測位置屬於上述至少一個實例中心區域中的第一實例中心區域，將上述第一實例中心區域確定為上述第一像素點對應的實例中心區域，可以將該像素點分配給該實例中心區域。

可選的，響應於所述第一像素點的中心預測位置不屬於所述至少一個實例中心區域中的任意實例中心區域，將所述至少一個實例中心區域中與所述第一像素點的中心預測位置距離最近的實例中心區域確定為所述第一像素點對應的實例中心區域。

若上述第一像素點的中心預測位置不屬於上述至少一個實例中心區域中的第一實例中心區域，則不將該像素點分配給上述第一實例中心區域，而是就近分配，將至少一個實例中心區域中與第一像素點的中心預測位置距離最近的實例中心區域確定為該第一像素點對應的實例中心區域。

本申請實施例在上述步驟202的輸出可以有三個分支，第一個是語義判斷分支，包含2個通道，以輸出每個像素點位於實例區域或者背景區域；第二個是中心區域分支，包含2個通道，以輸出每個像素點位於中心區域或者非中心區域；第三個是中心向量分支，包括2個通道，以輸出每個像素點與實例中心之間的相對位置，具體可以包含像素點指向其所屬實例的幾何中心的向量橫縱分量。

在本申請實施例中實例分割對象可以為細胞核，由於上述中心區域為一個細胞核的中心區域，在確定上述中心區域後，實際初步確定了細胞核的位置，可以為每個細胞核分配數字編號，即上述實例ID。

具體的，設輸入的第二圖片為[高，寬，3]的3通道圖片，本申請實施例在步驟202可以得到三個[高，寬，2]的數組，依次為每個像素點的語義預測機率、中心區域預測機率和中心相對位置預測結果。然後，可以對上述中心區域預測機率進行門限值為0.5的二值化，再通過上述連通域搜索處理得到每個細胞核的中心區域，並且賦予其獨立的數字編號，上述每個細胞分配的數字編號即為前述實例ID，以便於區分不同細胞核。

比如在步驟203中已經確定一個像素點a的語義預測結果為細胞核而非背景（確定其屬於細胞核語義區域），在步驟202中已經獲得了該像素點a的中心向量，若該像素點a的中心向量指向在步驟204中獲得的至少一個實例中心區域中的第一中心區域，則說明該像素點a與該第一中心區域有對應關係，具體表現為，該像素點a屬於該第一中心區域所在的細胞核A，第一中心區域為該細胞核A的中心區域。

以細胞分割為例，通過上述步驟，可以分割出細胞核與圖像背景，具體可以對全部屬於細胞核的像素點進行分配，確定每個像素點所屬的細胞核、所屬的細胞核中心區域或者所述的細胞核的中心，實現對細胞進行更精準的分割，獲得精確的實例分割結果。

本申請實施例中使用中心向量來建模。FCN將部分實例收縮為邊界類，然後使用針對性的後處理算法來修整邊界所屬實例的預測，每個像素點三類輸出：背景、細胞核內部、細胞核邊界，不能細緻處理邊界預測，相比之下，中心向量可以基於數據更精確的預測細胞核的邊界狀態，也無需複雜的專業後處理算法。MaskRCNN先通過矩形截取出每個獨立實例的圖像再進行細胞、背景的二類預測，但細胞表現為聚集在一起的多個不規則類橢圓形，矩形截取後一個實例處於中心，別的實例仍然部分處於邊緣，無法避免的要包含別的實例的細胞在截取圖片中，不利於接下來的二類分割，相比之下，通過上述中心向量建模方法也不會有這類問題，中心向量可以對於細胞核邊界得出精確的預測，從而提高了整體預測精度。

使用本申請實施例中的中心向量方法，不僅運行速度快，可以達到每秒3圖的處理量，而且無需從業人員較高的領域知識，就能在任意實例分割問題中獲取一定標注數據後處理取得較好的結果。

本申請實施例可以應用於臨床的輔助診斷中。醫生在獲得了病人的器官組織切片數位掃描圖像後，可以將圖像輸入本申請實施例中的流程，得出每一個獨立細胞核的像素點遮罩，醫生可以以此為依據，計算該器官的細胞密度、細胞形態特徵，進而得出更準確的醫學判斷。

本申請實施例通過對第二圖像進行預處理，得到第一圖像，以使得上述第一圖像滿足預設對比度和/或預設灰度值，對上述第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果、中心相對位置預測結果和中心區域預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，上述中心區域預測結果指示上述像素點是否位於實例中心區域，再基於上述多個像素點中每個像素點的語義預測結果，從上述多個像素點中確定位於實例區域的至少一個第一像素點，並且基於上述多個像素點中每個像素點的中心區域預測結果，確定上述第一圖像的至少一個實例中心區域，基於上述至少一個第一像素點中每個第一像素點的中心相對位置預測結果，以及從上述至少一個實例中心區域中確定上述每個第一像素點對應的實例中心區域，實現實例的精準分割，可以使圖像處理中的實例分割具備速度快、精度高的優點。

請參閱圖3，圖3是本申請實施例公開的一種細胞實例分割結果示意圖，如圖所示，以細胞實例分割為例，使用本申請實施例中的方法進行處理，同時具備速度快、精度高的特點。結合圖3可以便於更清楚地理解圖1和圖2所述實施例中的方法。通過深度層級融合網路模型可以獲得更準確的預測指標，使用已有數據集對其進行標注，前述實施例中的語義預測結果、中心區域預測結果和中心相對位置預測結果，體現在圖3中分別包括對像素點A、像素點B、像素點C和像素點D的語義標注、中心標注和中心向量標注。如圖所示一個細胞核可包括細胞核語義區域和細胞核中心區域，針對圖中像素點，若像素點的語義標注為1，說明該像素點屬於細胞核，為0則為圖像背景；若像素點的中心標注為1則說明該像素點為細胞核區域的中心，此時該像素點的中心向量標注為（0，0），可作為其他像素點的參考（比如圖中的像素點A和像素點D，像素點A的確定也可以代表一個細胞核的確定）。每個像素點都對應一個坐標，而中心向量標注則是像素點相對於細胞核中心的像素點的坐標，比如像素點B相對於像素點A的中心向量標注為（-5，-5），而屬中心的像素點的中心向量標注則為（0，0），比如像素點A和像素點D。在本申請實施例中可以判斷出上述像素點B屬於上述像素點A所屬的細胞核中心區域，即將像素點B分配給像素點A所屬的細胞核區域，但不在該中心區域內而是在上述細胞核語義區域內，類似地完成全部分割過程，獲得精確的細胞實例分割結果。

上述主要從方法側執行過程的角度對本申請實施例的方案進行了介紹。可以理解的是，電子設備為了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模塊。本領域技術人員應該很容易意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，本申請能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。

本申請實施例可以根據上述方法示例對電子設備進行功能單元的劃分，例如，可以對應各個功能劃分各個功能單元，也可以將兩個或兩個以上的功能集成在一個處理單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。需要說明的是，本申請實施例中對單元的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。

請參閱圖4，圖4是本申請實施例公開的一種電子設備的結構示意圖。如圖4所示，該電子設備400包括：預測模塊410和分割模塊420，其中：所述預測模塊410，用於對第一圖像進行處理，獲得所述第一圖像中多個像素點的預測結果，所述預測結果包括語義預測結果和中心相對位置預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置。

所述分割模塊420，用於基於所述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定所述第一圖像的實例分割結果。

可選的，所述電子設備400還包括預處理模塊430，用於對第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設對比度和/或預設灰度值。

可選的，所述分割模塊420包括第一單元421和第二單元422，其中：所述第一單元421，用於基於所述多個像素點中每個像素點的語義預測結果，從所述多個像素點中確定位於實例區域的至少一個第一像素點；所述第二單元422，用於基於所述至少一個第一像素點中每個第一像素點的中心相對位置預測結果，確定所述每個第一像素點所屬的實例。

可選的，所述預測結果還包括：中心區域預測結果，所述中心區域預測結果指示所述像素點是否位於實例中心區域，所述分割模塊420還包括第三單元423，用於基於所述多個像素點中每個像素點的中心區域預測結果，確定所述第一圖像的至少一個實例中心區域；所述第二單元422具體用於，基於所述至少一個第一像素點中每個第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定所述每個第一像素點對應的實例中心區域。

可選的，所述第三單元423具體用於，基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到至少一個實例中心區域。

可選的，所述第二單元422具體用於：基於所述第一像素點的位置信息和所述第一像素點的中心相對位置預測結果，確定所述第一像素點的中心預測位置；基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域。

可選的，所述第二單元422具體用於：響應於所述第一像素點的中心預測位置屬於所述至少一個實例中心區域中的第一實例中心區域，將所述第一實例中心區域確定為所述第一像素點對應的實例中心區域。

可選的，所述第二單元422具體用於：響應於所述第一像素點的中心預測位置不屬於所述至少一個實例中心區域中的任意實例中心區域，將所述至少一個實例中心區域中與所述第一像素點的中心預測位置距離最近的實例中心區域確定為所述第一像素點對應的實例中心區域。

可選的，所述預測模塊410包括機率預測單元411和判斷單元412，其中：所述機率預測單元411，用於對所述第一圖像進行處理，得到所述第一圖像中多個像素點的中心區域預測機率；所述判斷單元412，用於基於第一閾值對所述多個像素點的中心區域預測機率進行二值化處理，得到所述多個像素點中每個像素點的中心區域預測結果。

可選的，所述預測模塊410具體用於，將第一圖像輸入到神經網路進行處理，輸出所述第一圖像中多個像素點的預測結果。

本申請實施例中使用中心向量來建模。FCN將部分實例收縮為邊界類，然後使用針對性的後處理算法來修整邊界所屬實例的預測，每個像素點三類輸出：背景、細胞核內部、細胞核邊界，不能細緻處理邊界預測，相比之下，中心向量可以基於數據更精確的預測細胞核的邊界狀態，也無需複雜的專業後處理算法。MaskRCNN先通過矩形截取出每個獨立實例的圖像再進行細胞、背景的二類預測，但細胞表現為聚集在一起的多個不規則類橢圓形，矩形截取後一個實例處於中心，別的實例仍然部分處於邊緣，無法避免的要包含別的實例的細胞在截取圖片中，不利於接下來的二類分割，相比之下，通過電子設備400執行上述中心向量建模方法也不會有這類問題，中心向量可以對於細胞核邊界得出精確的預測，從而提高了整體預測精度。

使用本申請實施例中的電子設備400，可以實現前述圖1和圖2實施例中的圖像處理方法，通過中心向量方法進行實例分割，不僅運行速度快，可以達到每秒3圖的處理量，而且無需從業人員較高的領域知識，就能在任意實例分割問題中獲取一定標注數據後處理取得較好的結果。

實施圖4所示的電子設備400，電子設備400可以通過對第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果和中心相對位置預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，基於上述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定上述第一圖像的實例分割結果，可以使圖像處理中的實例分割具備速度快、精度高的優點。

請參閱圖5，圖5是本申請實施例公開的另一種電子設備的結構示意圖。如圖5所示，該電子設備500包括處理器501和記憶體502，其中，電子設備500還可以包括匯流排503，處理器501和記憶體502可以通過匯流排503相互連接，匯流排503可以是外設部件互連標準（Peripheral Component Interconnect，PCI）匯流排或擴展工業標準結構（Extended Industry Standard Architecture，EISA）匯流排等。匯流排503可以分為地址匯流排、數據匯流排、控制匯流排等。為便於表示，圖5中僅用一條粗線表示，但並不表示僅有一根匯流排或一種類型的匯流排。其中，電子設備500還可以包括輸入輸出設備504，輸入輸出設備504可以包括顯示屏，例如液晶顯示屏。記憶體502用於儲存電腦程式；處理器501用於調用儲存在記憶體502中的電腦程式執行上述圖1和圖2實施例中提到的部分或全部方法步驟。

實施圖5所示的電子設備500，電子設備500可以通過對第一圖像進行處理，獲得上述第一圖像中多個像素點的預測結果，上述預測結果包括語義預測結果和中心相對位置預測結果，其中，上述語義預測結果指示上述像素點位於實例區域或背景區域，上述中心相對位置預測結果指示上述像素點與實例中心之間的相對位置，基於上述多個像素點中每個像素點的語義預測結果和中心相對位置預測結果，確定上述第一圖像的實例分割結果，可以使圖像處理中的實例分割具備速度快、精度高的優點。

本申請實施例還提供一種電腦儲存介質，其中，該電腦儲存介質用於儲存電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像處理方法的部分或全部步驟。

需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本申請並不受所描述的動作順序的限制，因為依據本申請，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬於優選實施例，所涉及的動作和模塊並不一定是本申請所必須的。

在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元（模塊）可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可為個人電腦、服務器或者網路設備等）執行本申請各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：U盤、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、移動硬盤、磁碟或者光盤等各種可以儲存程式代碼的介質。

本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：隨身碟、唯讀記憶體、隨機存取器、磁盤或光盤等。

以上對本申請實施例進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其核心思想；同時，對於本領域的一般技術人員，依據本申請的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。

101、102、201、202、203、204、205:步驟 400、500:電子設備 410:預測模塊 411:機率預測單元 412:判斷單元 420:分割模塊 421:第一單元 422:第二單元 423:第三單元 430:預處理模塊 501:處理器 502:記憶體 503:匯流排 504:輸入輸出設備

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹。 圖1是本申請實施例公開的一種圖像處理方法的流程示意圖。 圖2是本申請實施例公開的另一種圖像處理方法的流程示意圖。 圖3是本申請實施例公開的一種細胞實例分割結果示意圖。 圖4是本申請實施例公開的一種電子設備的結構示意圖。 圖5是本申請實施例公開的另一種電子設備的結構示意圖。

101、102:步驟

Claims (9)

1. 一種圖像處理方法，包括：將第一圖像輸入到深度學習的神經網路進行處理，輸出所述第一圖像中多個像素點各自的預測結果，所述預測結果包括語義預測結果、中心相對位置預測結果和中心區域預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置，所述中心區域預測結果指示所述像素點是否位於實例中心區域；基於所述多個像素點中每個像素點的語義預測結果，從所述多個像素點中確定位於實例區域的至少一個第一像素點；針對每個所述第一像素點，基於所述第一像素點的中心相對位置預測結果和中心區域預測結果，確定所述每個第一像素點所屬的實例。
2. 如申請專利範圍第1項所述的圖像處理方法，在對第一圖像進行處理之前，還包括：對第二圖像進行預處理，得到所述第一圖像，以使得所述第一圖像滿足預設對比度和/或預設灰度值。
3. 如申請專利範圍第1項所述的圖像處理方法，基於所述第一像素點的中心相對位置預測結果和中心區域預測結果，確定所述第一像素點所屬的實例，包括：基於所述多個像素點中每個像素點的中心區域預測結果，確 定所述第一圖像的至少一個實例中心區域；基於所述第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域。
4. 如申請專利範圍第3項所述的圖像處理方法，基於所述多個像素點中每個像素點的中心區域預測結果，確定所述第一圖像的至少一個實例中心區域，包括：基於所述多個像素點中每個像素點的中心區域預測結果，對所述第一圖像進行連通域搜索處理，得到所述至少一個實例中心區域。
5. 如申請專利範圍第3或4項所述的圖像處理方法，基於所述第一像素點的中心相對位置預測結果，從所述至少一個實例中心區域中確定每個所述第一像素點對應的實例中心區域，包括：基於所述第一像素點的位置信息和所述第一像素點的中心相對位置預測結果，確定所述第一像素點的中心預測位置，所述中心預測位置表示預測的所述第一像素點所屬的實例中心區域的中心位置；基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域。
6. 如申請專利範圍第5項所述的圖像處理方法，基於所述第一像素點的中心預測位置和所述至少一個實例中心區域的位 置信息，從所述至少一個實例中心區域中確定所述第一像素點對應的實例中心區域，包括：響應於所述第一像素點的中心預測位置屬於所述至少一個實例中心區域中的第一實例中心區域，將所述第一實例中心區域確定為所述第一像素點對應的實例中心區域；或者響應於所述第一像素點的中心預測位置不屬於所述至少一個實例中心區域中的任意實例中心區域，將所述至少一個實例中心區域中與所述第一像素點的中心預測位置距離最近的實例中心區域確定為所述第一像素點對應的實例中心區域。
7. 一種電子設備，包括：預測模塊，將第一圖像輸入到深度學習的神經網路進行處理，輸出所述第一圖像中多個像素點的預測結果，所述預測結果包括語義預測結果、中心相對位置預測結果和中心區域預測結果，其中，所述語義預測結果指示所述像素點位於實例區域或背景區域，所述中心相對位置預測結果指示所述像素點與實例中心之間的相對位置，所述中心區域預測結果指示所述像素點是否位於實例中心區域；分割模塊，用於基於所述多個像素點中每個像素點的語義預測結果，從所述多個像素點中確定位於實例區域的至少一個第一像素點；針對每個所述第一像素點，基於所述第一像素點的中心相對位置預測結果和中心區域預測結果，確定所述每個第一像素點所屬的實例。
8. 一種電子設備，包括處理器以及記憶體，所述記憶體用於儲存電腦程式，所述電腦程式被配置成由所述處理器執行，所述處理器用於執行如申請專利範圍第1至6項中任一項所述的圖像處理方法。
9. 一種電腦可讀儲存介質，所述電腦可讀儲存介質用於儲存電腦程式，其中，所述電腦程式使得電腦執行如申請專利範圍第1至6項中任一項所述的圖像處理方法。

Images