Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00222 ỨNG DỤNG GAN TRONG XÂY DỰNG DỮ LIỆU HÌNH ẢNH Y TẾ Đoàn Thiện Minh1, Văn Đình Vỹ Phƣơng1, Phan Mạnh Thƣờng2, Phạm Công Xuyên1 1 Khoa Công nghệ thông tin, Trường Đại học Lạc Hồng 2 Khoa Công nghệ thông tin, Trường Đại học Công nghệ Đồng Nai dtminh@lhu.edu.vn, phuong@lhu.edu.vn, phanmanhthuong@gmail.com, pcxuyen@lhu.edu.vn TÓM TẮT: Việc phát hiện sớm, chính xác và chữa trị người bệnh do COVID-19 đóng vai trò quan trọng đối với sự an toàn người bệnh và những người xung quanh. Các triệu chứng chính của bệnh là sốt, ho và khó thở, với các tổn thương phổi đa dạng tùy theo giai đoạn bệnh. Một cách tiếp cận nhanh để phát hiện sớm tổn thương phổi nhờ sử dụng phân loại các hình ảnh y tế ví dụ như X-quang ngực với chi phí thấp và độ chính xác cao. Trong vài năm gần đây, phương pháp học sâu là một trong các phương pháp giúp cho việc phân loại thành công nhất đối với nhiệm vụ phát hiện và dự đoán bệnh. Tuy nhiên, trong các vấn đề gây trở ngại cho việc phân loại hình ảnh y tế, nguyên nhân học sâu không thể phát huy tối đa sức mạnh lại một phần là do giới hạn của bộ dữ liệu huấn luyện. Việc nghiên cứu các phương pháp có thể giúp tạo ra các bộ dữ liệu mới nhờ học từ các tập dữ liệu đã có là một phương hướng tiếp cận mới vì nó có thể cho phép tăng cường dữ liệu đào tạo giải quyết vấn đề lớn về dữ liệu máy học. Trong bài báo này, chúng tôi nghiên cứu việc ứng dụng Generative Discriminative Networks (GAN), sử dụng mô hình Wasserstein Generative Adversarial Network, mô hình mở rộng của GAN tạo ra mẫu dữ liệu hình ảnh X-quang ngực tổn thương do virus COVID-19 với độ chính xác cao phục vụ cho các mô hình phân loại bệnh phổi Corona (COVID-19). Từ khóa: Gan, generative adversarial networks, medical imaging data. I. GIỚI THIỆU Bệnh viêm phổi cấp là loại bệnh do virus corona chủng mới (2019-nCoV) lần đầu tiên được phát hiện với tên là SARS-CoV-2 tại thành phố Vũ Hán, tỉnh Hồ Bắc, Trung Quốc vào tháng 12 năm 2019 [1]. Từ đó đến nay dịch bệnh đã lan ra nhiều thành phố của Trung Quốc và lan rộng ở nhiều quốc gia trên thế giới. Tình hình dịch bệnh do virus Corona hiện nay trên thế giới đã có tổng trường hợp nhiễm là 21.346.386, với 6.443.633 trường hợp đang nhiễm, số trường hợp được chữa khỏi là 14.139.608 trong đó 763.145 trường hợp tử vong. Tại Việt Nam tổng số trường hợp nhiễm bệnh là 930, số trường hợp đang điều trị là 471, được chữa khỏi là 437 và 22 trường hợp tử vong [2]. Phương pháp chuẩn mực để chẩn đoán xác định viêm phổi do virus COVID-19 là xét nghiệm RT-PCR (Realtime Polymerase Chain Reaction) còn gọi là phản ứng tổng hợp chuỗi định lượng hoặc phản ứng tổng hợp chuỗi thời gian thực (Real time PCR). Ngoài ra để phát hiện bệnh corona còn có thể kết hợp sử dụng ảnh y khoa (Medical Imaging) với nghĩa tổng quát là ảnh tạo ra từ việc kết hợp một phần của hình ảnh sinh học (Biology Images) với hình ảnh y khoa (Medical Imaging) có sử dụng các công nghệ hình ảnh như X-quang phổi, chụp cắp lớp vi tính (Computed Tomography-CT), cộng hưởng từ (Magnetic Resonance Imaging-MRI) để xác định các mức độ tổn thương của phổi. Mặc dù xét nghiệm PCR vẫn là tiêu chuẩn vàng để chẩn đoán bệnh COVID-19 tuy nhiên cũng còn vài vấn đề phát sinh khi sử dụng như đã dùng kháng sinh, lấy hay bảo quản bệnh phẩm sai quy cách có thể ức chế PCR khiến độ nhạy của xét nghiệm thấp, cần có sự hỗ trợ nhiều từ máy móc, cần nhiều thời gian nên khó triển khai trên diện rộng. Một vấn đề quan trọng với xét nghiệm RT-PCR là nguy cơ dẫn đến kết quả âm tính giả và dương tính giả. Do đó, kết quả âm tính không loại trừ khả năng nhiễm COVID-19 và không nên được sử dụng làm tiêu chí duy nhất cho các quyết định điều trị hoặc quản lý bệnh nhân [3]. Kết hợp sử dụng PCR chẩn đoán bệnh corona, Tổ chức Y tế Thế giới (WHO) cũng đề nghị sử dụng hình ảnh y tế trong bối cảnh đại dịch COVID-19 như sử dụng hình ảnh X-quang phổi trong dự đoán bệnh nhân nghi ngờ hoặc xác nhận COVID-19 [4]. Hình 1. X-quang ngực trước-sau của bệnh nhân A, một người đàn ông khoảng 50 tuổi bị viêm phổi Covid-19 [5] 636 ỨNG DỤNG GAN TRONG XÂY DỰNG DỮ LIỆU HÌNH ẢNH Y TẾ Trong tình hình dịch bệnh lan rộng ở nhiều nơi trên thế giới đã dẫn đến việc thiếu hụt các bác sĩ chuẩn đoán ảnh X-quang, hơn thế nữa những bác sĩ chuyên chuẩn đoán ảnh X-quang khi làm việc quá sức sẽ dẫn đến sai số chủ quan do việc phải xử lý nhiều hình ảnh của nhiều bệnh nhân. Việc sử dụng kỹ thuật học sâu (deep learning) để phân loại, diễn giải và gán nhãn hình ảnh X-quang sẽ giúp các bác sĩ, kỹ thuật viên xử lý ảnh X-quang giảm bớt khó khăn mà kết quả chuẩn đoán cao. Kỹ thuật học sâu là một trong các phương pháp giúp cho việc phân loại, dự đoán tối ưu nhất đối với nhiệm vụ phát hiện và chẩn đoán bệnh [6]. Học sâu cần có bộ dữ liệu mẫu chuẩn để huấn luyện, tạo thành số lượng lớn các giá trị cùng các tham số giúp cho thuật toán tìm và phân loại các đặc trưng tùy theo dữ liệu của bài toán thực tế. Tuy nhiên, trong các vấn đề gây trở ngại cho việc phân loại hình ảnh y tế, nguyên nhân học sâu không thể phát huy tối đa sức mạnh lại một phần là do giới hạn không đủ số lượng ảnh dùng cho việc học máy của bộ dữ liệu huấn luyện. Trong nghiên cứu này chúng tôi đề suất ứng dụng Generative Discriminative Networks (GAN) sử dụng mô hình Wasserstein Generative Adversarial Network, mô hình mở rộng của GAN với mục tiêu tạo ra dữ liệu hình ảnh X-quang ngực tổn thương do virus Corona (COVID-19) dựa trên tập dữ liệu hình ảnh Corona ban đầu. II. GAN TRONG MỘT SỐ BÀI TOÀN Y KHOA Trong bài báo Ea-GANs: Edge-Aware Generative Adversarial Networks for Cross-Modality MR Image Synthesis, nhóm tác giả đề xuất mô hình Generative Adversarial Networks (Ea-GANs) để tổng hợp hình ảnh Magnetic resonance (MR) đa phương thức [7]. Tác giả và cộng sự tích hợp thông tin biên, phản ánh cấu trúc kết cấu của nội dung hình ảnh và mô tả ranh giới của các đối tượng khác nhau trong ảnh và làm giảm khoảng cách này. Tác giả và cộng sự thông qua thực nghiệm đã chứng minh Ea-GANs hoạt động tốt hơn nhiều phương pháp hiện đại để tổng hợp ảnh MR đa phương thức cả về định tính và định lượng. Hình 2. Frameworks của Ea-GANs [7] Một hướng tiếp cận nữa, hai tác giả Jyoti Islam và Yanqing Zhang sử dụng Generative Adversarial Networks (GAN) xây dựng ảnh chụp cắt lớp của não [8]. Bài báo của nhóm tác giả đề cập đến việc tạo hình ảnh chụp cắt lớp của não (positron emission tomography-PET) cho ba giai đoạn khác nhau của bệnh mất trí nhớ (Alzheimer) bao gồm: kiểm soát bình thường (normal control-NC), suy giảm nhận thức nhẹ (mild cognitive impairment-MCI) và bệnh Alzheimer (Alzheimer’s disease-AD). Bài báo đã dùng DCGAN (Deep Convolutional Generative Adversarial Networks) một cải tiến lớn của GAN để có thể tạo ra hình ảnh chất lượng tốt hơn và ổn định hơn trong giai đoạn đào tạo ảnh chụp cắt lớp. Đoàn Thiện Minh, Văn Đình Vỹ Phương, Phan Mạnh Thường, Phạm Công Xuyên 637 Hình 3. Hình ảnh não PET của bệnh nhân MCI [8] Hình 4. Mô hình tạo ảnh não PET của Jyoti Islam và Yanqing Zhang [8] Cũng sử dụng Generative Adversarial Networks (GAN), nhóm tác giả Alceu Bissoto, Fábio Perez, Eduardo Valle, Sandra Avila đã sử dụng mô hình GAN nhằm mục đích tạo hình ảnh tổn thương da [9]. Để đáp ứng được yêu cầu của tác giả và đồng sự, bộ dữ liệu ảnh được sinh ra từ GAN phải thể hiện mức độ phân giải cao để có thể hiển thị các dấu hiệu ác tính, các bức ảnh này sau đó sẽ được dùng làm bộ dữ liệu cho mục đích phân loại ung thư da. Kết quả tác giả đồng sự thu thập được hình ảnh hiển thị các mẫu có độ phân giải cao (1024 × 512) chứa các chi tiết rõ nét. Các điểm đánh dấu ác tính hiện diện với vị trí nhất quán và độ sắc nét tốt phù hợp cho mục đích phân loại. 638 ỨNG DỤNG GAN TRONG XÂY DỰNG DỮ LIỆU HÌNH ẢNH Y TẾ Hình 5. Sơ lược về kiến trúc GAN [9] III. THỰC NGHIỆM TRÊN BÀI TOÁN SINH ẢNH TỔN THƢƠNG PHỔI DO COVID-19 Tập dữ liệu thực nghiệm được sử dụng từ tập dữ liệu COVID-19 Image Data Collection, bộ dữ liệu mở công khai về hình ảnh X-quang và CT phổi bao gồm 930 ảnh của các bệnh viêm phổi sau: SARSr-CoV-2 hoặc COVID-19, SARSr-CoV-1 hoặc SARS, Streptococcus spp, Pneumocystis spp, ARDS [10]. Hình 6. Một số ảnh dùng làm tập dữ liệu huấn luyện ảnh [9] Generative adversarial networks (GAN) là một lớp mạng nơron được sử dụng trong học máy không giám sát. Nó được phát minh bởi Ian Goodfellow và các đồng nghiệp của ông vào năm 2014 [11]. Generative adversarial networks (GAN) là mô hình đối nghịch được tạo thành từ sự kết hợp của hai mạng nơron (Neural): Generator network và Discriminator network. Generator network được đào tạo để tạo ra hình ảnh với một số vật thể, discriminative network để phân biệt đâu là hình ảnh thật và đâu là hình ảnh được tạo ra. Mục tiêu Generator network là tăng tỷ lệ lỗi của Discriminator network bằng cách tạo ra các dữ liệu mới mà Discriminator network không nhận dạng được do Generator network tạo ra. Generator network là mạng giải chập (deconvolutional Neural Network) giải mã ngược trở lại từ đặc trưng sang ảnh bằng cách giải mã các khối đặc trưng thành những thông tin không gian của từng điểm ảnh thông qua quá trình gia tăng kích thước tại các lớp của mạng giải chập và tạo thành một bức ảnh mới. Discriminator network thường là một Mạng nơron tích chập (Convolutional Neural Network) nhằm biến đổi thông tin đầu vào thông qua một phép tích chập với bộ lọc để trả về đầu ra là một tín hiệu mới. Tín hiệu này sẽ làm giảm những đặc trưng mà bộ lọc không quan tâm và chỉ giữ những đặc trưng chính. Generator network và Discriminator network hoạt động đồng thời với nhau để tạo ra dữ liệu ảnh mới gần giống với tập dữ liệu mẫu ban đầu. Đoàn Thiện Minh, Văn Đình Vỹ Phương, Phan Mạnh Thường, Phạm Công Xuyên 639 Bài báo sử dụng Wasserstein Generative Adversarial Network [12] là một phần mở rộng của Generative Adversarial Network. Mô hình đáp ứng được yêu cầu tính ổn định khi huấn luyện mô hình đồng thời cung cấp một hàm mất mát tương quan với chất lượng của hình ảnh được tạo. Hình 7. Mô hình Wasserstein Generative Adversarial Network Với Wasserstein Generative Adversarial Network, mô hình phân biệt trở thành mô hình đánh giá để dự đoán xác suất các hình ảnh được tạo ra. Bài báo sử dụng mô hình InceptionV3 [13] để đánh giá, lựa chọn hơn 500 ảnh có độ chính xác từ 90 % giống với dữ liệu huấn luyện từ hơn 6000 ảnh sinh ra bởi Wasserstein Generative Adversarial Network. Bảng 1: Bảng đánh giá phân loại độ chính xác ảnh sinh ra Mô hình đánh giá Số lượng ảnh Độ chính xác Inception V3 505 ảnh 90 % Hình 8. Ảnh X-quang sau khi tạo mới IV. KẾT LUẬN Việc ứng dụng Wasserstein Generative Adversarial Network (WGAN) để sinh hình ảnh y khoa thay đổi mô hình đánh giá để sinh ra ảnh là một lĩnh vực nghiên cứu mới. Trong bài báo này, chúng tôi xây dựng mô hình đánh giá kết hợp với mô hình Inception V3 để tạo ra các hình ảnh X-quang tổn thương phổi NCOVID có độ chính xác gần giống với dữ liệu huấn luyện. Những hình ảnh X-quang sinh ra giúp giải quyết tình trạng dữ liệu huấn luyện thiếu hụt từ đó đạt được sự cân bằng về dữ liệu giúp tăng độ chính xác khi phân loại. TÀI LIỆU THAM KHẢO [1] Lisheng Wang, Yiru Wang, Dawei Ye, Qingquan Liu, “Review of the 2019 novel coronavirus (SARS-CoV-2) based on current evidence”, National Center for Biotechnology Information (NCBI), 2020. [2] Bộ Y tế: trang tin về dịch bệnh viêm đường hô hấp cấp COVID-2019, https://ncov.moh.gov.vn/, ngày truy cập 15/8/2020. [3] Alireza Tahamtan and Abdollah Ardebili, “Real-time RT-PCR in COVID-19 detection: issues affecting the results”, National Center for Biotechnology Information (NCBI), 2020. [4] WHO, Use of chest imaging in COVID-19, https://www.who.int/publications/i/item/use-of-chest-imaging-in-covid19, truy cập ngày 15 tháng 08 năm 2020. [5] Joanne Cleverley, James Piper, Melvyn M Jones, The role of chest radiography in confirming covid-19 pneumonia, the bmj, BMJ 2020;370:m2426, 2020. [6] Jiaxing Tan, Yumei Huo, Zhengrong Liang, and Lihong, “Expert knowledge-infused deep learning for automatic lung nodule detection”, J Xray Sci Technol; 27(1), pp. 17-35. doi:10.3233/XST-180426, 2019. 640 ỨNG DỤNG GAN TRONG XÂY DỰNG DỮ LIỆU HÌNH ẢNH Y TẾ [7] Biting Yu, Luping Zhou, Lei Wang, Yinghuan Shi, Jurgen Fripp, Pierrick Bourgeat, “Computational Optimization of Ea-GANs: Edge-Aware Generative Adversarial Networks for Cross-Modality MR Image Synthesis”, Institue of Electrical and Electronics Engineers (IEEE Transactions on Medical Imaging), Volume 38, pp. 1750-1762, 2019. [8] Jyoti Islam and Yanqing Zhang, “GAN-based synthetic brain PET image generation”, National Center for Biotechnology Information (NCBI), 2020. [9] Alceu Bissoto, Fábio Perez, Eduardo Valle, Sandra Avila, Skin Lesion Synthesis with Generative Adversarial Networks, Springer, 2018. [10] Joseph Paul Cohen, Paul Morrison, Lan Dao, “COVID-19 Image Data Collection”, arXiv:2003.11597, 2020. [11] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, “Generative Adversarial Nets”, Proceedings of the International Conference on Neural Information Processing Systems (NIPS), 2014. [12] Martin Arjovsky, Soumith Chintala, L´eon Bottou ,Wasserstein GAN, arXiv:1701.07875, 2017. [13] Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, Zbigniew Wojna, Rethinking the Inception Architecture for Computer Vision, arXiv:1512.00567, 2015. GAN USED TO GENERATE FOR MEDICAL IMAGE DATA Doan Thien Minh, Van Dinh Vy Phuong, Phan Manh Thuong, Pham Cong Xuyen ABSTRACT: The early accurate detection and treatment of patients with COVID-19 play an important role in the safety of patients and those around them. The major symptoms of the disease are fever, cough and shortness of breath, with lung damage varying according to the stage of the disease. A rapid approach to early detection of lung damage using a classification of medical images such as a low-cost and highly accurate chest x-ray. In the past few years, the deep learning has been one of the most successful categorization methods for disease detection and prediction tasks. However, in the problems that hinder the classification of medical images, the reason deep learning cannot maximize its power because of the limitation of the training dataset. Besides that, studying methods that can help create new datasets by learning from existing datasets is an alternative approach, as it can allow for enhanced problem solving training data of machine learning data. In this paper, we study the application of Generative Adversarial Networks (GAN), apply Wasserstein Generative Adversarial Network, an extension to the generative adversarial network to create chest x-ray images from corona virus with high accuracy for the classification model. corona lung disease (COVID-19). Keywords: Gan, Generative Adversarial Networks, medical imaging data.