Beyin MR görüntülerinde gizlilik tabanlı yaklaşım : Federe öğrenme

Abstract

BEYİN MR GÖRÜNTÜLERİNDE GİZLİLİK TABANLI YAKLAŞIM : FEDERE ÖĞRENME ÖZET Güçlü derin öğrenme modelleri, çok fazla veriye ve veri çeşitliliğine ihtiyaç duymaktadır. Tıp alanı modellerin kullanımı açısından en popüler olan alanlardan bir tanesidir. Tıp alanında çok fazla veri vardır ancak gizlilik nedeniyle tıbbi verilere erişim oldukça sınırlıdır. Bu durum sağlık sektöründeki AI çözümlerinin gelişimini yavaşlatmakta ve olumsuz anlamda etkilemektedir. Gizlilik sorununu ele alan bir yaklaşım federe öğrenmedir. Federe öğrenme, kurumların verilerini dışarıya çıkarmadan diğer kurumlar ile işbirlikçi model gelişimini sağlayarak veri gizliliğini korumaktadır böylece derin öğrenme modellerinin geliştirilmesine katkıda bulunabilmektedir. Bu çalışmada, Federe öğrenme ile tıp alanındaki mahremiyet sorununa odaklanılmıştır. Beyin tümörü görüntülerini sınıflandırmak amacıyla görüntü sınıflandırma problemlerinde en çok tercih edilen derin öğrenme ağı olan Evrişimli Sinir Ağı'na (CNN) dayalı bir model federe öğrenme ile entegre edilmiştir. Yerel CNN modelleri, simule edilen üç farklı kuruluşun yerel cihazlarının Manyetik Rezonans Görüntüleri (MRI) kullanılarak başlatılmıştır. Sunucuda bulunan global CNN modeli yerel CNN modellerinin ağırlıkları ile beslenmektedir. Yerel model ağırlıkları sunucuda optimize edilen yerel model ağırlığı ile güncellenmiştir. Federe Ortalama (FedAvg), FedAvg ile kuantum Federe ortalama (QFedAvg), Hata Toleranslı FedAvg ve diferansiyel gizlilik ile birlikte FedAvg olmak üzere dört farklı Federe öğrenme stratejisi kullanılmıştır. FedAvg olarak adlandırılan ilk stratejide üç farklı istemciden gelen model ağırlıkları sunucuda model ağırlıklarının ortalaması alınarak optimize edilmektedir. İkinci strateji olan QFedAvg yönteminde ise standart FedAvg yöntemine bir q parametresi eklenmektedir. Bu parametre ile istemciler arası olabilecek farklılıklar toplanan model ağırlıklarının optimize edilmesinde dikkate alınmaktadır. Üçüncü strateji ise Hata Toleranslı FedAvg stratejisidir. Hata toleranslı yaklaşım eğitim sürecinde herhangi bir sebepten dolayı bir istemcide oluşabilecek hata veya kopmaların tolere edilmesini içermektedir. Son stratejide ise sunucuda standart FedAvg model ağırlıklarını optimize ederken kullanılmıştır fakat ilk yöntemden farklı olarak sunucuya model ağırlığı gönderilmeden önce bir istemcinin model ağırlıklarına diferansiyel gizlilik ile gürültü eklenmiştir. Dördüncü stratejinin amacı her ne kadar sadece model ağırlıklarının iletilmesi olsa da olası herhangi bir saldırıda model ağırlıklarının elde edilmesini engellemektir. Her bir strateji 10 turda eğitilmiş ve en başarılı stratejinin FedAvg olduğu görülmüştür. FedAvg’e göre son turda eğitilen modelin ilk turda eğitilen modele göre %41 daha başarılı olduğu kanıtlanmıştır. Önerilen tüm stratejiler kullanılarak yerel verilerin istemcilerde kalması sağlanarak istemciler arası ortak bir model geliştirilmiştir. Gizliliğin korunmadığı ve verilerin bir sunucuda toplanarak eğitim yapıldığı klasik derin öğrenme modellerine kıyasla hem gizlilik korunmuş hem de istemcilerin daha az yerel veri ile yüksek model başarımı elde etmesi sağlanmıştır.

PRIVACY-BASED APPROACH TO BRAIN MRI: FEDERATED LEARNING ABSTRACT Powerful deep learning models need a lot of data and data diversity. The medical field is one of the most popular fields in terms of the use of models. There is a lot of data in the medical field, but access to medical data is very limited due to confidentiality. This slows down and negatively affects the development of AI solutions in the healthcare industry. One approach to addressing the privacy issue is federated learning. Federated learning protects data confidentiality by providing collaborative model development with other institutions without exposing the data of institutions, so it can contribute to the development of deep learning models. This study focuses on the problem of privacy in the medical field with Federated learning. In order to classify brain tumor images, a model based on Convolutional Neural Network (CNN), which is the most preferred deep learning network in image classification problems, is integrated with federated learning. Local CNN models were initiated using Magnetic Resonance Imaging (MRI) of local devices from three different organizations simulated. The global CNN model on the server is fed with the weights of the local CNN models. The local model weights have been updated with the local model weight optimized on the server. Four different Federated learning strategies were used: Federated Average (FedAvg), FedAvg with quantum Federated average (QFedAvg), FedAvg with Fault Tolerance, and FedAvg with differential privacy. In the first strategy, called FedAvg, the model weights from three different clients are optimized by averaging the model weights on the server. In the second strategy, the QFedAvg method, a q parameter is added to the standard FedAvg method. With this parameter, differences between clients are taken into account in optimizing the collected model weights. The third strategy is the Fault Tolerant FedAvg strategy. This approach includes tolerating errors or breaks that may occur in a client for any reason during the training process. In the last strategy, the standard FedAvg model weights are used on the server, but unlike the first method, differential privacy and noise are added to the model weights of a client before the model weight is sent to the server. The goal of the fourth strategy is to prevent model weights from being acquired in any possible attack, although only the model weights are transmitted. Each strategy was trained for 10 rounds and it was seen that the most successful strategy was FedAvg. According to FedAvg, the model trained in the last round proved to be 41% more successful than the model trained in the first round. A common client-to-client model has been developed by keeping the local data on the clients by using all the suggested strategies. Compared to classical deep learning models, where confidentiality is not protected and data is collected and trained on a server, both confidentiality is preserved and clients are provided with high model performance with less local data.