Spektral Analiz ve Attention Mekanizmaları ile DeepFake Tespiti

Creative Commons License

Oğuzay E.

Disiplinlerarası Akademi ve Sektör Çalışmaları Sempozyumu, İstanbul, Türkiye, 8 - 09 Mayıs 2025, cilt.1, sa.1, ss.115-117, (Özet Bildiri)

  • Yayın Türü: Bildiri / Özet Bildiri
  • Cilt numarası: 1
  • Basıldığı Şehir: İstanbul
  • Basıldığı Ülke: Türkiye
  • Sayfa Sayıları: ss.115-117
  • Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
  • Maltepe Üniversitesi Adresli: Evet

Özet

Dijital manipülasyonların, özellikle "DeepFake" adı verilen yapay zeka tabanlı sahte görüntülerin yaygınlaşması, ciddi etik, güvenlik ve toplumsal sorunları beraberinde getirmektedir. Bu çalışma, modern konvolüsyonel sinir ağları ile spektral analiz tekniklerini birleştiren hibrit bir DeepFake tespit yaklaşımı sunmaktadır. Geleneksel konvolüsyonel mimari tabanlı tespitler genellikle %70-75 doğruluk oranında kalırken, kullandığımız model önemli bir performans artışı sağlamaktadır. Bu çalışmada, ConvNeXt backbone mimarisi üzerine inşa edilen, Fourier Transform (FFT) ve Discrete Cosine Transform (DCT) tabanlı spektral analiz özellikleri ile self-attention mekanizmalarını entegre eden özgün bir mimari geliştirdik. Model, GAN artifactlarını tespit etmek için özel olarak tasarlanmış veri augmentasyon teknikleri ve kademeli fine-tuning stratejileri ile optimize edilmiştir. Gerçek ve üretilmiş yüz görüntülerinden oluşan 140k örnekli bir veri seti üzerinde gerçekleştirilen deneyler, modelimizin %87.94 test doğruluğu, 0.9476 ROC AUC ve 0.8827 F1 skoru elde ettiğini göstermektedir. Yapılan ablasyon çalışmaları, spektral analiz bileşeninin 5 puanlık, attention mekanizmasının 3 puanlık, kademeli fine-tuning stratejisinin ise 7 puanlık bir performans artışı sağladığını ortaya koymaktadır. Modelimiz, hem mekansal (spatial) hem de frekans domainindeki özellikleri analiz ederek, GAN modelleri tarafından üretilen parmak izlerini tespit etme konusunda güçlü bir yetenek göstermektedir. Ayrıca dengeli false positive ve false negative oranları sayesinde, gerçek dünya uygulamaları için güvenilir bir çözüm sunmaktadır.

Anahtar Sözcükler: DeepFake Tespiti, Derin Öğrenme, Spektral Analiz, Attention Mekanizmaları, Kademeli Fine-Tuning, Fourier Transform, Discrete Cosine Transform, Convnext, Gan Artifactları.