Günümüzde makine öğrenimi ve yapay zeka alanlarında sıklıkla karşılaştığımız Doğal Dil İşleme (NLP) tarihi ile birlikte 20. yüzyılın ortalarına kadar dayanmaktadır. Çoğunlukla yapay zeka modelleriyle karşımıza çıkan NLP’nin temelleri, Alan Turing’in 1950’de tanıttığı Turing Testi ile atıldı. Bu test, yapay zekanın gelişim sürecini başlatan önemli adımlardan biri oldu.
Doğal Dil İşleme Teknolojisi (Natural Language Processing) kısaca tanımı ile bilgisayar-insan arasındaki ilişki ve iletişimi sağlamaya yarayan teknolojidir. Bilgisayarın insanı anlaması, duygu, düşünce ve niyetine göre analiz yaptıktan sonra kendi yorumları ile birlikte insana yanıt vermesini sağlar.
1950-1960 Dönem
1950 yılında Alan Turing bir makalesinde insan sohbetinin benzerini oluşturmak amacıyla tasarladığı makine zekasına dayalı olan Turing Testini tanıttı. 10 yıl boyunca yapılan testler ile birlikte NLP’nin temelleri atılmış oldu. Bu süreç boyunca en etkili ve ümit veren deney Georgetown deneyi oldu. Çünkü bu deney, 60’tan fazla Rusça cümlenin İngilizceye başarıyla çevrildiği önemli bir testti.
1960-1980 Dönemi
60’lı yıllarda NLP’ye öncü olacak iki sistem geliştirildi. Terry Winograd tarafından geliştirilen SHRDLU doğal dili anlama yeteneğine sahipti. Joseph Weizenbaum tarafından geliştirilen ELIZA ise psikoterapist bir sistemdi yani insan sorgularına bir psikoterapist benzeri cevaplar veriyordu. 1966 yılında ABD tarafından ALPAC raporu yayınlandı. Bu rapor yapay zeka ve dil işleme teknolojilerinin çok daha fazla gelişmeye ihtiyaç duyduğunu ve insan tercümanların bilgisayar tercümesine göre daha etkili olduğunu savunuyordu. Rapor yayınlandıktan sonraki süreçte bazı projelerin finansman yardımı da kesildi. Ancak, bu durum dil işleme araştırmalarının önemli ölçüde durmasına değil, aksine ilerleyen yıllarda bu alandaki araştırmaların ve teknolojilerin daha derinleşmesine neden oldu. Ayrıca bu dönemde makine çevirisi geliştirilmeye de çalışıldı fakat ilk makine çevirisi basitti. İnsan dilindeki sözcüklerin karşılığını cümledeki sırasına göre yazıyordu. Fakat bu teknoloji bile elle yazılan kurallar sayesinde bu hale getirilmişti. Geliştiriciler yapılan bu çalışmalar ile birlikte potansiyeli yüksek fakat aynı zamanda karmaşık bu teknolojinin üzerinde daha fazla çalışmalar yapmaları gerektiğini anlamış oldular.
1980-2000 Dönemi
Bu dönemde Doğal Dil İşleme (NLP) algoritmalarında insan eliyle oluşturulan kurallardan uzaklaşarak algoritmalara istatistiksel yaklaşıldı. Makinelere artık gerçek dil verileri öğretilmeye başlandı. 90’lar da ise makine öğrenimi tekniklerinin tanıtıldı ve bununla birlikte süreç daha da hızlandı. Makineler farklı dillerin verilerini otomatik olarak öğrenmeye ve dil üzerindeki becerilerini geliştirmeye başladılar. Bu dönemde internetin varoluşu ile birlikte NLP sistemlerine inanılmaz bir kaynak sağladı ve bu sayede sistemler hızla gelişmeye başladı. Ayrıca bu dönemde N-Grams ve LSTM tekrarlayan sinir ağı (RNN) modelleri oluşturuldu ve çevrimiçi metin akışının işlenmesinde önemli bir rol oynadı.
2000’ler
2001 yılında Yoshua Bengio ve ekibi ileri beslemeli sinir ağlarını kullanarak sinirsel dil modellerini geliştirdi.
Bu dönemde NLP arama motorları, sesli asistan gibi araçlar ile birlikte çevrimiçi oldu ve daha fazla kullanıcı NLP sistemlerine erişim sağladı. NLP büyümesiyle birlikte daha da karmaşık bir hal aldı. 80 ve 90 yıllarından farklı olarak NLP sistemlerinin daha yumuşak kararlar aldığı görüldü. Destek Vektör Makineleri (SVM) ve Gizli Markov Modelleri (HMM) gibi algoritmaların kullanımı yaygınlaştı bu sayede sistemler daha kullanışlı hale getirildi. Bu dönemde NLP tabanlı çeviri sistemlerinden biri olan Google Translate, 2006’da piyasaya sürüldü.
2010’lar
Google 2018 yılında BERT modelini (Bidirectional Encoder Representations from Transformers) duyurdu. Bu model transformatör katmanlarını daha yoğun kullanarak cümleyi iki taraflı bir şekilde analiz edip insan dilini anlama oranını artırmaya yaradı. 2000’li yıllarda gelişen NLP 2010’lu dönemlerde değişmeye başladı. Bu değişimle beraber farklı işlevlerde kullanılan NLP sistemleri ortaya çıktı. Bu sistemler şöyledir;
- Word2Vec (2013): Tomas Mikolov ve ekibi tarafından icat edilmiştir.
- Çeviri Hizmetlerinde Nöral Modellere Geçiş (2017): Bu gelişme ile beraber Google Çeviri istatistiksel bağlamdan uzaklaşmış ve cümle, sözcük yapılarını anlayarak çeviri yapmasına olanak sağlanmıştır. Bu sayede çevirilerden daha doğru ve kesin sonuçlar alınmaya başlandı.
- Uzun Kısa Süreli Bellek (LSTM) Ağları: LSTM sistemleri dil anlama yeteneği sayesinde ön plana çıkmıştır. Google Çeviri ve Apple Siri sistemlerinde kullanılmaya başlandı.
- Transformatör Modelinin Tanıtımı (2017): Veri işlemeyi optimize eden ve bu sayede performans ve hızı artıran transformatör modeli.
Bütün bu çalışmalar ve testler günümüze kadar evrilerek şu anda yararlandığımız Doğal Dil İşleme (NLP) Teknolojisini oluşturmuştur.
Günümüzde Doğal Dil İşleme (NLP) Teknolojisi
Bu dönemde GPT modeli geliştirildi. GPT modeli önceden eğitilmiş bir model olduğundan daha az eğitim verisiyle yüksek doğrulukta sonuçlar elde edilmesini sağladı. Günümüzde NLP eğitim, yazılım, gündelik hayatı kolaylaştırmak, insan dilini anlama gibi birçok amaca hizmet edebilir hale geldi. Önceki dönemlere baktığımız zaman imkanları kısıtlı olan NLP günümüzde performansını önemli ölçüde artırmıştır.
- Dil Anlama ve Metin Sınıflandırması: Sorguları duygu, düşünce, niyet analizi yaparak kullanıcıya anlamlı geri dönüşler sağlar.
- Sohbet Robotları ve Sanal Asistanlar: Chatgpt, Deepseek, Qwen gibi yapay zeka modellerinde insanın hayatını kolaylaştırmaya yönelik uygulamalara entegredir.
- Bilgi Alma: Çok kısa süre içerisinde binlerce kaynaktan bilgiler edinebilir.
- Konuşma Tanıma ve Dil Çeviri Hizmetleri: Konuşulan kelime ve cümle kalıplarını anlar ve farklı dillere çevirilerini sağlayabilir.
Yaklaşık 75 yıl önce yalnızca birkaç kelimeyi tercüme edebilen basit sistemlerden yola çıkan Doğal Dil İşleme (NLP) teknolojisi, günümüzde insan dilini anlama, bilgi sağlama, konuşma tanıma ve metin sınıflandırma gibi birçok gelişmiş işlevi yerine getirebilen bir yapıya ulaşmıştır. Başlangıçta imkansız gibi görülen bu ilerleme, yapay zeka ve makine öğrenimiyle desteklenerek büyük bir dönüşüm geçirmiştir. NLP, hala gelişmeye devam eden bir alan olup gelecekte daha bağlamsal, daha doğru ve etik açıdan daha güçlü yapılarla insan-makine etkileşimini daha ileri bir noktaya taşıyacaktır.
