Makine öğrenimi geçtiğimiz on yılda çok büyük bir ivme kazandı. Bilim Kurgu evrenine adım atıyormuşuz hissi veren bu süreçte her gün yeni bir gelişme ile karşılaşıyor. Şirketler yapay zekayı çok farklı alanlarda kullanmaya ve test etmeye başladı. Fakat bu girişimler ne kadar başarılı?
Doğal dil işleme alanında son dönemde yapay zekâ ile birlikte gerçekleşen gelişmeler bir çok sektörde kolaylığa yol açtı. Ancak iş karmaşık dil becerilerine geldiğinde yapay zeka henüz sandığımız kadar yetenekli olmayabilir.
Teknoloji dünyasının hız kesmeden büyümesi ve yapay zeka alanındaki yeni haberler dili anlama ve dilin işlenmesi noktasında ümit vaat eden yeni gelişmelere yol açıyor. Artificial intelligence dili analiz ederken makine öğrenmesi yeteneklerinden yararlanıyor ve doğal dil işlemeden elde edilen sonuçları veri havuzunda topluyor. Peki Doğal Dil İşleme (Natural Language Processing) nedir?
Doğal Dil İşleme Nedir?
Doğal dil işleme (NLP), bilgisayarlar ve insan dili arasındaki etkileşimlerle, özellikle bilgisayarların büyük miktarda doğal dil verisini işlemek ve analiz etmek için nasıl programlanacağıyla ilgilenen dilbilim, yapay zekanın ve akıllı bilgisayar biliminin bir alt alanıdır.
Dilin doğal yapısını makine öğrenme süreçleriyle işleyerek anlamlı yazılım dilleri haline getiren NLP teknolojileri sinir ağlarından gündelik teknolojilere bir çok konuda önümüzü aydınlatıyor.
Doğal Dil İşleme Neden Önemlidir?
Doğal dil işlemenin işletmeler için bu kadar kritik olmasının ana nedenlerinden biri, sosyal medya yorumları, müşteri destek biletleri, çevrimiçi incelemeler, haberler ve daha fazlası gibi büyük hacimli metin verilerini analiz etmek için kullanılabilmesidir.
Tüm bu iş verileri, çok sayıda değerli içgörü içerir ve NLP, işletmelerin bu içgörülerin neler olduğunu keşfetmesine hızla yardımcı olabilir. Henüz daha çok İngilizce, Almanca, Fransızca gibi dillerde yaygın olsa da gelişimi beklenenden çok hızlı
Bunu, makinelerin insan dilini insan aracılardan daha hızlı, daha doğru ve daha tutarlı bir şekilde anlamlandırmasına yardımcı olarak yapar.
NLP araçları, verileri 7/24 gerçek zamanlı olarak işler ve tüm verilerinize aynı kriterleri uygular, böylece aldığınız sonuçların doğru olduğundan ve tutarsızlıklarla dolu olmadığından emin olabilirsiniz.
NLP araçları bir metnin ne hakkında olduğunu anladıktan ve hatta duyarlılık gibi şeyleri ölçtüğünde, işletmeler verilerini ihtiyaçlarına uygun şekilde önceliklendirmeye ve düzenlemeye başlayabilir.
Daha Fazla Oku: İstediğiniz Her Şeyi Resmeden Yapay Zeka: DALL-E
Doğal Dil İşlemenin Zorlukları
Doğal dil işlemede birçok zorluk olsa da, NLP’nin işletmeler için faydaları, NLP’yi değerli bir yatırım haline getirmek için çok büyüktür.
Ancak, NLP’ye başlamadan önce bu zorlukların ne olduğunu bilmek önemlidir.
İnsan dili karmaşık, belirsiz, düzensiz ve çeşitlidir. Dünyada 6.500’den fazla dil vardır ve bunların hepsinin kendi sözdizimsel ve anlamsal kuralları vardır.
İnsanlar bile dili anlamlandırmakta zorlanıyor.
Yani makinelerin doğal dili anlaması için önce yorumlayabilecekleri bir şeye dönüştürülmesi gerekiyor.
NLP’de sözdizimi ve anlamsal analiz, bir metnin dilbilgisel yapısını anlamak ve belirli bir bağlamda kelimelerin birbirleriyle nasıl ilişkili olduğunu belirlemek için anahtardır. Ancak, metni makinelerin işleyebileceği bir şeye dönüştürmek karmaşıktır.
Veri bilimcilerinin, NLP araçlarını tanımların ve sözcük sırasının ötesine bakmayı, bağlamı, sözcük belirsizliklerini ve insan diliyle bağlantılı diğer karmaşık kavramları anlamalarını öğretmeleri gerekir.
Doğal Dil İşleme Nasıl Çalışır?
Doğal dil işleme tekniği, insan dili, cümlelerin dilbilgisel yapısı ve kelimelerin anlamlarının bağlam içinde analiz edilip anlaşılabilmesi için parçalara ayrılır. Bu, bilgisayarların sözlü veya yazılı metni insanlarla aynı şekilde okumasına ve anlamasına yardımcı olur.
NLP araçlarının insan dilini anlamlandırabilmesi için veri bilimcilerin gerçekleştirmesi gereken birkaç temel NLP ön işleme görevi şunlardır:
- Belirteçleştirme: metni daha küçük anlamsal birimlere veya tek tümcelere böler
- Konuşma bölümü etiketleme: kelimeleri isim, fiil, sıfat, zarf, zamir vb. olarak işaretleme
- Köklendirme ve lemmatizasyon: kelimeleri kök biçimlerine indirgeyerek standartlaştırma
- Kelime kaldırmayı durdur: edatlar ve makaleler (at, to, a, the) gibi çok az benzersiz bilgi ekleyen veya hiç eklemeyen yaygın kelimeleri filtreleme.
Ancak o zaman NLP araçları metni bir makinenin anlayabileceği bir şeye dönüştürebilir.
Bir sonraki adım, bir NLP algoritması oluşturmaktır.
Dil İşleme Yöntemleri
Doğal dil işleme yöntemlerine örnek olarak, işletmelerin e-postalar, sosyal medya gönderileri, ürün incelemeleri, çevrimiçi anketler ve müşteri destek biletleri gibi yapılandırılmamış verileri anlamalarına ve karar verme süreçlerini geliştirmek için değerli bilgiler edinmelerine olanak tanır. Uygulama alanlarını bu şekilde tanımlayabileceğimiz Teknoloji devi şirketler ayrıca rutin görevleri otomatikleştirmek, süreleri ve maliyetleri azaltmak ve nihayetinde daha verimli hale getirmek için doğal dil işleme süreçlerini aktif olarak kullanılıyor.
Dil İşleme Süreçlerinde Yapay Zeka
Konuşmaları anlama noktasında, AI teknolojisindeki son gelişmeler hala en temel uygulamalardan biriyle mücadele ediyor. Yeni bir çalışmada bilim adamları, nefret söylemini tespit etmek için en iyi dört AI sistemini test etti ve hepsinin hakaret içeren ve zararsız cümleleri ayırt etmek için farklı şekillerde çözüm geliştirdiğini fark etti. Doğal dil işleme yapay zekanın sınırlarını zorluyor gibi…
Sonuçlar genel kanının aksine yapay zeka açısından pek de olumlu değil; doğal dilin nüanslarını anlayan bir yapay zeka oluşturmak zordur. Ancak araştırmacıların sorunu teşhis etme şekli önemlidir. Her bir sistemin tam olarak nerede başarısız olduğunu daha kesin olarak belirlemek için nefret söyleminin farklı yönlerini hedefleyen 29 farklı test geliştirdiler. Bu, bir sistemin zayıflıklarının nasıl üstesinden gelineceğini anlamayı kolaylaştırırken aynı zamanda halihazırda bir ticari hizmetin yapay zekasını geliştirmesine yardımcı oluyor.
Oxford Üniversitesi ve Alan Turing Enstitüsü’nden bilim insanları tarafından yönetilen araştırma yazarları, sosyal medyada gerçekleşen nefret söylemleri üzerine çalışan 16 sivil toplum kuruluşunun çalışanları ile görüştü.
Ekip, bu röportajları, aşağılayıcı konuşma, karalamalar ve tehdit edici dil de dahil olmak üzere yalnızca İngilizce ve metin tabanlı nefret söylemine odaklanan 18 farklı türde nefret söyleminden oluşan bir sınıflandırma oluşturmak için kullandı.
Ayrıca, zararsız ifadelerde küfür kullanımı, hedeflenen topluluk tarafından geri alınan karalamalar ve orijinal nefret söyleminden alıntı yapan veya atıfta bulunan nefret söylemleri de dahil olmak üzere, genellikle yapay zeka moderatörlerini tetikleyen 11 nefret içermeyen senaryo belirlediler.).
Yapay Zeka Sandığımız Kadar Zeki Değil mi?
29 farklı kategorinin her biri için düzinelerce örnek hazırladılar ve yedi için aynı örnek setlerini oluşturmak için “[X KİMLİK]’ten nefret ediyorum” veya “Sen benim için sadece bir [Nefret Söylemi]sin” gibi “şablon” cümleleri kullandılar. korunan gruplar—ABD yasalarına göre ayrımcılığa karşı yasal olarak korunan kimlikler olarak belirlendi. Yaklaşık 4.000 toplam örnek içeren HateCheck adlı son veri setini açık kaynaklı hale getirdiler.
Nefret Söylemlerine Karşı Yapay Zeka
Araştırmacılar daha sonra iki popüler ticari hizmeti test etti: Google Jigsaw‘ın Perspektif API‘si ve Two Hat’s SiftNinja. Her ikisi de, müşterilerin gönderilerde veya yorumlarda ihlal eden içeriği işaretlemesine izin verildi. Perspektif, özellikle Reddit gibi platformlar ve The New York Times ve Wall Street Journal gibi haber kuruluşları tarafından kullanılır. Yapay zeka söylemin ölçüsüne göre insan incelemesi için gönderileri ve yorumları işaretleyip ve önceliklendirmeye çalıştı.
SiftNinja adlı manine öğrenmesine dayalı yapay zeka, nefret söylemi konusunda aşırı hoşgörülü davranıp, neredeyse tüm varyasyonlarını nefret söylemlerini tespit etmekte zorlandı. Buna karşılık Perspective adlı yapay zeka , aşırı derecede sert bir filtre uyguladı. 18 farklı nefret söylemi içeren kategorinin çoğunu tespit etmede mükemmeldi.
Ancak aynı zamanda, karalamalar hakkında eleştiri ve pişmanlık gibi nefret içermeyen içeriklerin çoğunu da nefret söylemi olarak tespit etti.
Sonuçlar, günümüzde yapay zeka tabanlı nefret söylemi algılamanın en zorlu yönlerinden birine işaret ediyor: Orta düzeyde çok az ve sorunu çözemezsiniz; çok fazla ılımlılık ve marjinal grupların kendilerini güçlendirmek ve savunmak için kullandıkları dili sansürleyebilirsiniz: Oxford İnternet Enstitüsü’nde doktora adayı ve makalenin ortak yazarı Paul Röttger,“Birdenbire, en başta nefretin en çok hedef aldığı toplulukları cezalandırıyor olacaksınız” diyor.
Jigsaw’ın lider yazılım mühendisi Lucy Vasserman, Perspective’in son kararı vermek için insan moderatörlere güvenerek bu sınırlamaların üstesinden geldiğini söylüyor. Ancak bu süreç daha büyük platformlar için ölçeklenebilir değildir. Jigsaw şu anda, Perspective’in belirsizliğine dayalı olarak gönderileri ve yorumları yeniden önceliklendirecek bir özellik geliştirmeye çalışıyor; nefret dolu olduğundan emin olduğu içeriği otomatik olarak kaldırıyor ve anlaması güç olan içeriği insanlara işaretliyor.
Yeni çalışma hakkında heyecan verici olan şey sanatın durumunu değerlendirmek için eşsiz bir yol sağlıyor. Jigsaw “Bu makalede vurgulanan birçok şey, örneğin bu modeller için bir meydan okuma olan geri kazanılmış kelimeler gibi bu, endüstride bilinen ancak ölçülmesi gerçekten zor olan bir şey” diyor. Modelleri arasındaki farkları ve iyileştirmeleri gereken yerleri daha iyi anlamak için şimdi HateCheck‘i kullanıyor.
Akademisyenler de araştırmadan heyecan duyuyor. Washington Üniversitesi’nde dil AI araştırmacısı olan Maarten Sap, “Bu makale bize endüstri sistemlerini değerlendirmek için güzel ve temiz bir kaynak sağlıyor” diyor ve “şirketlerin ve kullanıcıların iyileştirme talep etmesine olanak tanıyor.”
Rutgers Üniversitesi‘nde sosyoloji profesörü olan Thomas Davidson da aynı fikirde. Dil modellerinin sınırlamaları ve dilin dağınıklığı, nefret söylemini yetersiz ve aşırı tanımlama arasında her zaman değiş tokuş olacağı anlamına geliyor, diyor. “HateCheck veri seti, bu ödünleşimleri görünür hale getirmeye yardımcı oluyor” diye ekliyor.
Kaynak:
