MUVERA - Google Aramayı Hızlandıracak Teknoloji
Google’da bir arama yapıldığında saniyeler içinde milyarlarca sayfa arasından en alakalıları bulup karşımıza çıkartabiliyor. Bunu nasıl başardığına baktığımızda karşımıza “embedding” kavramı çıkıyor. Embedding kısaca kelimelerin, sayıların ve görsellerin anlamlarını bilgisayarların anlayabileceği sayısal ifadelere çevirme yöntemidir. Yapay zeka bir içeriğe sanal bir evrende bir koordinat atar ve anlamsal olarak birbirine yakın içerikleri bu şekilde birbirine yakın konumlandırmış olur. Arama motoru algoritması da bu koordinatların yakınlığına bakarak en doğru sonuçları bulur.
Yakın zamana kadar her içerik tek bir vektörle (single-vector) temsil ediliyordu. Hızlı olmasının yanında içeriğin derinliğine inemediğinden isabetliliği düşüktü. Sonrasında daha gelişmiş çok vertörlü (multi-vector) modeller ortaya çıkmaya başladı. Bu modeller de içeriğin her kelimesini ayrı bir vektörle tanımayıp, tüm içeriği bu vektörlerin toplamıyla temsil ediyordu. Bu sayede daha isabetli sonuçlar alabiliyordu ama bu sefer de yavaşlamıştı. MUVERA, bu iki yöntemin iyi yönlerini alıyor, kötü yönlerini çözüyor ve en isabetli sonucu en hızlı şekilde verebiliyor.
Embedding Teknolojisi - Hız mı, İsabet mi?
Arama motorlarının çalışma prensibinde yıllar boyunca single-vector embedding teknolojisi yer aldı. Sanki koca bir kitabı tek kelime ile özetlemek gibi düşünebiliriz. O kelimeyi aradığımızda milyarlarca kitap arasından o kitaba kolayca ulaşabiliriz ama kitapta anlatılan diğer birçok şeyi de kaçırırız.
Bu eksikliği giderebilmek için ColBERT gibi multi-vector embedding teknolojileri geliştirildi. Bu modeller, bir kitabı içindeki her bölümü ayrı ayrı özetliyor ve bu özetleri bir araya getiriyor. O kitaptan bir bölüm arandığında bir araya getirdiği özetleri kullanıyor ve kitabı bütünsel olarak ele alabiliyor. Bu yöntemle aradığımız şeye daha isabetli şekilde ulaşabiliriz ama biraz beklememiz gerekebilir. Çünkü tek bir vektör yerine yüzlerce vektör oluşturunca işlenmesi gereken veri miktarı arttı. Benzerlik hesaplama algoritması gelişince veriyi işleme şekli de karmaşıklaştı. Bu sebeplerden ötürü de arama süresi ve maliyetler yükseldi.
Bu noktada devreye MUVERA giriyor ve iki embedding teknolojisinin iyi yönlerini birleştiriyor. Bunu da çok vektörlü seti daha verimli hale getirmek için tek vektöre indirgeyerek başarıyor. Bu yöntemin adı: Fixed Dimensional Encoding yani sabit boyutlu kodlama, FDE olarak da kısaltılıyor. MUVERA, bir içeriğin multi-vector embedding teknolojisi ile oluşturulmuş karmaşık ama anlamsal olarak zengin vektör setini alıyor ve bunu tek bir FDE vektörüne sıkıştırıyor.
Sıkıştırma işlemi MUVERA’daki iki adımlı sürecin ilk adımını oluşturuyor. Arama sadece bu sıkıştırılmış FDE vektörüne bakmıyor, en iyi sonucu bulabilmek için bir eleme yöntemi kullanıyor.
Önce FDE’lerde çok hızlı bir arama yapıp en alakalı olabileceklerden küçük bir aday grup oluşturur. Sonra da daha yavaş analize geçer ve bu sefer orjinal çok vektörlü setleri incelemeye başlar. “Yeniden sıralama” adını verdiği bu aşama sayesinde hem hızlı sistemlerle verimlilik hem de veri zenginliği sayesinde isabetlilik sunabiliyor.
FDE yöntemini bu denli verimli ve akıllı kılan şeylerden biri de sorgulara ve dokümanlara farklı davranmasıdır. MUVERA, bir kullanıcının arama sorgusundaki vektörleri toplarken, aranacak dokümanlardaki vektörlerin ortalamasını alarak asimetrik bir kodlama yapar. Bu teknik sayesinde bir sorguda arananın bir dokümanda olup olmadığını bulabilir. Bu teknikte FDE’ler belirli bir veri setine bağlı kalmadan çalıştıkları için sürekli değişebilen ve yeni eklenen verilere uyumlu hale gelebilen bir yapıdalardır.
İstatistiklerle MUVERA
- MUVERA, bir önceki en gelişmiş sistem ile karşılaştırıldığında, arama sorgularını ortalama %90 daha hızlı yanıtlarken, isabet oranını ortalama %10 artırdı.
- Geleneksel embedding yöntemlerine kıyasla aynı isabet oranına ulaşmak için 5 ila 20 kat daha az aday doküman tarıyor.
- MUVERA’nın performans artışındaki kilit noktası, arama kalitesinde kayda değer bir düşüş olmadan 32 kat sıkıştırabilmesidir. Bu sayede saniye başına sorgu kapasitesini de 20 kat arttırabilmektedir.
- Single-vector embedding ile %80 isabet oranına ulaşmak için biricik 300 doküman adayına ihtiyaç vardı. MUVERA aynı orana 60 aday ile ulaşabiliyor. Yani en verimli senaryoda bile 5 kat daha az aday işlemesi yeterli oluyor.
MUVERA, dijital dünyada teknolojik bir geliştirmeden çok daha fazlasıdır. Bilgiye erişim şeklini ve konforunu temelden değiştirecek ve dijital pazarlamacıların stratejilerinde yeri olması gereken bir yeniliktir. Artık profesyonellerin içerik üretirken “Hedef kitlem hangi aramayı yapıyor?” diye sormak yerine “Hedef kitlem hangi sorunu çözmeye çalışıyor, hangi bilgiye ulaşmak istiyor?” sormalıdır. Bu da yeni dönemde stratejilerin anahtar kelime odağından, bağlam odağına kayması anlamına gelmektedir. Başarılı olmak için kullanıcı niyetini stratejinizin merkezine almalı, bir konuyu tüm detayları ve farklı yönleriyle ele alarak içerik üretmelisiniz.