OpenAI'nin Ötesinde Büyük Dil Modeli API'lerini Keşfedin!
Günümüzde, hemen her B2B uygulamasının YZ özellikleri kazandığını görmek mümkün. Benim startup’ım CommandBar da bu trendin bir parçası. 20 milyon son kullanıcı için entegre kullanıcı yardım aracıları geliştirmek amacıyla büyük dil modeli (LLM) API’lerini kullanıyoruz. OpenAI’nin API’leriyle 11 aylık bir deneyimin ardından, artık diğer modelleri inceleyerek ne kadar yol aldıklarını gözlemlemek istiyoruz. Bunu yaparken, maliyetleri düşürme, AI ürünlerimizin performansını çeşitli kullanım senaryolarında artırma ve veri gizliliği üzerinde daha fazla kontrol sahibi olma gibi hedeflerimiz var.
ChatGPT’nin popülaritesi, GPT’yi AI ile neredeyse eş anlamlı hale getirdi. Bu etki B2B dünyasında da hissediliyor. Girişim sermayesi firması a16z tarafından yapılan bir araştırma, AI kullanan işletmelerin büyük çoğunluğunun OpenAI modellerini tercih ettiğini gösteriyor. OpenAI modelleri, üretimde ikinci sıradaki Google’dan beş kat daha hızlı.
Ancak, bu üstünlük kalıcı mı? Veriler, bunun pek de kesin olmadığını gösteriyor. a16z’nin bulgularına göre, birçok şirket artık tedarikçi bağımlılığını azaltmak için birden fazla modeli test ediyor. İşletmeler, maliyetleri düşürmek, daha fazla kontrol sahibi olmak ve tedarikçi bağımlılığından kaçınmak için OpenAI alternatiflerini değerlendirme konusunda oldukça istekli.
Hadi, OpenAI’nin ötesinde Büyük Dil Modeli API’lerini keşfedelim.
B2B için OpenAI API'sine Alternatifler
Birçok artificial intelligence modelinin yerel cihazlarda çalıştırılması, yüksek işlem gücü gerektirir. Bu nedenle, şirketler genellikle büyük dil modellerine (LLM) veri merkezleri üzerinden erişim sağlarlar. OpenAI, LLM API’leri sağlayan tek şirket olmaktan uzaktır. Yapay zeka etiği savunucusu Anthropic, Claude modellerini bir API aracılığıyla sunarken, Mistral da tescilli modelleri için benzer bir hizmet sunmaktadır. Ayrıca, Google’ın Gemini modeli de API üzerinden erişilebilir durumdadır.
API sağlayıcıları arasında Replicate ve Hugging Face, çeşitli açık kaynaklı LLM’lere erişim imkanı tanır. Bunlar arasında en popüler olanlar Mistral’in Mixtral modelleri ve Meta’nın Llama modelleridir.
Bu API’ler genellikle milyon token başına ücretlendirilir. Örneğin, OpenAI’nin GPT-4’ü 1 milyon token çıktısı için 30 dolar ücretlendirilirken, Replicate üzerinden Llama 3 70b’yi çalıştırmak 1 milyon token çıktısı için 2,75 dolara mal olur. OpenAI’ye göre, 100 token yaklaşık 75 kelimeye denk gelir. Ürününüzün ihtiyaç duyduğu token sayısı, ürettiğiniz içeriğe bağlı olarak değişir. Örneğin, binlerce kelimelik bir makale yazma aracı, indirilen dosyaları otomatik olarak yeniden adlandıran bir yapay zeka özelliğinden daha fazla token tüketecektir.
Uzun süredir yapay zeka ürünlerimizi OpenAI API’leri üzerinden çalıştırıyoruz, ancak şimdi alternatifleri de değerlendiriyoruz.
Hangi Yapay Zeka API'sini Kullanmalısınız?
Müşterilerimiz, ürünümüzü kendi ürünlerine entegre ederek kullanıcılarına sunarlar. Bu durum, yanıt kalitesinin en önemli faktör olduğunu ortaya koyar; ancak bu her şirket için geçerli olmayabilir. İlk olarak, üç temel metriğe odaklanarak neleri optimize edebileceğinizi belirleyelim.
Fiyat: En belirgin metrik budur. Sunmak istediğiniz kullanıcı deneyimini sürdürebilmek için mümkün olan en düşük maliyeti hedeflemelisiniz.
Kalite: Yapay zekâ çıktısının kalitesi ne kadar iyi? Farklı kullanım senaryoları, farklı kalite seviyeleri gerektirir. Kullanıcı asistanı gibi doğru sonuçlar veren bir çözüm istiyorsanız, kalite yüksek olmalıdır. Ancak belgeleri otomatik adlandırmak gibi daha basit işler için en yüksek kaliteye gerek olmayabilir.
Hız: Model ne kadar büyükse, çıktı o kadar yavaş olur ve farklı kullanım senaryoları farklı hızlar gerektirir. Bir yapay zekâ yazma aracı geliştiriyorsanız, bir makalenin oluşturulması için fazladan 20 saniye beklemek önemli değildir.
Hangi yapay zekâ modelinin hangi kullanım durumu için en uygun olduğunu belirlemek zor olabilir. Ancak bazı genel gözlemlerimiz var: Kalite açısından, birçok model artık birbirine oldukça yakın seviyelerde.
OpenAI eskiden tartışmasız liderdi, ancak şimdi zirvede tek başına değil. Birçok model, özellikle daha az karmaşık sorgular için, GPT-4 seviyesine yaklaşıyor.
Ancak bazı öne çıkan modeller var:
- Anthropic’in Claude 3: En doğal yazım stiline sahip gibi görünüyor. Birçok kullanıcı artık ChatGPT’nin stilini beğenmiyor.
- Llama ve Mistral modelleri: Tam kontrol istiyorsanız en iyileridir. Açık kaynaklı oldukları için API’ler aracılığıyla erişimleri ucuzdur ve bu da onları test amaçları için ideal hale getirir. Hassas verilerle çalışıyorsanız, bu modelleri yerel olarak barındırabilir ve verilerinizi kendi sunucunuz/donanımınız dışında herhangi bir yere göndermekten kaçınabilirsiniz.
Sonuç olarak, hangi yapay zekâ API’sini kullanacağınıza karar verdikten sonra, altyapınızı nasıl kuracağınızı da belirlemeniz gerekecek.
Yapay Zeka Altyapınızı Çeşitlendirme
Ürününüzün tamamını (veya önemli bir özelliğini) tek bir API ile çalıştırıyorsanız, bu satıcı işinize zarar verebilir. Fiyatların artırılmaması veya hizmetin kapatılmaması durumunda bile, basit bir kesinti müşteri deneyiminizi olumsuz etkileyebilir.
OpenAI’nin liderlik değişikliği sırasında, altyapımızı Microsoft Azure’a (OpenAI modelleri için API’ler de sağlayan) taşıdık. Bu sayede, OpenAI’nin kapanması veya büyük bir ürün değişikliği durumunda kendimizi güvence altına aldık. Bu durum gerçekleşmemiş olsa da, altyapımızı sürdürmek için OpenAI yerine Microsoft’a güvenmenin daha güvenli olduğunu düşünüyoruz.
GPT-4 gibi tercih ettiğiniz bir modeliniz olsa bile, satıcı riskini azaltmak amacıyla farklı API’lere sahip olmak akıllıca bir adım olacaktır (bu API’ler aynı modelleri barındırsa da barındırmasa da).
Birden Fazla Model Arasında Orkestrasyon
AI uygulamalarının evrimi çoklu model mimarisine doğru ilerliyor. Modeller uzmanlaştıkça, bir yapay zeka uygulamasının birden fazla modelle etkileşimde bulunarak en iyi performansı elde etmesi olası hale geliyor.
Örneğin, sohbet uygulamamızda, kullanıcıların en hızlı yanıtları almasını sağlamak için sorguları mevcut gecikmelere göre farklı modellere yönlendirebiliriz. Yanıt süresi, kullanıcı memnuniyeti için kritik bir faktördür. Ayrıca, maliyet ve kalite arasında denge kurma konusunu da araştırdık. Kısa ve basit sorular için daha uygun maliyetli modeller kullanabiliriz. Daha karmaşık sorular için ise daha gelişmiş ve bilişsel olarak optimize edilmiş modelleri devreye sokabiliriz.
Modeller uzmanlaştıkça, tek bir yapay zeka uygulamasının birden fazla model arasında düzenleme yaparak en iyi performansı elde etmesi muhtemeldir. Ancak, bu orkestrasyon karmaşık olabilir ve birden fazla modele aşinalık gerektirir. Ayrıca, en son sürümlerden haberdar olmayı da zorunlu kılar.
Son kullanıcılar için daha yüksek maliyet ve çeşitlilik gerektiren bir üretim AI uygulaması oluşturuyorsanız, orkestrasyona yatırım yapmanız veya bu alandaki yeni satıcılardan birini kullanmanız mantıklı olabilir. Ancak, daha küçük ölçekli, dahili kullanım için bir şey oluşturuyorsanız, farklı modellerle biraz test yapıp en iyi sonucu veren modeli seçmeniz yeterli olacaktır.
English 
Turkish