Bulut Tabanlı Yapay Zeka Maliyetine Son: Kendi Sunucunuzda LLM Kullanmanın Yolları

Bulut Tabanlı Yapay Zeka Maliyetine Son: Kendi Sunucunuzda LLM Kullanmanın Yolları

Günümüzde yapay zeka (YZ) araçları pek çok işi kolaylaştırsa da, bulut tabanlı Büyük Dil Modeli (LLM) sağlayıcılarının sunduğu hizmetlerden benim gibi herkesin memnun olmadığını söyleyebilirim. Bu platformların sunduğu otomasyon ve verimlilik özellikleri ne kadar kullanışlı olsa da, gizlilik endişeleri ve yüksek API ücretleri, bulut çözümlerine tamamen güvenme fikrini pek cazip kılmıyor. Neyse ki, açık kaynaklı kendi kendine barındırılan (self-hosted) uygulamaları araştırmaya başladığım dönemlerde Ollama ile tanıştım. Farklı ekran kartlarında çeşitli LLM’leri deneyimledikten sonra, yerel LLM’lerimin bulut eşdeğerlerinden çok daha kullanışlı hale geldiğini ve artık ChatGPT, Perplexity, Gemini, Claude gibi ücretli servisleri kullanmaya gerek kalmadığını fark ettim.

Elbette, “yapay zeka araçları” dediğimde basit sohbet modellerinden bahsetmiyorum. Asıl ihtiyacım olan, saatlerce sürebilecek sıkıcı işleri halledebilecek LLM’lerin muhakeme yetenekleri. Örneğin, belge tarayıcıların optik karakter tanıma (OCR) ayarlarını manuel olarak yapmak ya da binlerce Docker logunu analiz edip hatalı uygulamaları tespit etmek ve yer imlerimin etiketlerini toplu halde düzenlemek gibi görevler oldukça zahmetli olabiliyor.

Ancak, LLM’lere aktarmak istediğim verilerin çoğu, kişisel kodlarım, notlarım, finansal belgelerim ve sunucu loglarım gibi özel bilgileri içeriyor. Bazı LLM sağlayıcıları veri saklamadıklarını veya modellerini eğitmek için kullanmadıklarını iddia etseler de, teknoloji dünyasında uzun zamandır bulunduğum için, en ufak özel veriyi bile bulut sunucularına yüklememenin en doğrusu olduğunu biliyorum. Kendi Ollama ve llama.cpp örneklerimde çalışan modeller ise tamamen kendi donanımımın işlem gücünü kullanıyor. Ne komutlarım ne de belgelerim sunucumdan ayrıldığı için, verilerime rastgele şirketlerin erişmesi gibi bir endişem olmuyor.

Bir de işin parasal boyutu var. Benim otomasyon odaklı görevlerim, ücretsiz sorgu yapabileceğim bir sohbet arayüzünden ziyade API’ler gerektiriyor. LLM sağlayıcıları ya tekliflerinde hız sınırları uyguluyor ya da en küçük modeller için kullanım bazlı ücretler belirlemişler. Farklı platformlarla deneme yapmak istediğimde bu maliyetler hızla artabiliyor. Kağıt üzerinde, sadece LLM çalıştırmak için yeni ekran kartları ve sunucu sistemleri satın almak oldukça pahalı görünebilir, hele bir de bu sistemlerin tükettiği enerjiyi hesaba katarsak. Ancak ben bu görevler için eski ekran kartlarımı ve MacBook’umu kullanıyorum, bu yüzden başlangıç maliyeti neredeyse sıfır dolar oldu. Bu LLM’leri çalıştırmak da çok fazla elektrik tüketmiyor, çünkü sunucu düğümlerim genellikle boşta kalıyor. Kullanımım ise genellikle uzun süreli işlem yükleri yerine hızlı çıkarım görevleri için oluyor. Bunlara bir de yaşadığım yerde nispeten ucuz olan elektrik fiyatlarını eklediğimde, özel LLM’lerim, sabit API ücretleri ödemekten veya her ay cüzdanımı bir abonelikle boşaltmaktan çok daha ucuza geliyor.

Ev Laboratuvarı Görevleri İçin Ollama Modelleri Yeterli

LLM’leri kendi kendine barındırılan uygulamalarla eşleştirmeye yaklaşık iki yıl önce başladım. O zamandan beri, hem YZ odaklı araçlarla hem de bu modelleri kullanarak ek yaşam kalitesi özellikleri sunabilen bağımsız hizmetlerle karşılaştım. İkinci kategorinin en belirgin örneği, yerleşik asistanının muhakeme yeteneklerini LLM’lerimle güçlendirmemi sağlayan Home Assistant. Kendi kendine barındırılan araçlarımı ve rastgele cihazlarımı Home Assistant’a bağlayan birçok HACS entegrasyonum var ve LLM destekli akıllı ev merkezim, yaşam alanımla ilgili tüm sorularıma yanıt veriyor. Benzer şekilde, bu LLM’ler güvenlik kamerası görüntülerimi takip edebiliyor ve bazı metin-konuşma düzenlemeleriyle YZ tarafından üretilen seslerle bana yanıt verebiliyor.

Kendi Kendine Barındırılan LLM’ler, Medya Yönetimi Araçlarımla Uyumlu Çalışıyor

HASS’ın yanı sıra, LLM’leri açık kaynaklı uygulama yığınımda, özellikle dosyalarımı düzenlemeye yönelik araçlarla yoğun bir şekilde kullanıyorum. Paperless-ngx adında bir belge yönetim aracı var; faturalarımı, vergi beyannamelerimi, üniversite notlarımı ve makbuzlarımı kaybetmememin tek nedeni kendisidir. Tek başına Paperless-ngx’in iyi OCR özellikleri var, ancak tablolar ve rastgele harf yerleşimi olan belgeler için ideal olmaktan uzak. Bu yüzden onu Paperless-GPT kapsülüyle eşleştirdim. Bu kapsül, sadece metni yüksek doğrulukla tanımlamakla kalmıyor, aynı zamanda faturalarım için yazışmalar, tarihler ve özetler de üretebiliyor. Benzer şekilde, Paperless AI adında başka bir yardımcı uygulamayı, belgelerim için otomatik olarak etiketler oluşturmak ve bunları doğal dil sorgularıyla aramak için kullanıyorum.

Ayrıca, Karakeep’i web sayfalarını, videoları ve geleneksel PDF dosyalarını özel bir fikir panosunda yer imlerine eklemek için kullanıyorum. Ollama LLM’lerim, yeni eklenen pinlerim için özetler ve etiketler üretmekten sorumlu. Hatta iyi, eski Nextcloud bile, sunum slaytlarını, elektronik tabloları ve metin belgelerini özetlemek için uygulama mağazasından belirli entegrasyonlarla LLM’leri destekliyor. Navidrome’un eklenti desteği eklemesiyle, basit komutlar kullanarak çalma listeleri oluşturmak için LLM’lerimi kullanan bir AudioMuse-AI kapsülü dağıttım.

Yerel LLM’leri Geleneksel Bulut YZ Araçlarının Yerine Kullanıyorum

Ev laboratuvarı hizmetleri yetmezmiş gibi, LLM’ler günlük uygulamaların açık kaynaklı alternatifleriyle de aynı şekilde uyum sağlıyor. Örneğin Grammarly’yi ele alalım. Grammarly için premium abonelik ücreti ödemek yerine, makalelerimi (şu anda okuduğunuz dahil) dilbilgisi hataları açısından kontrol etmek için Ollama modellerime bağlı bir LanguageTool örneği kullanıyorum. Yakın zamanda Open Notebook ile de tanıştım; bu, (itiraf etmek gerekirse) daha az özelliğe sahip, açık kaynaklı bir NotebookLM. Ancak NotebookLM için temel kullanımım DevOps ve sistem yöneticiliği çalışmalarım için belgeleri toplamak olduğundan, Open Notebook + Deepseek R1 kombinasyonu sağlam bir alternatif.

YZ ile kod üretmekten pek hoşlanmasam da, kodumu taramak için yerel LLM’leri kullanmaktan çekinmiyorum (elbette, kontrol ettikten sonra!). VS Code’daki Continue.Dev eklentisi bu konuda oldukça işime yarıyor.

Bu Görevler İçin En Yeni Ekran Kartlarına İhtiyacım Yok

Mevcut kurulumum merak ediyorsanız, LLM merkezlerim olarak iki ekran kartı ve bir MacBook Air M4 kullanıyorum. En hafif görevler, yaklaşık 10 yaşında bir GTX 1080 üzerinde herhangi bir sorun olmadan çalışıyor. Continue.Dev, Open Notebook ve diğer daha zorlayıcı hizmetler için, oyun makinemin RTX 3080 Ti’ını Ollama modellerini çalıştırmak için kullanıyorum ve bu kart, 12 milyar (ve biraz daha yüksek parametreli) LLM’leri kolaylıkla kaldırabiliyor. Birkaç ayarlama ile MacBook’um ve 3080 Ti, takılma problemi yaşamadan daha büyük LLM’lerle başa çıkabiliyor.

Siz Ne Düşünüyorsunuz?

Bulut tabanlı LLM hizmetlerinin gizlilik endişeleri ve maliyetleri sizin için de bir sorun teşkil ediyor mu? Kendi sunucunuzda LLM çalıştırma konusundaki deneyimlerinizi ve düşüncelerinizi duymak isteriz. Teknoloji dünyasındaki yenilikleri yakından takip etmek ve daha fazla faydalı içerik için teknobirader.com’u ziyaret etmeyi unutmayın.