Yerel Yapay Zeka Modelleri Düşündüğünüz Kadar Elektrik Tüketmiyor

Yerel Yapay Zeka Modelleri Düşündüğünüz Kadar Elektrik Tüketmiyor

Yapay zeka modellerinin ne kadar enerji tükettiğiyle ilgili endişeler oldukça yaygın. Özellikle büyük veri merkezlerinin şehirler kadar elektrik harcadığına veya tek bir modelin eğitiminin yüzlerce evin bir yıllık enerji ihtiyacını aştığına dair haberler sıkça karşımıza çıkıyor. Bu bilgiler doğru olsa da, yapay zekanın enerji tüketimi konusunda tam bir resim çizmiyorlar ve insanları kendi donanımlarında yerel yapay zeka çalıştırmaktan çekindirebiliyorlar. Ancak durum, genellikle lanse edildiği kadar göz korkutucu değil.

Yerel bir yapay zeka modelini çalıştırmak ile bir modeli eğitmek arasında dağlar kadar fark var. İş yükleri, donanım gereksinimleri ve dolayısıyla enerji tüketimi açısından bu iki işlem birbirinden tamamen farklı. Kendi deneyimlerime göre, ev ortamında yerel model çalıştırmanın enerji faturasına etkisi o kadar az ki, üzerinde durmaya bile değmez.

Örneğin, kendi sunucumda Ollama kullanarak çalışan bir Radeon RX 7900 XTX GPU’lu sistem, diğer tüm servislerimle birlikte boşta yaklaşık 70 watt civarında bir güç tüketiyor. Bu, birçok oyun bilgisayarının boşta harcadığı güçten daha az. Elbette bu değer, kullandığınız donanıma göre değişiklik gösterir. Masaüstü bir GPU, Apple Silicon’a göre daha fazla güç çekerken, 200 milyar parametreli bir model, 7 milyar parametreli bir modele göre daha fazla enerji harcayacaktır.

Ancak genel kullanıcılar için yerel model çalıştırmanın (inference), güç tüketimine olan etkisi oldukça minimaldir. Dahası, piyasada çoğu kişinin bilmediği, şaşırtıcı derecede verimli seçenekler de bulunuyor.

Yerel Yapay Zeka Modelleri ve Enerji Tüketimi: Doğrusu Nedir?

Ani Yüklenmeler, Sürekli Tüketim Değil

Yerel yapay zeka modellerini çalıştırmanın temelinde yatan en önemli nokta, bu işlemin “ani yüklenmeler” şeklinde gerçekleşmesidir. Bir istek geldiğinde, GPU kısa bir süreliğine aktifleşir, cevabı üretir ve ardından tekrar düşük güç moduna geçer. Güç tüketimi, bu kısa çalışma anında anlık olarak artar ve ardından hızla eski seviyesine döner.

Bu durum, saatlerce tam yükte çalışan oyun bilgisayarlarından veya haftalarca aralıksız çalışan binlerce GPU’nun kullanıldığı model eğitimlerinden çok farklıdır. Yerel model çalıştırma, hızlı bir yükseliş ve ardından gelen bir düşüşten ibarettir. Bu ayrım, enerji hesaplamalarını tamamen değiştirir.

Günlük pasif veri işleme görevlerim için sunucumda gpt-oss-20b modelini kullanıyorum. Bu model, veri çıkarma ve özetleme gibi işlemleri gün boyunca yapıyor. Aynı sunucu aynı zamanda evdeki sesli asistanıma da güç veriyor. Işığı kapatmasını veya yarının hava durumunu sormamı istediğimde, GPU devreye girer, yapay zeka modelini kullanarak isteği işler ve hemen uyku moduna geçer. Bu tüm işlem birkaç saniye sürer.

Eğer güç ölçeri izliyor olsaydınız, kısa bir süreliğine birkaç yüz watt’lık bir artış görür, ardından tüketimin tekrar normale döndüğünü fark ederdiniz. Bu durumu daha iyi anlamak için, RX 7900 XTX’in maksimum güç tüketimi 355 watt’tır ve bu değer, sürekli tam yük altında gerçekleşen bir senaryo için geçerlidir. Yerel model çalıştırma sırasında ise kart, genellikle sadece birkaç saniye süren üretim anlarında 150 ila 250 watt arasında bir güç çeker.

Sesli asistan sorgusu belki bir saniye sürer. Bir belge işleme görevi ise birkaç saniye. Geri kalan zamanlarda kart, neredeyse tamamen uyku halindedir. Yerel yapay zeka çalıştırmaya başladıktan sonra elektrik faturamda anlamlı bir değişiklik olmadı. Sunucunun kendisi, konteynerleri çalıştırma, depolama ve ağ bağlantısı için zaten 70 watt’lık bir temel güç tüketimine sahipti. Yapay zeka modeli, zamanının büyük çoğunluğunu hiçbir şey yapmadan geçirdiği için bu temel tüketime neredeyse hiçbir ek yük getirmedi.

Ev sunucusu kurulumuna sahip çoğu kişinin de benzer bir hikayeye tanık olacağını düşünüyorum. Sürekli çalışan servisler gerçek güç tüketicisidir ve yapay zeka modeli sadece onlara eşlik eder. Üstelik, şu anda dünyanın en pahalı enerji piyasalarından birinde yaşadığımı da belirtmek isterim. Eğer yerel yapay zeka çalıştırmak enerji maliyetlerimi anlamlı derecede etkileseydi, bunu kesinlikle bilirdim.

Büyük GPU’lara Gerek Yok: Apple ve Lenovo Kanıtlıyor

Masaüstü GPU’lar size fazla gelebilirse, yerel modelleri sorunsuz çalıştırabilen daha düşük güç tüketen alternatifler mevcut. Apple’ın M4 çipli Mac Mini’si tüm sistem için 5 watt’ın altında boşta güç tüketirken, yoğun yapay zeka işlemleri sırasında en fazla 65 watt’a ulaşıyor. M4 Max çipli bir MacBook Pro ise en zorlu koşullarda bile, ekranı ve diğer tüm bileşenleri dahil olmak üzere yaklaşık 110 watt’ı geçmiyor.

Ollama’yı bir MacBook Pro’da, şarjıyla bile çalıştırabilirsiniz ve normal kullanımda bekleyeceğinizden daha hızlı pil tüketimi olmadan token üretimi yapabilir. Apple Silicon’ın birleşik bellek mimarisi sayesinde GPU, CPU ile aynı bellek havuzunu paylaştığı için ayrı ve güç tüketen bir bileşen olmasına gerek kalmıyor. Bu paket, verimlilik üzerine kurulu. GPT-oss-20b gibi modeller yalnızca yaklaşık 16 GB belleğe ihtiyaç duyuyor, bu da birçok sistemde rahatlıkla çalışabiliyor.

Daha büyük modeller için daha fazla alana ihtiyacınız varsa, M4 Ultra çipli bir Mac Studio da yetersiz kalmayacaktır ve yine de yapay zeka işlemleri sırasında 100 watt’ın oldukça altında güç tüketir. Bu deneyimlerden ödün vermek anlamına gelmiyor, çünkü Apple Silicon üzerindeki token üretimi, MLX sayesinde gerçekten hızlı.

Yakın zamanda incelediğim Lenovo ThinkStation PGX, Mac Mini kadar bir kutunun içine 128 GB birleşik belleğe sahip Nvidia GB10 Grace Blackwell Superchip’i sığdırıyor. Tüm sistem, USB-C güç kaynağından maksimum 240 watt güç çekiyor ve çıkarım (inference) işleminden daha yoğun olan model ince ayarı (fine-tuning) sırasında bile GPU, sadece 65.4 watt’a ulaştı. Sadece çıkarım işlemi için güç tüketimi daha da düşük olacaktır. Bu, yapay zeka iş yükleri için 128 GB kullanılabilir belleğe sahip bir makine ve çoğu insanın bekleyeceğinden çok daha az güç tüketiyor.

İşlerin ne kadar verimli hale geldiğini anlamanız için şöyle bir örnek vereyim: Tam yükte çıkarım yapan beş adet Mac Mini’den oluşan bir küme, toplamda yaklaşık 200 watt güç tüketiyor. Bu, tek bir üst düzey masaüstü GPU’nun sürekli oyun yükü altında harcadığı güçten daha az.

Artık yerel yapay zeka modellerini çalıştırmak için gereken donanım, masanızda rahatlıkla durabilir, standart bir prizden çalışabilir ve elektrik faturanıza neredeyse hiç etki etmez hale geldi. Gerçek maliyet, enerji faturası değil, donanımın kendisidir.

Veri merkezlerinde bile, temelde farklı ve daha fazla maliyet unsuru barındıran sistemlerde enerji kullanımı azalıyor. Google geçtiğimiz aylarda, metin tabanlı yapay zeka sorgularının ortalama enerji tüketiminin 12 ay öncesine göre 33 kat azaldığını belirtti. Yerel çıkarım da benzer bir eğri izledi. Llamafile gibi çalışma zamanı yazılımları, CPU iş yüklerinde Ollama’dan daha iyi performans gösterirken %30-40 daha az güç tüketiyor ve daha iyi nicemleme (quantization) teknikleri de bu oranı daha da aşağı çekiyor.

Bunun yanı sıra NPU’lar da var. Qualcomm’un Snapdragon X Elite, Intel’in Lunar Lake ve AMD’nin Ryzen AI 300 serisi, verimli çıkarım için özel olarak tasarlanmış sinirsel işlem birimlerine sahip. Bu işlemciler, minimum güçten maksimum performans elde etmek için düşük bitli tamsayı matematiği kullanıyorlar. Şu anda daha küçük modellerle sınırlı olsalar da, bu şirketlerin amacı önümüzdeki birkaç yıl içinde bu performansı önemli ölçüde artırmak. O noktada, yerel yapay zeka çıkarımı, fark edeceğiniz bir iş yükünden çok, arka planda çalışan bir işlem gibi görünecek.

Çıkarım (Inference) ile Eğitim (Training) Aynı Şey Değil

Yapay zeka güç tüketimi konusundaki yanlış anlamanın büyük bir kısmı, birbirinden çok farklı iki şeyi karıştırmaktan kaynaklanıyor. GPT-5 gibi son teknoloji bir modeli eğitmek ucuz bir iş değil ve bazı analistler bunun bir milyar dolara mal olabileceğini belirtiyor. Bu, özel güç ve soğutma altyapısına sahip veri merkezlerinde, haftalarca tam kapasitede çalışan binlerce GPU’yu içeriyor. Bu, muazzam bir mühendislik çabası ve haber başlıklarında yer alan, sorgu başına maliyeti hesaplarken dikkate alınan sayılar genellikle bunlardır.

Eğitilmiş bir modeli çalıştırmak ise kesinlikle öyle değil. Yerel bir yapay zeka modeline bir komut gönderdiğinizde, tek GPU’nuz birkaç bin token’ı işler ve sonra durur. Tüketilen enerji ise önemsizdir. Bu, bir araba fabrikası kurmak ile o arabayı mahallede sürmek arasındaki fark gibidir. Fabrika kurmak devasa bir maliyetken, günlük yolculuk masrafı düşüktür.

Yine de, insanlar “yapay zeka güç tüketimi” duyduğunda her zaman fabrikayı resmediyorlar. Buna ek olarak, veri merkezleri, ev kurulumlarında geçerli olmayan birçok ek yük taşır. Soğutma sistemleri, yedekli güç altyapısı, ağ bağlantısı ve milyonlarca kullanıcıya aynı anda hizmet vermenin getirdiği ölçek, haberlerde yer alan enerji rakamlarına katkıda bulunur. Sizin dolaptaki sunucunuzda bunların hiçbiri yok.

Yanıtı üretir ve tekrar boşta duruma geçer. Tüm bu işlem, bir lambayı birkaç saniye daha açık bırakmak kadar enerji kullanabilir. 355 watt’lık bir GPU’nun, özel yapay zeka hızlandırıcılar veya Apple Silicon kadar verimli olduğunu iddia etmeyeceğim. Değildir. Ve eğer sürekli olarak yüksek hacimde çıkarım yapıyorsanız, güç maliyetleri artacaktır.

Ancak çoğu ev kullanıcısı senaryosu için, sesli asistan, belge işleme ve gün içinde ara sıra verilen komutlar gibi kullanımlarda, gerçek enerji etkisi ihmal edilebilir düzeydedir. Sunucunun kendisinin boşta güç tüketimi ana maliyettir ve yapay zeka modeli bunun üzerinde neredeyse hiç iz bırakmaz. Gerçek şu ki, yerel yapay zeka çıkarımı, ölçene kadar pahalı görünebilecek şeylerden biridir. Ve benim durumumda, ölçüm yapmak beni enerji konusundaki endişelerin abartılı olduğuna ikna etti; hem de enerji maliyetlerinin farkında olan biri olarak.