Yerel LLM Çalıştırma Standardı: Ollama ile Kendi Bilgisayarınızda Gizli ve Hızlı Yapay Zeka
Yerel LLM Çalıştırma Standardı: Ollama ile Kendi Bilgisayarınızda Gizli ve Hızlı Yapay Zeka
Yapay zeka devrimi hız kesmeden devam ediyor. ChatGPT, Claude ve Gemini gibi bulut tabanlı büyük dil modelleri (LLM) günlük hayatımızın ayrılmaz bir parçası haline geldi. Ancak bu güçlü araçları kullanırken çoğumuz aynı soruları soruyoruz: “Hassas verilerim nereye gidiyor?”, “Aylık abonelik ücretleri ne kadar sürdürülebilir?”, “İnternetim kesildiğinde bu zekadan mahrum mu kalacağım?”
İşte tam bu noktada yerel yapay zeka (Local AI) çözümleri devreye giriyor. Açık kaynak kodlu modellerin (Llama 3, Mistral, Gemma vb.) gelişmesiyle birlikte artık kendi bilgisayarımızda güçlü bir yapay zeka çalıştırmak hayal değil.
Bu makalede, yerel LLM çalıştırmayı tıpkı bir uygulama yüklemek kadar basitleştiren ve bu alanın de-facto standardı haline gelen Ollama platformunu detaylıca inceliyoruz.
Ollama Nedir? Yapay Zeka Dünyasının "Docker"ı
Ollama; açık kaynaklı büyük dil modellerini yerel bilgisayarınızda kurmanızı, çalıştırmanızı ve yönetmenizi sağlayan açık kaynaklı bir araçtır.
Yazılım dünyasına aşina olanlar için Ollama’yı "LLM'lerin Docker'ı" olarak tanımlamak oldukça isabetli olacaktır. Karmaşık bağımlılıkları, GPU konfigürasyonlarını, kuantizasyon (model sıkıştırma) işlemlerini ve ortam ayarlarını sizin yerinize halleder. Size sadece tek bir komut yazmak kalır.
Neden Yapay Zekayı Kendi Bilgisayarınızda Çalıştırmalısınız?
Bulut servisleri son derece pratik olsa da, yapay zekayı yerel bilgisayarınızda Ollama ile çalıştırmanın sunduğu benzersiz avantajlar vardır:
- Mutlak Veri Gizliliği: Kodlarınız, kişisel notlarınız veya şirket verileriniz asla dışarıdaki bir sunucuya gönderilmez. Her şey tamamen sizin diskinizde kalır.
- Sıfır Maliyet ve Sınırsız Kullanım: API kotaları, aylık abonelik ücretleri veya jeton (token) sınırları yoktur. Donanımınız elverdiği sürece sınırsızca kullanabilirsiniz.
- Çevrimdışı (Offline) Çalışma: Uçakta, dağ başında veya internetinizin kesildiği anlarda yapay zekanız çalışmaya devam eder.
- Düşük Gecikme (Latency): Ağ istekleri (network requests) ortadan kalktığı için yanıtlar doğrudan donanımınız tarafından işlenir ve anında üretilir.
Ollama Nasıl Kurulur ve Kullanılır?
Ollama'nın en büyük gücü sadeliğidir. Kurulum süreci işletim sisteminize göre birkaç dakikadan fazla sürmez.
1. Kurulum
- macOS ve Windows: Ollama'nın resmi web sitesinden indirme dosyasını çalıştırarak standart bir uygulama gibi kurabilirsiniz.
- Linux: Terminalinizde tek bir komut çalıştırmanız yeterlidir:
bash curl -fsSL https://ollama.com/install.sh | sh
2. İlk Modeli Çalıştırma
Kurulum tamamlandıktan sonra terminalinizi (veya komut satırını) açın. Örneğin Meta'nın en gelişmiş açık kaynaklı modeli olan Llama 3'ü çalıştırmak için şu komutu yazın:
ollama run llama3
Ollama, gerekli model dosyalarını otomatik olarak indirecek ve indirme biter bitmez terminalinizde sizinle sohbet etmeye hazır bir yapay zeka başlatacaktır. İşte bu kadar basit!
Ollama Kütüphanesinde Hangi Modeller Var?
Ollama geniş bir açık kaynak model yelpazesine sahiptir. İhtiyacınıza ve bilgisayarınızın donanımına (RAM ve VRAM) göre dilediğiniz modeli tercih edebilirsiniz:
- Llama 3 (Meta): Genel amaçlı sohbet, metin yazımı ve mantık yürütme için şu anki en iyi açık kaynak model.
- Mistral / Mixtral: Fransız girişim Mistral AI tarafından geliştirilen, özellikle kodlama ve Türkçe performansında oldukça başarılı modeller.
- CodeLlama: Yazılım geliştiriciler için özel olarak kod yazma ve hata ayıklama üzerine eğitilmiş model.
- Phi-3 (Microsoft): Düşük donanımlı bilgisayarlarda ve telefonlarda dahi mükemmel performans gösteren küçük ama son derece zeki model familyası.
- Gemma (Google): Google'ın açık kaynak dünyasına sunduğu hafif ve etkili model.
İpucu: Sisteminizde ne kadar RAM/VRAM olduğuna dikkat edin. 8GB RAM'e sahip bir bilgisayarda 7B (7 milyar parametreli) modeller rahatlıkla çalışırken, 70B modeller için yüksek VRAM'li güçlü ekran kartları veya Apple Silicon (M1/M2/M3 Pro/Max/Ultra) çipler gerekebilir.
İleri Düzey Kullanım: Kendi Yapay Zekanızı Özelleştirin (Modelfile)
Ollama, sadece hazır modelleri çalıştırmakla kalmaz; Dockerfile mantığına benzer şekilde Modelfile kullanarak kendi özel yapay zeka asistanlarınızı oluşturmanıza da imkan tanır.
Örneğin, sadece Türkçe konuşan ve bir yazılım mimarı gibi davranan özel bir model oluşturalım.
Modelfileadında bir dosya oluşturun ve içine şunları yazın:
FROM llama3
# Sıcaklık ayarı (Yaratıcılık seviyesi)
PARAMETER temperature 0.3
# Sistem talimatı (System Prompt)
SYSTEM """
Sen kıdemli bir yazılım mimarısın. Sana sorulan sorulara her zaman Türkçe, kısa, net ve sade kod örnekleriyle yanıt vereceksin. Gereksiz nezaket cümleleri kullanma.
"""
- Terminalden kendi modelinizi derleyin:
ollama create yazilim-asistani -f ./Modelfile
- Artık özelleştirilmiş modelinizi çalıştırabilirsiniz:
ollama run yazilim-asistani
Görsel Arayüz Arayanlar İçin: Open WebUI
Terminal kullanmak istemiyor, ChatGPT benzeri modern ve şık bir arayüz arıyorsanız Ollama bu konuda da sizi yalnız bırakmıyor.
Open WebUI (eski adıyla Ollama WebUI) gibi açık kaynak projeler sayesinde Ollama arka planında çalışırken, tarayıcınız üzerinden resim yükleyebileceğiniz, sohbet geçmişinizi kaydedebileceğiniz ve belgelerinizle (RAG) konuşabileceğiniz harika bir arayüze sahip olabilirsiniz.
Sonuç: Gelecek Yerel Yapay Zekada
Açık kaynaklı yapay zeka modelleri ile kapalı kaynaklı (GPT-4o, Claude 3.5 Sonnet vb.) modeller arasındaki makas her geçen gün kapanıyor. Donanımların güçlenmesi ve modellerin daha verimli hale gelmesiyle birlikte, kendi verilerimizi kendi cihazlarımızda işlemek bir lüks değil, bir standart haline geliyor.
Ollama, sunduğu kullanım kolaylığı, geliştirici dostu API'si ve geniş topluluk desteği ile yerel yapay zeka dünyasının kapılarını herkese açıyor. Veri gizliliğinizi korumak, yapay zeka mimarisini öğrenmek veya sadece kesintisiz bir asistan edinmek istiyorsanız, bugün bilgisayarınıza Ollama indirip ilk komutunuzu yazmanın tam zamanı!
Siz kendi bilgisayarınızda yerel LLM çalıştırıyor musunuz? Favori modeliniz hangisi? Deneyimlerinizi ve sorularınızı yorumlarda paylaşmayı unutmayın!
