Apache APISIX - AISIX AI Gateway

AISIX, Apache APISIX projesinin arkasındaki ekip olan API7.ai tarafından geliştirilen, Büyük Dil Modelleri (LLM) ve yapay zekâ ajanları (AI Agents) için özel olarak tasarlanmış açık kaynaklı bir yapay zekâ ağ geçididir (AI Gateway).

Rust dili ile sıfırdan inşa edilen bu proje, geleneksel API ağ geçitlerinin (API Gateway) yapay zekâ trafik biçimlerine (örneğin akış/streaming verileri, yüksek kaynak tüketimi, token bazlı ücretlendirmeler vb.) tam uyum sağlayamaması sorununu çözmek amacıyla üretilmiştir.

Projenin öne çıkan temel özellikleri ve sağladığı avantajlar şunlardır:

1. Tek API ile Tüm Modellere Erişim (Unified API)

AISIX, arkadaki model sağlayıcısı ne olursa olsun (OpenAI, Anthropic, Google Gemini, AWS Bedrock, DeepSeek vb.) dışarıya OpenAI ile uyumlu tek bir API sunar. Bu sayede kodunuzda kullandığınız SDK'yi veya base_url bilgisini değiştirmeden, sadece model adını değiştirerek farklı LLM sağlayıcıları arasında geçiş yapabilirsiniz. Ağ geçidi, gelen istekleri ilgili servis sağlayıcısının formatına otomatik olarak dönüştürür.

2. Rust ile Yüksek Performans

Geleneksel ağ geçitlerinin aksine AISIX, Rust dilinde yazılmış tek bir statik ikili dosya (static binary) olarak çalışır.

• Düşük Gecikme: Yanıtların anlık üretildiği yapay zekâ uygulamalarında (SSE - Server-Sent Events akışlarında) gecikmeyi en aza indirir.

• Kilitlenmesiz Yapı (Lock-free Config): Sistem istekleri işlerken konfigürasyon değişikliklerini duraklama olmadan, anında yükleyebilir.

3. Gelişmiş Trafik Kontrolü ve Güvenlik (Guardrails)

Yapay zekâ modellerinin şirket içi kullanımında veya dışarıya sunulmasında ihtiyaç duyulan kurumsal kontroller yerleşik olarak gelir:

• Güvenlik Duvarları (Guardrails): Modele girdi (input) gönderilmeden önce veya modelden çıktı (output) alındıktan sonra güvenlik politikalarını çalıştırır. İstem dışı veya zararlı içerikleri, veri sızıntılarını (PII) engelleyebilir.

• Bütçe ve Hız Sınırları (Rate Limiting & Budgets): Token bazlı maliyet kontrolü yapmanızı sağlar. Belirlenen harcama limitlerine ulaşıldığında uyarı verebilir veya trafiği durdurabilir.

• Önbelleğe Alma (Caching): Benzer yapay zekâ isteklerini önbelleğe alarak hem yanıt süresini düşürür hem de API maliyetlerini ciddi oranda azaltır.

4. Gözlemlenebilirlik (Observability)

Yapay zekâ trafiğinin ne kadar token harcadığını, yanıt sürelerini, hata oranlarını ve harcanan bütçeyi anlık olarak izlemenizi sağlar. OpenTelemetry (OTLP), Datadog veya nesne depolama (Object Storage) sistemlerine log ve izleme (trace) verilerini aktarabilir.

5. Mimarisi (Data Plane & Control Plane)

AISIX, mimari olarak iki bağımsız parçadan oluşur:

• Veri Düzlemi (Data Plane): İstekleri işleyen, Rust ile yazılmış, durumsuz (stateless) ve yatayda kolayca ölçeklenebilen hafif proxy katmanıdır.

• Kontrol Düzlemi (Control Plane): Dinamik konfigürasyonu yönetmek için etcd altyapısını kullanır. Yönetici API'si (Admin API) aracılığıyla modeller, API anahtarları ve kurallar ağ geçidi yeniden başlatılmadan gerçek zamanlı olarak güncellenebilir. İçerisinde React tabanlı bir yönetim paneli ve modelleri test etmek için bir Chat Playground barındırır.

Lisans ve Bulut Entegrasyonu

• Apache-2.0 Lisansı: Projenin çekirdek kodları (Data Plane) tamamen açık kaynaklıdır, ücretsiz olarak kendi sunucularınızda (Self-hosted) veya Kubernetes üzerinde çalıştırabilirsiniz.

• AISIX Cloud: Gelişmiş ekip yönetimi, merkezi bütçelendirme, denetim günlükleri (audit logs) ve hazır bir kontrol paneli arayüzü isteyen işletmeler için API7, "AISIX Cloud" adında yönetilen bir SaaS (bulut) sürümü de sunmaktadır.

GitHub Sayfası: github.com/api7/aisix

curl http://localhost:9080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer aisix-ornek-api-anahtari" \
  -d '{
    "model": "gemini-2.5-flash",
    "messages": [
      {
        "role": "user",
        "content": "Rust programlama dili neden bu kadar popüler?"
      }
    ],
    "stream": false
  }'

{
  "id": "chatcmpl-aisix-unique-id",
  "object": "chat.completion",
  "created": 1717113600,
  "model": "gemini-2.5-flash",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Rust, bellek güvenliğini (memory safety) çalışma zamanı (runtime) yerine derleme zamanında (compile-time) garantilediği ve yüksek performans sunduğu için popülerdir..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 12,
    "completion_tokens": 35,
    "total_tokens": 47
  }
}