AI Engineering ve Agent Orchestration: Doğru Mimari Nasıl Seçilir?

Yapay zekâ alanında bilgiye ulaşmak artık çok kolay. LLM'ler, AI agent'lar, skill'ler, MCP, framework'ler ve farklı orchestration yaklaşımları hakkında sayısız kaynak var. Ama bilgiye ulaşmak ile doğru bilgiyi seçmek, doğru mimariyi kurmak ve bunu çalışan bir sisteme dönüştürmek aynı şey değil.

Bu yazıda AI Engineering ve Agent Orchestration projelerinde mimari kararları hangi sorularla verdiğimi anlatıyorum. Amaç bir framework önermek değil. Amaç, sistemin neden o şekilde tasarlandığını bilmek ve güvenilir sonuç üretmesini sağlamak.

Önce problem, sonra model

Her AI projesi "hangi model?" sorusuyla başlamaya meyilli. Ben önce şunu sorarım: Hangi süreç yavaş, pahalı ya da hataya açık? Bugün nasıl ölçülüyor? Daha iyi bir sonucun değeri ne? Bu cevaplar olmadan model seçimi tahmine dönüşür.

Model seçimi ancak bundan sonra gelir. Her görev için kalite, gecikme ve maliyet birlikte değerlendirilir. Sağlayıcıyı değiştirebilir bırakmak da mimari bir karardır. Kullanıcı kendi OpenAI, Claude, Gemini veya Perplexity anahtarını getirebiliyor ya da Llama'yı kendi llama.cpp sunucusunda çalıştırabiliyorsa, model tercihi sistemin değil kullanıcının kararı olur.

Bir agent yeterli mi, yoksa birden fazla agent mı?

Varsayılanım tek agent'tır. Tek bir agent, net bir hedef ve iyi tanımlanmış araçlarla çoğu işi görür. Birden fazla agent ancak şu durumlarda anlamlı olur:

• Görevler birbirinden gerçekten bağımsız ve paralel yürütülebiliyorsa
• Farklı görevler farklı yetki veya farklı bağlam gerektiriyorsa
• Tek bir agent'ın bağlamı, işin tamamını taşıyamayacak kadar büyüyorsa

Çoklu agent yapısı her zaman ek maliyet getirir: daha fazla model çağrısı, agent'lar arası veri aktarımı, daha zor hata ayıklama. Bu bedeli ödemek için somut bir nedenin olması gerekir. "Daha modern görünüyor" bir neden değildir.

Skill mi, tool mu, düz kod mu?

Bir görevi nasıl tanımlayacağınızı şu ayrımla düşünebilirsiniz:

• Tool: Agent'ın çağırdığı, girdisi ve çıktısı net bir işlem. Örneğin bir kaydı sorgulamak ya da bir taslak oluşturmak.
• Skill: Belirli bir iş türü için paketlenmiş talimat ve bağlam. Agent'ın ne zaman, hangi sırayla ve hangi kurallarla davranacağını anlatır.
• Düz kod: Sonucu her zaman aynı olması gereken adımlar.

Tool'lar izinli ve açık arayüzlerle sunulmalı. Agent'ın durumu modelin dışında tutulmalı. Bu sayede ne olduğunu izleyebilir, hatayı yeniden üretebilir ve yetkiyi araç bazında sınırlayabilirsiniz.

Hangi adım deterministik, hangisi LLM kararı?

En çok hata burada yapılıyor. Bir LLM'e vermemeniz gereken kararlar vardır: kimin neye erişeceği, bir ödemenin tekrar çekilip çekilmeyeceği, bir işlemin kayda geçip geçmeyeceği. Bunlar kural ve kodla yürütülür.

LLM kararı ise belirsizliğin gerçekten olduğu yerde değer katar: serbest metni anlamak, birden fazla seçenek arasından bağlama uygun olanı önermek, içerik taslağı üretmek. Pratik kural: sonucu doğrulayabiliyorsanız LLM'e bırakabilirsiniz, doğrulayamıyorsanız insan onayı ekleyin.

Geri döndürülemeyen işlemler için insan onayı

Yayınlamak, göndermek ve harcamak geri alınamayan işlemlerdir. Agent'ların bu işlemleri tek başına yapmasına izin vermiyorum. Seliee'nin AI Office'inde yayınlama, gönderme ve harcama her zaman kullanıcı onayını bekler. 230'dan fazla araç sunan MCP sunucusu da dış agent'lara aynı kontrollü erişimi verir.

Değerlendirme ve izleme olmadan agent üretime çıkmaz

Çalışan bir demo ile güvenilir bir sistem arasındaki fark ölçümdür:

• Gerçek sorulardan oluşan test setleri ve sürüm öncesi çevrimdışı skorlama
• Prompt veya model değişikliğinin önceki davranışı bozmadığını gösteren regresyon testleri
• İstek bazında izleme: token kullanımı, gecikme, hata oranı ve özellik başına maliyet
• Prompt injection ve veri sızıntısına karşı tasarım, tenant izolasyonu ve denetim kaydı

Başarı ölçütleri (doğruluk, kaynağa dayanma, kapsam dışı isteği reddetme, gecikme ve istek başına maliyet) işe başlamadan önce kararlaştırılır. Sonradan belirlenen ölçüt, mevcut sonuca uydurulmuş ölçüte dönüşür.

Bu kararları nasıl veriyorum?

Her projede aynı sırayı izliyorum: iş problemi, ölçülebilir hedef, mümkün olan en küçük AI çözümü, mevcut sistemlerle bütünleşme ve yönetişim. Model ve framework seçimi bu sıranın sonunda gelir.

AI Engineering, Agentic AI ve Agent Orchestration alanlarında teknik değerlendirme, mimari tasarım ve uygulama danışmanlığı sunuyorum. Projenizi kısaca anlatmak için formu doldurabilirsiniz. Yapay zekâ mühendisliği çalışmalarımın tamamı için Yapay Zekâ Mühendisliği sayfasına da bakabilirsiniz.