Murat Can Ümit
Çözüm mimarı ve kurucu. Üretimdeki yapay zekâ sistemlerini tek başıma kuruyorum ve neyi iddia etmeyi reddetmeleri gerektiğini biliyorum.
Bankacılık, seyahat dağıtımı, telekom ve danışmanlıkta on iki yıl. Son iki yıldır iki yapay zekâ ürününü uçtan uca tek başıma tasarlıyor, kuruyor ve işletiyorum: mimari, çıkarım, hak yönetimi, sürüm ve nöbet. Şu anda İstanbul'dayım.
Tactiq
Tactiq, 175 pazarda yirmi binden fazla kullanıcısı olan canlı bir futbol maç analizi platformu. Aşağıdaki bir özellik listesi değil. Mimarinin, kararların zor olduğu ve yanlış verildiğinde gürültülü değil sessiz biçimde başarısız olacağı üç parçası.
Üç bölge, bir istisna
Üç AWS bölgesinde API Gateway'in arkasında yüz yetmiş altı Lambda fonksiyonu duruyor; gecikme tabanlı yönlendirme ve on altı Route 53 sağlık kontrolüyle active-active dağıtılmış. Dağılım simetrik değil, bilinçli: us-east-1 seksen fonksiyon taşıyor ve batch, kalibrasyon ve turnuva iş yüklerini çalıştırıyor; eu-central-1 ve ap-northeast-1 kırk dört ve elli iki fonksiyonla kullanıcı yolunu servis ediyor. Tokyo'daki bir kullanıcı ile Frankfurt'taki bir kullanıcı farklı bölgelerden hizmet alıyor ve aynı ürünü görüyor.
Durumu kırk bir DynamoDB tablosu tutuyor. Otuz altısı üç bölgeye birden replike oluyor. Beşi olmuyor ve asıl tasarım kararı bu istisnada: ücretli hak ve yenileme token'ları tek bölgeli bir otoritede, tek yazıcı ve atomik koşullu yazma ile duruyor, her dakika mutabakat yapılıyor, ve her bölge kararı replikasyondan değil oradan okuyor. Beş dakikada bir çalışan bir replikasyon canary'si bölgeler arası gecikmeyi izliyor ve alarm veriyor, çünkü göremediğin bir replikasyon gecikmesi olmayan bir replikasyonla aynı şeydir.
Çok bölgeli last-writer-wins, bir paket değişikliğini sessizce düşürene kadar sorunsuzdur; ücretli erişimini kaybeden bir müşteriyi ise alarmdan değil, öfkeli bir mesajdan öğrenirsiniz.
Talimat değil, yapısal zorlama
İstek modele ulaşmadan önce üç fail-closed kontrol çalışır: uygulama doğrulaması, HMAC istek imzası ve imzalı kısa ömürlü token. Biri doğrulanamazsa istek orada durur.
Üretimden sonra çıktı; sunucu otoriteli dayanak katmanından, şema doğrulamasından ve dil guard'ından geçer, cache kararı ancak bundan sonra verilir. Model, sunucunun vermediği bir sayıyı üretemez, şemanın kabul etmediği bir şekli döndüremez ve isteğin sormadığı bir dilde yanıt veremez. Başarısız çıktı yamanmaz, atılır.
Prompt seviyesindeki guardrail'ler sessizce başarısız olur ve bunu sosyal medyadaki bir ekran görüntüsünden öğrenirsiniz.
Canlı baseline'a karşı ölçüm
Sistem her hafta kendi tahminlerini gerçek sonuçlara karşı puanlıyor, derecelendiriyor ve güven bandı başına isabet oranını hesaplıyor. Belirtilen güven ile gözlenen doğruluk arasındaki fark kalibrasyon hatasıdır. Eşiği aştığında drift alarmı çalar ve sistem otomatik geri alma yapar.
Karşılaştırma mutlak bir hedefe değil canlı bir baseline'a karşı yapılıyor, çünkü mutlak hedef sizin seçtiğiniz bir sayıdır. Futbol, sabit bir takvimde nesnel ground truth üretir ve pazarlık etmez.
İstesem bile kendimi övecek bir değerlendirme kuramazdım.
Bütünün şekli
Kullanıcı yolu bunun en küçük parçası. Sistemin çoğu, kimse bakmazken çalışan şey: dakikada birden ayda bire kadar değişen programlarla altı sağlayıcıdan veri senkronizasyonu, takım derecelerini ve oyun tarzı profillerini haftalık yeniden hesaplayan tahmin motorları, kendi geçmiş işini derecelendiren kalibrasyon, ve bir kullanıcıyı uyandırmadan önce onun saat dilimini bilmek zorunda olan bir bildirim katmanı.
Dünya Kupası merkezi, kendi analiz, senkronizasyon, canlı ve doğruluk izleme fonksiyonlarıyla izole bir filo olarak kuruldu. Trafiği öngörülemeyen mevsimlik bir olay, yıl boyunca çalışan bir ürünü çökertebilecek konumda olmamalı, ve turnuva bittiğinde filo başka hiçbir şeye dokunmadan kaldırılabilir.
Bunların hepsini bir kişi yazdı, ve sınırların tam olarak orada olmasının sebebi bu.
Ayakta tutmanın maliyeti
Mimari diyagramlar bir sistemi olduğundan iyi gösterir. Tasarlanan parçaları gösterir, biriken parçaları gizler. Aşağıdaki birikimin kendisi, hafızadan değil canlı hesaptan alındı.
Bu rakamların bir kısmı kararların sonucu, bir kısmı bedeli. Seksen zamanlanmış iş bir övünme değil, farklı yenileme ritimlerine sahip altı veri sağlayıcısının gerçekten gerektirdiği şey. Altmış beş alarm, diğer vardiyada kimse yokken uyuyabilmek için gereken şey.
Yine yapacağım beş karar
Çalışan özellikleri kaldırdım
Kalibrasyon, bu çıktıların aşırı güvenli olduğunu gösteriyordu. Kimse şikâyet etmiyordu. Üründeki en çok kullanılan özellikler arasındaydılar. Yine de kaldırdım, izleyen ay gelir kaybettim ve retention'ın yükseldiğini gördüm.
Ürün artık daha azını yapıyor ve retention arttı.
Bir alarmı görmezden geldim
Sezon dışında, yaklaşık seksen olaylık ince bir örneklemde drift alarmı çaldı. Yüksek güven kovasında bunların onu vardı. On olay üzerinde refit yapmak modele oyunun değil iki haftanın şeklini öğretirdi, bu yüzden dokunmadım. İki hafta sonra dört yüz olayda kalibrasyon sağlıklı çıktı.
Değerlendirmenizin henüz bir şey söylemediğini bilmek, ne söylediğini bilmek kadar önemlidir.
Tek bir tabloya kendi mimarisini verdim
Bir tablo dışında tüm durum çok bölgeli. Ücretli hak, tek yazıcılı ve atomik koşullu yazma yapan tek bölgeli bir otoritede tutuluyor; diğer bölgeler onu kopyalamak yerine oradan okuyor. Nadir bir yolda biraz gecikmeye mal oluyor ve bütün bir sessiz hata sınıfını ortadan kaldırıyor.
Tutarlılığı sistemin tekdüze bir özelliği olarak görmeyi bıraktım.
Makine öğrenmesi framework'ü kullanmadım
Öğrenme katmanı saf Python. Serverless küçük bir ayak izini ve hızlı soğuk başlangıcı ödüllendirir; düzeltebildiğim şeffaf bir model, tek bir kaynak kaydığında hata ayıklaması zor olan opak bir modelden iyidir. Kalibrasyon oynadığında nedenini bir kayıp eğrisinden çıkarmak yerine kodda okuyabiliyorum.
Daha etkileyici olan yerine daha ucuz, küçük ve incelenebilir olanı seçmek bir taviz değil, bir alışkanlık.
Kendi çıkarım harcamama sert bir tavan koydum
Hesapta alarmlara bağlı iki bütçe tavanı var: Bedrock çıkarımı için ayda üç yüz dolar, geri kalan her şey için beş yüz. Tavanı olmayan bir üretken ürün, birim ekonomisini bir fatura e-postasında keşfeder. Tavanı önce koymak, iki kademeli model yönlendirmesini, önbellek kurallarını ve hangi isteklerin daha güçlü bir modeli hak ettiği kararını zorunlu kıldı. Token harcamasında günlük bir rapor da aynı sebeple var.
Bunlar tahmin değil. Üzerinde isim yazan alarmlar.
Naryu
Naryu, tek bir doğum kaydını astroloji, numeroloji, Human Design, Vedik astroloji, BaZi ve feng shui alanlarında günlük kişisel rehberliğe dönüştürüyor, şu anda otuz altı farklı okuma tipi. Ürün lansman öncesi aşamada; hesaplama katmanı, içerik hattı ve çıkarım yolu tamamlandı.
Kişiselleştirme katmanı generative değil, deterministik. Bir Python motoru JPL efemerisinden gezegen konumlarını hesaplıyor ve haritayı üretiyor; ev sistemleri, progresyonlar, transitler, dasha dönemleri ve BaZi sütunları da dahil, her biri yayımlanmış referans haritalara karşı doğrulanmış. Generative katman hiçbir şey hesaplamıyor; zaten belirlenmiş bir sonucu yorumluyor ve motorun üretmediği bir değeri getirmesine izin verilmiyor.
Yanlış bir dereceye dayanan yorum, ne kadar iyi okunursa okunsun yanlıştır.
Bundan önceki on iki yıl
Kurumsal yıllar. Doğan Dağıtım'da başladı; ulusal basın dağıtımı için arka uç sistemler kuruyordum, orada yanlış bir varsayım hata kaydı değil, yanlış yerde bir araç üretiyordu. Sonra Garanti, Türkiye'nin en büyük özel bankalarından biri, otuz sekiz milyon müşteri kaydını tutan sistemler, resmî değişiklik kontrolü altında, merkezinde mainframe ile. Sonra Amadeus, seyahat dağıtımında, ölçekte doğruluğun ürünün kendisi olduğu yer.
Sonra telekom. Orion Innovation'da telekom platformları ve müşteri onboarding çözümleri üzerinde. Ardından Vodafone; yirmiden fazla mühendislik ve iş ekibini kapsayan girişimlerde çözüm tasarımına liderlik ettim, hiçbiri bana bağlı değildi, ve tüm çalışan tabanını kapsayan kimlik ve erişim yönetimi modeli dahil olmak üzere kurum içi bir yapay zekâ ürününün teknik mimarı oldum.
Liderlik ve danışmanlık. BlockchainIST'te üç buçuk yıl, yedi mühendisle; bankacılık, sigorta ve kamu sektöründen kurumsal müşterilerle. Tekrar eden durum şuydu: teknolojisini çoktan seçmiş, ama problemini henüz adlandırmamış bir kurum gelirdi. İşin çoğu, talebin altındaki problemi bulmak ve bunu söylemekti.
Girişim. Tosia Tech, kurucu ortak. Fon çekildi. Ekip ve teknoloji taşındı, iş kârlılığa ulaştı ve sonrasında yatırım aldı. Teknik kısım daha kolay olan yarısıydı.
Mimari, üst düzey mühendislik rolleri ve gerçek kullanıcılarla temasa dayanması gereken yapay zekâ sistemleri kuran ekipler üzerine konuşmalara açığım.
Şu anda İstanbul'dayım. İhbar süresi yok.
LinkedIn