Üretken Yapay Zeka Uygulamalarının Kurumsallaşma Yaklaşımı

Yapay zeka (AI) fikri, bilim kurgu, felsefe ve edebiyatta çok eski dönemlerden beri vardı fakat gerçek anlamda ilk defa 20. yüzyılın ortalarında ortaya çıktı. 1950'de Alan Turing’in yayımladığı “Makineler Düşünebilir mi?” başlıklı makalesi ve beraberinde bir makinenin insan seviyesinde bir zekaya sahip olup olmadığını belirlemek için önerdiği “Turing Testi” bu anlamda yapay zeka evriminin miladı sayılabilir. Yapay zekanın temel amacı, insan zekasının bazı yönlerini taklit eden algoritmalar ve sistemler geliştirmekti. Bu, problem çözme, öğrenme, algılama, dil kullanma hatta hissetme gibi insan benzeri zeka ve yetkinliklerin bir makine tarafından yapılabilmesini içeriyordu. 

Bu serüvene bakıldığında, 60’lı yılların başında kurallara dayalı sistemler, yapay zekanın en basit hali olarak karşımıza çıkmaktadır. 80’lere geldiğimizde makine öğrenme algoritmaları hız kazanarak kural tabanlı basit yapılardan daha kompleks algoritmalara evrilmeye başladı. Fakat yapay zekanın geçmişte en popüler olduğu dönem ise hiç şüphesiz 1997 yılında IBM'in Deep Blue'su, dünya satranç şampiyonu Garry Kasparov'u mağlup etmesiyle olmuştur. Bu popülerliğin altında yatan temel sebep, kurumsal seviyede ya da araştırma geliştirme laboratuvarlarında kimsenin bilmediği ya da medya üzerinden bilgi edinemediği bir durumun kırılmasından kaynaklıydı. 

İşte üretken zekanın da dünyada bu kadar hızlı bir şekilde popüler olmasının altında yatan temel sebep OpenAI’ın geliştirdiği ChatGPT uygulamasının tüm dünyaya açılması oldu. Bugüne kadar hep B2B (Business to Business) yürüyen yapay zeka çalışmaları ilk kez gerçek anlamda B2C (Business to Consumer) genel tüketiciye açıldı. Google arama motoru ya da sosyal medya devrimindeki Facebook, Twitter, Tiktok gibi herkesin basit bir ara yüz ile erişip yeteneklerini rahatlıkla kullanmaya başlaması popülerliğinin başlıca sebebi oldu. Popüler olma hızına bakıldığında: ChatGPT sadece 2 ayda 100 milyon aylık aktif kullanıcıya ulaştı. Bu hızın TikTok’ta 9 ay, Instagram’da ise 2,5 sene olduğu düşünülürse aradaki fark daha kolay anlaşılabilir. 

Üretken zekanın “şaşırtıcı bir şekilde” üretebildiği içerik, yazılanı rahatlıkla anlayabiliyor olması ve bir sohbet havasında etkileşimli ve iteratif ilerlemesi kuşkusuz bu popülerliğin kalıcı hale gelmesine sebep oldu. 

Üretken zekanın alt yapısını oluşturan “Foundation Model (Baz Model)”ler, yani LLM (Large Language Model – Büyük Dil Modelleri) ve son aylarda hayatımıza giren MLLM’ler (Multimodel Large Language Model: Çok Modlu Büyük Dil Modelleri) ile artık sadece girdi olarak text kabul etmeyip, imaj, ses, video, veri tabanı yapısal verisi, yapısal olmayan veri gölü verisi gibi çok çeşitli girdileri almaya başladı. Çeşitli girdiler arasında bağlantılar kurmayı başardı ve benzer çeşitlilikte çıktılar oluşturmaya başladı ve bu ilerlemeler haftalar aylar mertebesinde gerçekleşti. 

Son kullanıcı seviyesinde heyecan yaratan bu gelişmeler elbette kurumların da ilgisini çekti ve bir çok kurumda üretken zekadan nasıl faydalanabileceğiyle ilgili çalışmalar başladı. Bu alanda hızlı hareket etmek isteyen kurumların yaşadığı tecrübeye bakıldığında ise birçok zorluk ön plana çıkmaktadır: 

Büyük Dil/Temel Modellerin Genelde İyi, Özelde Yetersiz Kalması: (M)LLM’lerin kurumsal kullanımdaki ilk yaşanan problemi, her konuda ortalama bir insandan daha iyi cevaplar verebilmesine karşın özel bir konuda derinlemesine bilgi sahibi olmasında yaşanan zorluklardır. Çünkü istenen, örneğin, hukuk alanında çalışan profesyonelleri asiste edebilecek bir co-pilot olmasıydı. O ülkenin tüm hukuki kurallarına ve mevzuatına her detayına kadar hakim olması, gelmiş geçmiş tüm vakaları inceleyip, doğru korelasyonlar kurması kolay olmadı. Yapılan denemeler, gerek duyulmasa da Shakespeare kadar olmasa da onu taklit eden şiirler yazan ve hukuk konusunda da genel geçer cevap veren “genel seviyede ortalama performans gösteren” uygulamalarla sonuçlandı. 

Ölçeklenebilirlik Sorunları: Gen-AI uygulamalarındaki temel modellerdeki LLM’lerin milyarlarca parametreden oluştuğu ve çok ciddi kaynak tüketimine sebep olduğu için ölçeklendirilmesi, artan yükü performans düşüşü olmadan yönetmek bir zorluktur. Bulut bilişimle hayatımıza giren yatay ve dikey ölçeklendirme, bu kadar büyük monolitik uygulamaları ölçeklendirmede yetersiz kaldı. 

Performans Sorunları: Yüksek eşzamanlı kullanım, gecikme ve kesinti sürelerine yol açarak kullanıcı deneyimini etkiledi. Yani bir kurum içerisinde sistemler ve kullanıcılar tarafında eş zamanlı atılan çok sayıda istemci taleplerini karşılamakta zorluklar yaşandı. 

Sınır belirleme, Yetkilendirme ve Kimlik Doğrulama: Doğru bir yetkilendirme ve kimlik doğrulama katmanı olmadığı durumda her kullanıcının anonim bir şekilde istediği kadar bilgiye erişme problemleri yaşandı. Örneğin maaş bilgisinin IK personeli tarafından görülebilmesi fakat başka bir departman kullanıcısı tarafından görülmemesinin sağlanmasında problemler yaşandı. Benzer sorun sınır belirlemede de yaşandı. Konuya özel ve sınırları belli olmayan “dev” dil modelleri kullanıldığı için cevap vermemesi gereken konulara cevap verme problemleri ortaya çıktı. Tipik bir örneği, müşteri hizmetleri için geliştirilen chatbot’un kullanıcının talepleri doğrultusunda bambaşka konulara cevap vermeye başlaması o temsil ettiği kurumun repütasyonunu zedelemesine sebep oldu. 

Single Point of Failure (Tek Zaafiyet Noktası) ve Güvenlik Endişeleri: Kurumun hassas ve kritik verilerine de erişebiliyor olması, veri çalınması noktasında tek zafiyet noktası oldu. Bu giriş noktasını suistimal eden kötü niyetli kullanıcılar rahatlıkla kurumun paylaşmak istemediği verilere erişebildi. 

Açıklanabilirlik ve Şeffaflık: Makine öğrenmesi ve derin öğrenme algoritmalarında makul seviyede görülen sonuçların açıklanabilir ve şeffaf olma ihtiyacı, LLM’lere gelince milyarlarca parametreden oluşan kompleks algoritmalar sebebiyle büyük bir tehlikeye dönüştü. Üretilen içerik / sonucun hangi kaynaklardan, nasıl bir düşünme şekliyle üretildiğinin anlaşılması majör bir zorluk olarak karşımıza çıktı. 

Önyargı Azaltma: LLM’lerin “önceden eğitilmiş hazır” yapay zeka modeli olmasında kaynaklı önyargı problemleri ortaya çıktı. İnternetteki terabyte’larca veri üzerinden eğitilen bu dil modelleri doğal olarak internetteki veriyi temel aldı. Fakat internet “çoğunluk görüşe sahip yanlış bilgilerin” de olduğu bir ağ ve bu durum eğitim verisinde veri kalitesi, tutarlılık ve doğruluk kontrollerine uğramadan direkt LLM’in eğitilmesiyle önyargılı sonuçlara sebep oldu. 

Kaynak Tüketimi: (M)LLM uygulamaları çok büyük parametrelere sahip ve karmaşık uygulamalar olduğu ve vektör hesaplama altyapılarına sahip olduğu için derin öğrenme algoritmalarında olduğu gibi yüksek boyutlarda GPU kaynağına ihtiyaç duydu. Bu durum kurumların kendi on-prem veri merkezlerinde büyük CAPEX harcamalarına sebep oldu. Bulut kullanan kurumlar ise pay-as-you-go modellerinde bile beklenenin çok üstünde kaynak tüketim sebepleriyle finansal olarak zorlayıcı OPEX harcamaları yapmak zorunda kaldı. 

Yetenek Kazanımı: Veri bilimcilerin bile kurumlarda tutundurulmasının zor olduğu bir dünyada üretken yapay zeka alanında yetkinlik sahibi olan yapay zeka mühendislerinin azlığı, sürdürülebilir bir ekip kurma ve bu alanda yeni geliştirmelerin yapılmasında büyük zorluklar yaşattı. 

Yapay Zekaya Güven: Üretken yapay zekanın ürettiği sonuçların operasyonel bir sistemin karar verme alma noktalarına entegre edildiği noktada, sonucun tutarlılık ve açıklanabilirliği ile ilgili yarattığı güven kaygısı, kritik sistemlerde kullanılmamasına yol açtı. Zira LLM’lerin kural bazlı ya da temel veri bilimi modellerinin aksine “tepki vermeme, sonuç vermeme” yerine “doğru olmasa da mümkün olduğunca geçerli bir sonuç vereyim” motivasyonu kurumlar gibi “sıfır-hata” hedefleyen organizasyonlar için ciddi güven sorunları yarattı. 

Özetlemek gerekirse, devasa dil modellerini gerekli yönetişim mekanizmaları kurmadan kullanmak, güven, performans, yetkinlik gibi birçok alanda sorunlara yol açtı. Bu sorunları aşabilmek için KPMG olarak geliştirdiğimiz çözüm yaklaşımıza baktığımızda:

1. Kurumsal kullanımda devasa çok/tek modlu dil modelleri yerine, “Baz Model” temel seviyede yetkinlik barındıran modellerin kurum verisiyle eğitilerek “Özelleştirilmiş”-Dil Modellerine çevrilmesidir. ERP verisini çok iyi öğrenmiş ERP-LM, IK verisinin çok iyi öğrenmiş IK-LM, Müşteri verisini çok iyi öğrenmiş Müşteri-LM gibi “daha az parametreli” fakat “derinleşmiş uzmanlığa” sahip “orta/küçük/mikro” dil modellerinin kullanılmasıdır. 
2. Özelleştirilmiş küçül dil modellerinin sadece bazı konularda uzmanlığa sahip olduğu durumda bazı taleplerin gerçekleştirilebilmesi için birden fazla özelleştirilmiş(custom)-LM’in çalışması ve sonuçları toparlayıp süzen, tek bir gerçeğe dönüştüren orkestra edici / toplayıcı dil modellerini kullanılması gereklidir. 
3. Gelen talebin hangi custom-LM’e gitmesi gerektiğini belirleyen “routing” yönlendirme dil modeline ihtiyaç vardır. 
4. Talebi yapan kullanıcı / sistemin custom-LM ekosistemindeki kapsama uygun olup olmadığı (yetkinlik dışı / güvenlik ihlali taleplerini eleyebilme) kontrolünü yapacak, kullanıcının kimlik doğrulamasını yapacak, kullanıcının talebi yapmasına ve talebin sonucunu almasına yetkisi var mı kontrollerini yapabilecek “kontrol” dil modeline ihtiyaç vardır. 
5. Birçok custom-small-LM’in olduğu ekosistemde veri erişimleri ve yönetiminde “veri yönetişimi” uygulamalarına ihtiyaç vardır. Bir LM’in kendine ait veri gruplarının başka bir LM tarafından erişilmesi durumunda izin verme / vermeme kararlarının doğru bir veri yönetişim yaklaşımıyla yapılabilmesi gereklidir.
6. Eş zamanlı istemci ya da yoğun istemci durumlarını iyi yönetebilmek için mümkün olduğunca custom-LM’leri mikrolaştırmak ve bu sayede hem yatay hem ölçeklendirmeyi kolaylaştırabilmek, bulut bilişim ve benzeri konteyner mimarilerden faydalanabilmek gereklidir. Bir Telekom firmasından örnek vermek gerekirse gece çalışan bir yığın işin, 35 milyon aboneye hangi kampanyayı, hangi kanaldan hangi teklif detaylarıyla verilmesi gerektiğini geliştirilen bir kampanya-LM’sine cevaplayabilmek için kampanya-LM’sini de daha küçük LM’lere bölmek gereklidir. Doğru kampanya bulma, doğru kanal bulma, doğru ürün bulma gibi mikro-LM’lere bölerek alt yapı olarak kaynakları etkin ve ölçeklenebilir kullanılması gerekir.  

Yıllardır BT sektöründe yazılım geliştirme ve mimari rollerde görev almış profesyoneller olarak bu çözüm yaklaşımı incelendiğinde monolitik uygulamalardan mikro-servis ve data-mesh mimarilere olan evrimin buradaki çözümü ne kadar güzel destekleyeceği görülebilir. 

Aslında birbirinden birçok noktada ayrışıyor gibi görünen tipik operasyonel sistem uygulama geliştirme mimarileri ile yapay zeka uygulama geliştirme yaklaşımları bu noktada bir sinerji oluşturabilir. 

Ayrışmasının temel sebebinin bir anoloji ile açıklamak gerekirse: klasik kurumsal uygulamalar (CRM, ERP gibi) aslında organlarımıza ve altındaki doku ve hücrelere benzer. Geliştirilen atomik seviyedeki metodları hücreye, metodlardan oluşan nesne yönelimli iş mantıklarını dokuya, iş mantıklarından oluşan uygulamaları organlara benzetebiliriz. Ortak noktaları “belirli görevleri” icra etmeleridir. Kalbin kan pompalaması, midenin yediklerimizi öğütmesi gibi. Kalp bir anda kendi kendine kan pompalamak yerine besin öğütümü yapmaya karar vermez. Kendine has bir bilinci, otonom karar verme yetkinliği yoktur. Fakat üretken zeka ve AGI (genel yapay zeka) ile birlikte gelen teknoloji “niyetinin iyi olmasını beklediğimiz ama %100 emin olamadığımız” tümör hücrelerine benzer. Kendi kendini otonom bir şekilde geliştirebilme yetkinliğini sağladığımız için bizi çok şaşırtan ve yaratıcılığıyla verimliliği çok ciddi boyutlarda artırabilecek boyutlar taşır. O yüzden “beyin” gibi bir organın sürekli bu hücreleri denetleyerek “yanlış yönde ilerlediği” noktalarda bunu kontrol altına alması gerekir. Bu farklılığın “risk” oluşturmaması için iki farklı hücre tipine uygun bir sistem kurmak gereklidir. Tekrar uygulama mimarisine geri döner isek, kontrollü bir şekilde gelişmesine izin vermemiz gereken üretken zeka uygulamalarını verimliliğini ve performansını engellemeden fakat kontrol altına alabileceğimiz mimarilerle kurgulamamız gereklidir. 

Doğru mimari çözümümüzü anlatabilmek için öncelikle üretken zeka mantığını, özelleştirilmiş multimodal dil modellerini, mikro-servis ve data-mesh mimarilerinin bu çözümde belirleyici noktalarını açıklamak gereklidir:

Çok Modlu Dil Modelleri, metin, görüntü, video, ses, yapısal veri tabanı verisi dahil olmak üzere çeşitli veri kümeleri üzerinde eğitilmiş yapay zeka sistemleridir. Bu farklı modaliteler arasında bilgi anlayabilir ve üretebilirler, böylece insan iletişimini daha yakından yansıtan bir etkileşim düzeyi sağlarlar.

Kurumsal uygulamalarda, MLLM'ler dönüştürücü yetenekler sunabilir:

• Müşteri Etkileşimi: Hem metin hem de görsel içerik içeren sorguları yorumlayarak ve yanıtlayarak müşteri hizmetlerini geliştirmek.
• İçerik Oluşturma: Yazılı ve görsel unsurları birleştiren pazarlama materyallerinin oluşturulmasını otomatikleştirme.
• Eğitim ve Geliştirme: Eğitici metinleri destekleyici görseller ve videolarla birleştiren zengin, etkileşimli eğitim materyalleri sağlama.

Bu modeller, derin öğrenme ve doğal dil işleme teknolojilerini temel alarak, metin, görüntü ve ses dahil olmak üzere çeşitli veri türlerini anlama ve bu türler arasında bağlantılar kurma yeteneğine sahiptirler. Spesifik MLLM'ler, belirli bir alana veya işlevselliğe özel olarak eğitilir; örneğin tıbbi görüntüleme ve raporlama, müşteri hizmetleri diyalogları veya yaratıcı tasarım süreçleri için optimize edilmiş olabilirler.

Genel kullanıma yönelik MLLM'lerin aksine, özel eğitilmiş modeller, eğitim veri setleri, algoritmalar ve hedeflenen çıktılar açısından özelleştirilmiştir. Bu, onların belirli bir sektörün jargonunu, görsel estetiğini veya ses tonunu daha iyi anlamasını ve yorumlamasını sağlar. Örneğin, bir hukuk firması için geliştirilen özel bir MLLM, yasal terimleri ve belgeleri anlama ve oluşturma konusunda standart bir modelden çok daha yetenekli olacaktır.

Bu özelleştirme, modellerin daha yüksek doğrulukta ve bağlam içinde sonuçlar üretmesini sağlar, böylece iş akışlarına doğrudan entegre edilebilirler ve kuruluşların karşılaştığı spesifik zorluklara yönelik çözümler sunarlar. Spesifik MLLM'lerin getirdiği bu derinleştirilmiş anlayış, işletmelerin müşteri etkileşimlerini kişiselleştirmelerine, otomatikleştirilmiş sistemlerin karar verme süreçlerini iyileştirmelerine ve veri analizi sonuçlarını daha kesin hale getirmelerine olanak tanır.

CMLLM’lerin sunduğumuz çözümdeki en önemli özelliği, milyarlarca parametreden oluşan kompleks, monolitik yapıdaki devasa dil modellerinin yerine, mikro-servis’lere yüklenebilecek küçüklükte yetkin, esnek ve yönetilebilir olmasıdır. Çözüm mimarisindeki en kilit yaklaşım noktası devasa dil modellerinin mikro-dil modellerine dönüştürerek atomik seviyede yetkinliklerden oluşan bir CMLLM havuzunu oluşturmaktadır. 

Mikro hizmetler mimarisi, bir uygulamanın, her biri belirli bir iş işlevini yürütmekten sorumlu, gevşek bir şekilde bağlanmış hizmetlerin bir koleksiyonu olarak yapılandırılmasını içerir. Bu tasarım ilkesi doğası gereği modülerdir ve hizmetlerin bağımsız olarak güncellenebildiği, dağıtılabildiği ve ölçeklendirilebildiği çevik bir geliştirme ortamını teşvik eder.

Mikro-servis mimarisi, doğasında bulunan ölçeklenebilirlik ve esneklik nedeniyle MLLM'lerin dağıtımı için idealdir. Her bir mikro servis bağımsız olarak geliştirilebilir, dağıtılabilir ve ölçeklendirilebilir; bu da önemli hesaplama kaynakları gerektiren MLLM'ler için çok önemlidir.

Bu mimari, sürekli entegrasyon ve teslimatı destekleyerek YZ yeteneklerinin hızlı bir şekilde yinelenmesine ve dağıtılmasına olanak tanır. Ayrıca, bir mikro hizmetin arızalanması tüm uygulamayı devre dışı bırakmayacağı için esnekliği de kolaylaştırır.

Data-mesh, veri mimarisi ve organizasyonel tasarıma yönelik sosyo-teknik bir yaklaşımdır. Veri sahipliğinin ve mimarisinin merkezi olmayan dağıtık yapısını vurgular ve bireysel ekipler bir ürün olarak kendi verilerinin sorumlusu olarak hareket eder. Bu kavram, etki alanı odaklı sahiplik, bir ürün olarak veri, kendi kendine hizmet veren veri altyapısı ve federe bilişimsel yönetişim ilkeleri üzerine kurulmuştur.

Veri Yönetişimi için Data Mesh'in Faydaları

Data-mesh paradigması veri yönetişimine çeşitli faydalar sağlar:

• Özerklik: Ekipler, bir yandan verilerini yönetme ve optimize etme özerkliğine sahip olurken, diğer yandan da bu verilerin keşfedilebilir ve kurumun veri ekosisteminin geri kalanıyla birlikte çalışabilir olmasını sağlar.
• Kalite: Veri ürünleri, verilerin doğruluğu, formatı ve kullanımı konusunda net bir hesap verebilirlikle, tasarım gereği kalite ile oluşturulur.
• Hız: Verileri bir ürün olarak ele alan ekipler, veri iyileştirmelerini hızlı bir şekilde yineleyip sunabilir ve güvenilir verilere daha hızlı erişim sağlayabilir.
• Uyumluluk: Data-mesh, veri ürünleri için sahiplik ve kontrol mekanizmalarını açıkça tanımlayarak yönetişim standartlarına ve yönetmeliklere uyumu kolaylaştırır.

Bir data-mesh, merkezi olmayan veri sahipliği ve yönetimini organize ederek mikro hizmetleri tamamlar. Esasen çeşitli mikro hizmetler arasında bağ dokusu görevi görür ve kurumun veri politikalarına ve standartlarına bağlı kalarak ihtiyaç duydukları verilere erişebilmelerini sağlar.

Mikro-servis mimarisinde, her hizmet kendi verilerini yönetir, ancak Data-mesh, tüm sistem genelinde bu verilere tutarlı, yönetilen erişim sağlayan birlikte çalışabilir bir platform sağlar. Bu, etkili bir şekilde çalışması için çeşitli kaynaklardan gelen farklı veri türlerinin entegrasyonunu gerektiren MLLM'ler için özellikle önemlidir.

Mikro-servisler ve Data-mesh’in birlikte çalışması sayesinde işletmeler, işletmenin değişen ihtiyaçlarına uyum sağlayabilecek sağlam, ölçeklenebilir ve esnek bir yapay zeka altyapısı oluşturabilir.

Çok modlu dil modellerini bir Data-mesh tarafından desteklenen bir mikro-servisler çerçevesine entegre eden mimari, birkaç temel bileşen içerir:

• Mikro Servisler: 'Metin Analizi', 'Görüntü İşleme' ve 'Veri Alma' gibi bireysel hizmetler belirli MLLM'leri barındırır ve bağımsız olarak çalışır.
• Data Mesh: Hizmetlerin verilere erişmesi ve paylaşması için standartlaştırılmış bir yol sağlayan merkezi olmayan bir veri altyapısı.
• API Ağ Geçidi: Harici talepler için giriş noktası olarak hizmet verir ve bunları uygun mikro-servislere yönlendirir.
• Orkestratör / Birleştirici: Mikro-servisler arasında karmaşık iş akışlarını koordine eder ve çıktılarını birleşik bir yanıtta toplar.

Çok modlu dil modellerinin bir mikro-servis ve Data-mesh mimarisi içinde konuşlandırılmasında, dikkatli bir değerlendirme ve stratejik planlama gerektiren çeşitli zorluklar ortaya çıkmaktadır.

Teknik Zorluklar:

• Entegrasyon Karmaşıklığı: Mikro-servisler ve Data-mesh arasında sorunsuz iletişim sağlamak teknik açıdan zorlu olabilir. Çözümler, sağlam API yönetiminin uygulanmasını ve hizmet düzenleme araçlarının kullanılmasını içerir.
• Veri Tutarlılığı: Dağıtılmış hizmetler ve veri tabanları arasında veri tutarlılığını korumak çok önemlidir. Olay kaynağı ve Komut Sorgusu Sorumluluk Ayrımı (CQRS) gibi teknikler bu sorunu çözmeye yardımcı olabilir.

Ölçeklenebilirlik Zorlukları:

• Dinamik Ölçeklendirme: Mikro-servisler, değişen yüklere yanıt olarak bağımsız bir şekilde ölçeklenebilmelidir. Kubernetes gibi konteyner orkestrasyon platformları hizmet ölçeklendirmesini dinamik olarak yönetebilir.
• Veri Hacmi ve Hızı: Data-mesh yüksek veri hacimlerini ve hızlarını idare etmelidir. Çözümler arasında ölçeklenebilir depolama seçenekleri ve gerçek zamanlı veri işleme çerçeveleri yer alır.

Yönetişim Zorlukları:

• Politika Uygulama: Merkezi olmayan veri alanları arasında tutarlı yönetişim politikaları uygulamak zordur. Data-mesh, her etki alanının bir dizi ortak yönetişim standardına bağlı kaldığı federe yönetişimi mümkün kılarak bu sorunu çözer.
• Güvenlik ve Uyumluluk: Güvenlik stratejileri hem sağlam hem de mikro-servislerin bağımsız yapısına uyum sağlayacak kadar esnek olmalıdır. Güvenli erişim belirteçleri ve otomatik uyumluluk kontrolleri ile API ağ geçitlerinin uygulanması gibi uygulamalar çok önemlidir.

İşletme Zorlukları:

• DevOps ve MLOps Uygulamaları: DevOps ve MLOps uygulamalarının benimsenmesi, dağıtım, ölçeklendirme ve izlemeyi otomatikleştirerek sırasıyla mikro-servislerin ve MLLM'lerin geliştirilmesini ve işletilmesini kolaylaştırabilir.
• Veri Gözlenebilirliği: Data-mesh içinde veri gözlemlenebilirliği araçlarının uygulanması, veri kalitesinin ve anormalliklerin proaktif olarak izlenmesini ve yönetilmesini sağlar.

İşletmeler, bu zorlukları öngörerek ve ele alarak, çok modlu dil modellerinin potansiyelinden tam olarak yararlanan esnek, verimli ve yönetişimle uyumlu yapay zeka sistemleri oluşturabilir.

Yapay zeka, mikro-servisler ve Data-mesh ortamı sürekli olarak gelişmektedir. İşte gelecekte beklenen bazı trendler:

Yapay Zeka ve Makine Öğrenimindeki Gelişmeler: Hesaplama gücü ve algoritmalar geliştikçe, MLLM'lerin modaliteler arasında gelişmiş anlayış ve üretken yeteneklerle daha da sofistike hale gelmesini bekleyebiliriz.

Mikro-servislerin Genişlemesi: Mikro-servisler muhtemelen daha granüler hale gelecek ve daha fazla verimlilik ve esneklikle çalışabilen daha da özelleşmiş hizmetlere yol açacaktır.

Data-mesh’in İlerlemesi: Data-mesh kavramı olgunlaşacak ve daha fazla kurum bunu veri mimarisi için bir standart olarak benimseyecektir. Bu, otomatik yönetişim ve kalite kontrol araçlarındaki gelişmeleri de içerecektir.

Yapay Zeka ve Operasyonların Yakınsaması: Yapay zekanın AIOps olarak bilinen operasyonel süreçlere entegrasyonu daha yaygın hale gelecek ve gerçek zamanlı veri işleme ve karar vermeye olanak tanıyacaktır. 

Uç Yapay Zeka (Edge-AI): IoT ve uç bilişimin büyümesiyle birlikte, yapay zeka işlemenin veri kaynağına yaklaşarak gecikme süresini ve bant genişliği kullanımını azaltması beklenmektedir.

CoPilot & AutoPilot: Üretken zekanın bir sonraki adımlarından birisinin de dil modelleri üzerine inşa edilmiş “yetenekler” olacağı düşünülmektedir. Yetenek, bir ERP sistemine bağlanarak siparişin son durumu öğrenmek, ya da yeni abone olmuş bir müşterinin hat açılma operasyonunu gerçekleştirmek olarak düşünülebilir. Bu yeteneklere sahip üretken zeka uygulamalarının otomatik olarak bazı görevleri yerine getireceği ve RPA / Akıllı Otomasyon teknolojilerinin radikal ölçüde gelişmesi öngörülmektedir. 

Genel Yapay Zeka (AGI): AGI'nin amacı, dar alanlarda uzmanlaşmış sistemlerin ötesine geçerek, esnek ve genel amaçlı zeka gösterme yeteneğidir. Basit bir dilde açıklamak gerekirse, her şeyi en iyi bilen süper-yapay zeka formu olarak düşünülebilir. Bu konuda çalışmalar gizli devam etmekte olup, yakın gelecekte gelişmeler olacağı beklenmektedir. 

Bu yazıda amaçlanan işletmelerin üretken yapay zeka uygulamalarını ölçeklenebilir seviyede nasıl kullanabilecekleriyle ilgili bir mimari çözüm yaklaşımını aktarmaktır. 

On-prem açık kaynaklı LLM’lerden LLaMA ve Mistral 7B’nin 7 milyar, bulut üzerinden hizmet veren OpenAI GPT-3’ün 175 milyar, GPT-4’ün ise bilinmeyen büyüklükte parametreye sahip olduğu düşünülürse devasa LLM’lerin organizasyonlarda doğrudan kullanılması çok zordur. 

Böyle bir üretken yapay zeka uygulaması, gelen değişken talep yoğunluğu, yüksek sayıda eş zamanlı istemci sayıları gibi sadece performans boyutuyla bile bakıldığında çok büyük GPU ve diğer donanım yatırımlarına ihtiyaç duymaktadır. Bu kadar büyük yatırımların zorlayıcı finansal etkisinin yanı sıra işletmelerin sürdürülebilirlik hedeflerinde su ve enerji tüketiminde dünyaya olan olumsuz etkisi de değerlendirilmelidir.  

Çözüm olarak, işletmelerin hazır LLM’leri adapte etmek yerine, açık kaynaklı baz modelleri (Foundation Model) atomik seviyelerde özelleştirilmiş mikro-multimodal-dil-modelleri olarak geliştirmesi önerilmektedir. Bu özellikle gereksiz yatırım maliyeti, enerji ve su tüketiminin önüne geçse de, beraberinde yeni bir problem getirmektedir: belki yüzlerce mikro dil modeli barındıran üretken yapay zeka uygulamalarının yönetilme zorluğu. İşte tam bu noktada, operasyonel uygulama mimarilerinin evriminin bu zorluğu aşmada yardımcı olacağını düşünüyoruz.

Mikro-servis mimarisinin atomik hizmet ve kendine özel mini-veri depo çözümünü ile üretken zeka uygulama ve hizmetleri yönetilebilir. 

Ek olarak, üretken zeka uygulamalarını da şirket çalışanı gibi görevler yapabilen dijital varlıklar olarak düşündüğümüzde veri yönetişimi politikaları, yetkilendirme ve veri sınıflandırması konuları regüle edilmesi oldukça zor bir konuya dönüşmektedir. Otomasyon için bir teknoloji kullanmadan sadece insan gücüyle veri yönetişimi yapmanın, üretken yapay zekanın devreye girmesiyle birlikte ancak data-mesh mimari ve teknolojileriyle mümkün olabilecektir. Mikroservisler üzerinde kurgulanan, yüklenen mini dil modellerinin kendi özel veri depolarının veri yönetişimi data-mesh ile uçtan uca yönetilebilir bir mimariye kavuşacaktır. 

KPMG Türkiye olarak, üretken yapay zeka çözümlerinizi işletmelerinizde hayata geçirmek için uluslararası yapay zeka yönetişim çerçevemiz Trusted-AI-Framework (Güvenilir Yapay Zeka Çerçevesi) ile doğru strateji, kullanım örnekleri belirleme, yol haritası, süreç, mimari ve implementasyon hizmetlerimizle yanınızdayız.