RAG: Süni İntellektin “Açıq Kitabı”

RAG: Süni İntellektin “Açıq Kitabı”

Süni intellektlə söhbət edərkən çox vaxt onun hər şeyi bildiyini, sanki dünyada olan bütün biliklərinin onun beynində hazır dayandığını düşünürük. Lakin reallıq bir az fərqlidir. Transformer modelləri nə qədər güclü olsa da, onların “biliyi” təlim keçdikləri tarixə qədər olan məlumatlarla məhdudlaşır. Məsələn, dünən baş vermiş bir hadisəni və ya şirkətinizin daxili sənədini ChatGPT-dən soruşsanız, çox güman ki, köhnə məlumatlar əsasında “uydurmağa” başlayacaq. Bele halda dövrəyə RAG (Retrieval-Augmented Generation) girir.

Təsəvvür edin ki, iki tələbə imtahana girir. Birinci tələbə hər şeyi əzbərləyib, amma yanında heç bir qeyd yoxdur. Əgər sual onun oxumadığı mövzudan düşərsə, o, sadəcə məntiqli görünən, amma tamamilə yanlış bir cavab verəcək. Biz buna süni intellekt məzmununda “hallüsinasiya” deyirik. Model əminliklə səhv danışır, çünki onun işi sadəcə növbəti sözü ehtimal etməkdir, faktı yoxlamaq deyil.

İkinci tələbənin (yəni RAG sisteminin) isə fərqi odur ki, onun qarşısında nəhəng bir kitabxana var. Sual verilən kimi o, dərhal kitabxanaya qaçır, ən uyğun səhifələri tapır, onları sürətlə oxuyur və yalnız ondan sonra cavab verir. RAG-ın etdiyi məhz budur: modeli sadəcə öz daxili yaddaşına güvənməyə məcbur etmir, ona “canlı” və kənar məlumat mənbələrinə çıxış verir.

Niyə bu qədər vacibdir?

Müasir dil modellərini (məsələn, GPT-4) yenidən təlim etmək milyonlarla dollara başa gəlir və aylar çəkir amma bizə lazım olan informasiyalar hər gün dəyişə bilər. RAG bizə imkan verir ki, modeli hər dəfə yenidən “oxutmadan” və ya astronomik xərclər çəkmədən ona yeni məlumatlar öyrədək.

RAG xüsusilə iş dünyasında və korporativ mühitdə çox böyük bir fərq yaradıb. Şirkətlər öz məxfi maliyyə hesabatlarını və ya müştəri məlumatlarını internetə sızdırmadan, sadəcə bu daxili “kitabxana” vasitəsilə süni intellektə sual verə bilirlər. Əgər məlumat dəyişirsə, modeli yenidən təlim etmirsiniz, sadəcə kitabxanadakı sənədi yeniləyirsiniz.

Əgər transformer arxitekturası süni intellektin “beyni”dirsə, RAG onun “kitab rəfi”dir. O, süni intellekti sadəcə statistik ehtimallarla danışan bir alqoritmdən çıxarıb, real faktlara söykənən, etibarlı və şəffaf bir köməkçiyə çevirir. Gələcəyin ən ağıllı sistemləri ən çox məlumat əzbərləyənlər deyil, lazım olan məlumatı ən sürətli və düzgün şəkildə tapıb gətirənlər olacaq.