Cât costă un sistem RAG: build, operare și costuri reale

Întrebarea „cât costă un sistem RAG" are un răspuns onest: depinde. Dar depinde de lucruri pe care le poți estima destul de precis dacă le iei pe rând. Și cea mai utilă veste e că partea la care se uită toți — modelul de limbaj — e aproape niciodată cea mai scumpă.

Un sistem RAG are două bugete complet diferite: unul plătit o singură dată (construcția) și unul care curge lună de lună (operarea). Se confundă des în discuții, dar se comportă opus. Build-ul e dominat de muncă umană. Operarea, de consum de API și infrastructură. Dacă vrei o recapitulare pe ce este și când folosești RAG, pornește de acolo; aici vorbim doar despre bani.

O notă de citit prețurile: serviciile de cloud și API se facturează în dolari, așa că le las în USD. Costurile de construcție le dau în euro, ca buget de proiect — și cu mențiunea că o echipă internă sau un dezvoltator din Europa de Est costă sub estimările agențiilor din SUA, de unde vin cele mai multe cifre publice.

Cele două bugete: construcție și operare

Gândește-le ca pe o mașină. Build-ul e prețul de achiziție: îl plătești o dată, e mare, și depinde de cât de echipată vrei mașina. Operarea e benzina, asigurarea și service-ul: curge constant, e mai mică pe lună, dar nu se oprește niciodată.

Greșeala clasică e să negociezi luni de zile pe prețul de achiziție și să uiți complet de benzină. La RAG, operarea pe doi ani depășește des costul inițial de build — mai ales dacă alegi prost modelul sau infrastructura.

Costul de construcție (o singură dată)

Build-ul se împarte în trei trepte, în funcție de cât de serios e sistemul.

Cifrele sunt orientative. Estimările din SUA pe 2026 sunt mai sus — un RAG simplu acolo pleacă de la $15.000–$25.000, unul de producție de la $40.000–$80.000, iar enterprise on-prem trece de $80.000–$150.000. Cu o echipă internă sau cu rate est-europene, aterizezi sub aceste praguri pe aceeași complexitate.

Ce umflă bugetul de build (și nu e LLM-ul)

Aici e contraintuitivul. Conectarea unui model de limbaj la o bază de cunoștințe e partea ușoară — câteva zile de lucru. Banii se duc în altă parte.

Curățarea și pregătirea datelor înghite 30–50% din bugetul de proiect. Documentele tale nu vin formatate frumos. Sunt PDF-uri scanate, pagini Confluence inconsistente, tichete vechi cu metadata lipsă. Tot ce intră în sistem trebuie curățat, deduplicat și structurat înainte de vectorizare. Cine a construit un pipeline real pe PDF-uri de producție știe exact de ce.

Restul costului de build se distribuie pe lucruri pe care le uiți la prima estimare: strategia de chunking (cum tai documentele afectează direct calitatea — necesită experimentare, €2.000–€5.000), hybrid search (combini căutarea vectorială cu cea pe cuvinte-cheie, €1.500–€3.000), filtrarea pe metadata (€1.000–€2.500) și iterația pe prompt (15–30 de ore de expert ca să scoți răspunsuri bune). Adaugă stratul de control al accesului și integrările — și ai bugetul real.

Repartiția tipică a efortului la construcția unui RAG de producție. Modelul de limbaj e ultima ta grijă pe buget.

Concluzia practică: dacă cineva îți vinde un RAG și jumătate din discuție e despre ce model folosește, întreabă-l cât alocă pe curățarea datelor și pe integrări. Acolo se câștigă sau se pierde proiectul.

Costul de operare (lunar)

Operarea are patru componente: generarea răspunsului (LLM), vectorizarea (embeddings), baza de date vectorială și hosting-ul. Le luăm pe rând, cu cifre.

LLM-ul — generarea răspunsului

Aici e singura pârghie care îți poate înmulți factura cu zece. O interogare RAG nu trimite doar întrebarea: trimite și contextul recuperat — câteva fragmente din baza ta de cunoștințe, plus system prompt și eventual istoricul conversației. În total, ~3.000 de tokeni de intrare și ~250 de tokeni de răspuns per interogare e o estimare realistă.

Cu asta, costul per interogare depinde brutal de model:

** ~3.000 tokeni context + ~250 tokeni răspuns. ** ~5 interogări pe conversație.*

De la cel mai ieftin la cel mai scump model, factura sare de ~14 ori pentru exact același trafic. Alegerea modelului e cea mai mare decizie de cost pe care o iei — mai mare decât baza de date, mai mare decât hosting-ul. Iar vestea bună e că pentru majoritatea întrebărilor dintr-un RAG bine construit, un model mic dă răspunsuri la fel de bune ca unul de top, fiindcă greul îl face retrieval-ul, nu modelul.

Embeddings — vectorizarea

Embeddings-urile sunt partea ieftină care sperie pe toți degeaba. Vectorizezi corpusul o singură dată la ingestie, apoi vectorizezi doar întrebarea la fiecare interogare.

Prețurile pe 2026: text-embedding-3-small de la OpenAI costă $0.02 per milion de tokeni (1.536 dimensiuni) și e baseline-ul de cost-performanță pentru RAG general. Varianta large urcă la $0.13/milion (3.072 dimensiuni). Mistral Embed e și mai jos, ~$0.01/milion.

Pune cifrele în context: 50.000 de documente înseamnă ~50 de milioane de tokeni, adică ~$1 o singură dată ca să vectorizezi tot. Vectorizarea întrebărilor la 10.000 de interogări pe lună costă câțiva cenți. Embeddings-urile nu sunt o linie de buget — sunt zgomot. Singura excepție: dacă schimbi modelul de embedding, ești forțat să re-vectorizezi tot corpusul, iar reconstrucția indexului devine un eveniment costisitor (vezi mai jos).

Vector database — stocarea vectorilor

Aici ai cea mai mare paletă de opțiuni și cea mai mare șansă să plătești greșit. Iată terenul pe 2026:

Cât spațiu ocupă? Un milion de fragmente vectorizate cu un model de 1.536 de dimensiuni înseamnă ~6 GB de date brute, ~9 GB cu overhead-ul de index (HNSW adaugă ~1,5x). Dacă folosești embeddings de 3.072 de dimensiuni, dublezi.

Regula de decizie: la trafic mic și mediu, o opțiune serverless sau cu plafon (Pinecone, Atlas Flex) e mai ieftină și fără bătaie de cap operațională. La volum mare de interogări — undeva peste 60–80 de milioane de query-uri pe lună — un Qdrant sau pgvector self-hosted pe server fix ajunge să coste de câteva ori mai puțin decât echivalentul serverless. Sub acel prag, plătești degeaba pentru ops.

Atenție la costurile ascunse pe care calculatoarele de preț le omit: egress (transferul datelor afară, ~$0.08–$0.09/GB pe AWS), reconstrucția indexului ($12–$40 la 10M de vectori) și backup-ul (~20% din costul cluster-ului la opțiunile dedicate).

Hosting și infrastructură

Aplicația în sine — API-ul, interfața de chat, orchestrarea — stă pe ~$100–$500 pe lună pentru hosting și baze de date adiacente, în funcție de trafic. Adaugă 5–10 ore pe lună de monitorizare și îmbunătățire: un RAG nu e „build it and forget it", are nevoie de tuning pe prompt și de actualizarea bazei de cunoștințe.

Trei scenarii cu cifre concrete

Teoria e clară; hai pe exemple. Trei sisteme reale, trei bugete.

Asistentul intern mic răspunde la întrebările echipei pe help center și wiki. O sursă, chat simplu, fără control de acces complicat. Operarea e dominată de câțiva dolari de LLM pe lună (model mic) plus un cluster Flex de $15–$30. Poți chiar porni pe tieruri gratuite cât validezi.

Customer support-ul mediu trage din docs de produs, tichete și KB, cu hybrid search și integrare în helpdesk. Aici factura lunară depinde aproape integral de modelul ales: ~$80 cu un model mic, ~$400 cu unul mediu, peste $1.000 dacă pui modelul de top pe fiecare interogare. Baza de date adaugă $40–$70, hosting-ul și monitorizarea încă $150–$300.

Enterprise on-prem rulează model self-hosted pe GPU pentru suveranitatea datelor. Costul se mută de la API la infrastructură: $300–$500 pe lună per server GPU, vector DB dedicat de $200–$700, plus 20–30% din timpul unui inginer senior pentru operare. Build-ul e mare pentru că include SSO, conformitate și ingestie incrementală — exact lucrurile care nu apar într-un demo.

Cinci pârghii care îți schimbă factura

Înainte să accepți un cost lunar, verifică dacă sunt aplicate astea. Fiecare e bani reali.

1. Model routing. Trimite întrebările simple la un model ieftin și păstrează modelul scump doar pentru cele grele. Singura schimbare cu cel mai mare impact pe factură.
2. Prompt caching. Contextul repetat — system prompt-ul lung, fragmentele stabile — poate fi cache-uit, cu reduceri de până la 90% pe tokenii de intrare repetați. Pentru RAG, unde retrimiți același context des, e o economie majoră.
3. Batch API. Pentru ce nu e în timp real — reindexare, procesare în masă, generare offline — plătești cu 50% mai puțin, în schimbul unei ferestre de până la 24h.
4. Model open-source self-hosted. La volum mare, un model precum Llama sau Mistral pe un server GPU de $300–$500/lună elimină taxa per token și poate tăia 60–70% din costul de API. Sub un anumit volum însă, API-ul gestionat rămâne mai ieftin. Detaliile țin de cum construiești efectiv stack-ul.
5. Reranking condiționat. Reranking-ul îmbunătățește calitatea, dar adaugă cost și latență. Aplică-l doar când încrederea în retrieval e scăzută sau miza e mare, nu la fiecare interogare. Reranking pe tot e, de obicei, o greșeală de buget și de viteză.

Greșeli de buget pe care le vezi des

• Uiți curățarea datelor. E 30–50% din build și totuși dispare din estimări fiindcă nu sună sexy. Bugeteaz-o prima.
• Uiți reindexarea și mentenanța. Când documentele se schimbă, plătești re-embedding și reconstrucția indexului — pune deoparte ~20% din costul lunar.
• Subestimezi iterația pe prompt. 15–30 de ore de expert ca să scoți răspunsuri bune nu e opțional.
• Alegi cluster dedicat când Flex sau serverless ar fi ajuns. Un cluster dedicat plătește uptime 24/7 fie că-l folosești, fie că nu. Sub ~60% încărcare susținută, serverless câștigă.
• Automatizezi tot din ziua 1. Alege use-case-ul cu cel mai mare volum — de obicei customer support sau căutarea internă — și construiește pentru el. Extinzi după.

Întrebări frecvente

Care e bugetul minim pentru un RAG de producție?

Pentru un sistem real, cu surse multiple și control de acces, pleci de la ~€35.000 build plus ~$300–$500 pe lună operare. Pentru un MVP intern pe o singură sursă, scazi mult: build sub €20.000 și câțiva zeci de dolari pe lună.

Self-hosted e mai ieftin decât API?

Doar la volum. Un model open-source pe GPU costă $300–$500/lună plus timp de DevOps. Sub un anumit prag de interogări, API-ul gestionat e mai ieftin și fără ops; peste el, self-hosted câștigă. Calculează pragul pe traficul tău, nu pe presupuneri.

Cât costă să reindexezi când se schimbă documentele?

Re-vectorizarea e ieftină ($20–$120 pentru un miliard de tokeni, în funcție de model), iar reconstrucția indexului e $12–$40 la 10M de vectori (până la $120–$400 la 100M). Partea scumpă nu e calculul, ci disrupția de inginerie când schimbi modelul de embedding și ești forțat să refaci tot.

Pot porni mic și să scalez?

Da, și e abordarea corectă. Pornește pe un tier Flex, un model ieftin și o singură sursă. Urci tier-ul, modelul și baza de date pe măsură ce crește traficul, fără să rescrii sistemul.

Există vector database gratuit?

Pentru dezvoltare, da: MongoDB M0, Pinecone cu 2 GB, Qdrant cu 1 GB, sau orice opțiune open-source self-hosted. Bune pentru MVP și prototip, dar fără SLA — nu le pune sub trafic de producție.

Concluzie

Modelul de limbaj e costul vizibil, dar rar cel dominant. Banii reali se duc în pregătirea datelor, integrări și mentenanță — exact componentele care nu apar într-un demo strălucitor. Dacă scopezi strâns, pornești de la un singur use-case și măsori înainte să scalezi, un RAG e mult mai accesibil decât sugerează cifrele mari de pe paginile de „enterprise".

Vrei o estimare pe cazul tău concret — corpus, trafic, cerințe de conformitate? Pornește de la serviciile de integrare AI și RAG și spune-ne ce vrei să automatizezi.