Case study: asystent wiedzy wewnętrznej na RAG

Szybka odpowiedź

Jak zbudowaliśmy asystenta RAG dla zespołu B2B — architektura, metryki, wnioski.

Rozszerzając sekcję „Szybka odpowiedź”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Jak zbudowaliśmy asystenta RAG dla zespołu B2B — architektura, metryki, wnioski....”.

• Usługi AI
• Rozwiązanie wdrożenia AI dla biznesu
• Integracja LLM w praktyce
• RAG vs fine-tuning
• Checklist gotowości AI
• Czym jest RAG (Retrieval-Augmented Generation)?

W praktyce oznacza to połączenie precyzyjnie zdefiniowanego celu biznesowego z kontrolą jakości odpowiedzi, kosztu i ryzyk operacyjnych. Warto od początku projektować proces wdrożenia tak, aby każdy etap miał mierzalny efekt oraz jasny owner odpowiedzialny za decyzje techniczne i biznesowe.

Rozszerzając sekcję „Szybka odpowiedź”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „W praktyce oznacza to połączenie precyzyjnie zdefiniowanego celu biznesowego z kontrolą jakości odpowiedzi, kosztu i ryzyk operacyjnych. War...”.

Firma B2B SaaS z około 400 pracownikami miała wiedzę produktową rozproszoną między przestrzeniami Confluence, foldery Google Drive i makra Zendesk. Inżynierowie supportu i handlowcy rutynowo tracili ponad dwadzieścia minut na złożone pytanie, często odpowiadając z nieaktualnych eksportów PDF.

Zarząd chciał jednego asystenta wewnętrznego ze źródłami — nie kolejnego chatbota wymyślającego polityki. W osiem tygodni dostarczyliśmy produkcyjnego asystenta RAG: architektura retrieval-first, indeksy per dział, wyszukiwanie hybrydowe z rerankingiem i 180 pytań złotych pod opieką enablementu.

Rozszerzając sekcję „Szybka odpowiedź”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Zarząd chciał jednego asystenta wewnętrznego ze źródłami — nie kolejnego chatbota wymyślającego polityki. W osiem tygodni dostarczyliśmy pro...”.

Kontekst klienta i ograniczenia

Klient dostarcza oprogramowanie do automatyzacji workflow dla operacji mid-market. Kupujący oceniają ryzyko wdrożenia, więc odpowiedzi wewnętrzne muszą zgadzać się z aktualną wersją produktu i brzmieniem prawnym.

Rozszerzając sekcję „Kontekst klienta i ograniczenia”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Klient dostarcza oprogramowanie do automatyzacji workflow dla operacji mid-market. Kupujący oceniają ryzyko wdrożenia, więc odpowiedzi wewnę...”.

Wymagana była residency danych w UE: wektory, inference i logi w regionie umowy VPC. Prawo zablokowało fine-tuning na tekstach polityk w fazie 1 — każda odpowiedź o HR, bezpieczeństwie lub warunkach handlowych potrzebowała linku do źródła.

Rozszerzając sekcję „Kontekst klienta i ograniczenia”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Wymagana była residency danych w UE: wektory, inference i logi w regionie umowy VPC. Prawo zablokowało fine-tuning na tekstach polityk w faz...”.

Sukces zdefiniowano operacyjnie: mediana czasu odpowiedzi poniżej dziewięćdziesięciu sekund dla zapytań tier-one, z jasną eskalacją do człowieka przy niskiej pewności retrievalu.

W sekcji „Kontekst klienta i ograniczenia” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Rozszerzając sekcję „Kontekst klienta i ograniczenia”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „W sekcji „Kontekst klienta i ograniczenia” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarc...”.

Dla organizacji skalujących AI praktyczna wartość pojawia się wtedy, gdy każdy etap ma mierzalny efekt operacyjny: krótszy czas procesu, stabilniejsza jakość odpowiedzi i przewidywalna ekonomika utrzymania. Bez tego nawet rozbudowane wdrożenie szybko traci zaufanie interesariuszy.

Discovery i projekt korpusu

Pierwszy tydzień to inwentaryzacja, nie modele. Zmapowaliśmy, które przestrzenie Confluence są autorytatywne, które foldery Drive są porzucone i które makra Zendesk duplikują te same polityki.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Pierwszy tydzień to inwentaryzacja, nie modele. Zmapowaliśmy, które przestrzenie Confluence są autorytatywne, które foldery Drive są porzuco...”.

Każdy fragment niesie metadane: linia produktu, wersja dokumentu, locale i grupa dostępu zsynchronizowana z Azure AD. Bez tego izolacja „jak multi-tenant” w jednej firmie padłaby przy pierwszej reorganizacji.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Każdy fragment niesie metadane: linia produktu, wersja dokumentu, locale i grupa dostępu zsynchronizowana z Azure AD. Bez tego izolacja „jak...”.

Enablement przygotował pierwsze osiemdziesiąt pytań złotych z realnych wątków Slack — zanonimizowanych — plus czterdzieści pytań-pułapek na przestarzałe sformułowania.

W sekcji „Discovery i projekt korpusu” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „W sekcji „Discovery i projekt korpusu” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, ...”.

Architektura rozwiązania

• Ingestia: nocny sync Confluence i Drive, OCR skanów, redakcja PII w HR przed indeksem.
• Chunking: parent-child na PDF polityk — dzieci ~800 tokenów, rodzic zwracany do modelu.
• Storage: pgvector w VPC klienta, namespace per dział.
• Retrieval: hybryda BM25 + wektory, rerank Cohere na top 30.
• Generacja: model klasy GPT-4, szablon cytatów JSON, odmowa poniżej 0,42.

W sekcji „Architektura rozwiązania” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „W sekcji „Architektura rozwiązania” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeś...”.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Dla organizacji skalujących AI praktyczna wartość pojawia się wtedy, gdy każdy etap ma mierzalny efekt operacyjny: krótszy czas procesu, sta...”.

Harmonogram wdrożenia

Tydzień 1–2: discovery, wejścia pod DPIA, golden set v1. Tydzień 3–5: pipeline ingestii, pierwszy indeks, tuning retrievalu. Tydzień 6–8: slash command w Slack, shadow dla adminów, pilot 30 użytkowników.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Tydzień 1–2: discovery, wejścia pod DPIA, golden set v1. Tydzień 3–5: pipeline ingestii, pierwszy indeks, tuning retrievalu. Tydzień 6–8: sl...”.

Tydzień 9–12: runbook on-call, cotygodniowy raport eval dla enablement, kill switch testowany przed każdą aktualizacją modelu u dostawcy.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Tydzień 9–12: runbook on-call, cotygodniowy raport eval dla enablement, kill switch testowany przed każdą aktualizacją modelu u dostawcy....”.

W sekcji „Harmonogram wdrożenia” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Wyniki po dwunastu tygodniach

W sekcji „Wyniki po dwunastu tygodniach” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

W praktyce zespoły AI zyskują stabilność dopiero wtedy, gdy ten obszar ma przypisany rytm review KPI oraz jednoznaczny model ownership pomiędzy biznesem i engineeringiem. Punkt odniesienia dla tej sekcji: „W sekcji „Wyniki po dwunastu tygodniach” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy...”.

W praktyce zespoły AI zyskują stabilność dopiero wtedy, gdy ten obszar ma przypisany rytm review KPI oraz jednoznaczny model ownership pomiędzy biznesem i engineeringiem. Punkt odniesienia dla tej sekcji: „Dla organizacji skalujących AI praktyczna wartość pojawia się wtedy, gdy każdy etap ma mierzalny efekt operacyjny: krótszy czas procesu, sta...”.

Co zadziałało i co powtórzylibyśmy

Inwestycja w metadane i ACL dała więcej niż zmiana dostawcy LLM. Po rename modułu aktualizacja indeksu naprawiała odpowiedzi — retrening by tego nie załatwił.

Rozszerzając sekcję „Co zadziałało i co powtórzylibyśmy”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Inwestycja w metadane i ACL dała więcej niż zmiana dostawcy LLM. Po rename modułu aktualizacja indeksu naprawiała odpowiedzi — retrening by ...”.

Cotygodniowy eval nowych stron Confluence łapał „ciche” przestarzałe odpowiedzi po reorganizacjach. Ten rytm należy do właściciela biznesowego, nie tylko IT.

Rozszerzając sekcję „Co zadziałało i co powtórzylibyśmy”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Cotygodniowy eval nowych stron Confluence łapał „ciche” przestarzałe odpowiedzi po reorganizacjach. Ten rytm należy do właściciela biznesowe...”.

Faza 2 to fine-tuning wyłącznie pod ton podsumowań ticketów — fakty zostają w RAG.

W sekcji „Co zadziałało i co powtórzylibyśmy” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Rozszerzając sekcję „Co zadziałało i co powtórzylibyśmy”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „W sekcji „Co zadziałało i co powtórzylibyśmy” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wyst...”.

Jak powtórzyć u siebie

Zacznij od jednego działu, jednego języka i jednego indeksu. Skopiuj wzorzec: sync, hybryda, cytaty, golden set z nazwanym właścicielem. Rozszerzaj dopiero po czterech stabilnych tygodniach eval.

Rozszerzając sekcję „Jak powtórzyć u siebie”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Zacznij od jednego działu, jednego języka i jednego indeksu. Skopiuj wzorzec: sync, hybryda, cytaty, golden set z nazwanym właścicielem. Roz...”.

W sekcji „Jak powtórzyć u siebie” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Rozszerzając sekcję „Jak powtórzyć u siebie”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „W sekcji „Jak powtórzyć u siebie” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli...”.

Lekcje dla zarządu

Sponsor biznesowy na tygodniowym eval — nie tylko na demo startu. Inwestycja wiązana z deflection i czasem, nie z nowinką.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „Sponsor biznesowy na tygodniowym eval — nie tylko na demo startu. Inwestycja wiązana z deflection i czasem, nie z nowinką....”.

Prawo i security zaakceptowały, bo cytaty i odmowa były wymaganiem fazy 1, nie backlogiem.

Rozszerzając sekcję „Lekcje dla zarządu”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Prawo i security zaakceptowały, bo cytaty i odmowa były wymaganiem fazy 1, nie backlogiem....”.

W sekcji „Lekcje dla zarządu” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Uniknięty dług techniczny

Wspólna schema metadanych dla connectorów — SharePoint później bez przepisywania Confluence.

Rozszerzając sekcję „Uniknięty dług techniczny”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Wspólna schema metadanych dla connectorów — SharePoint później bez przepisywania Confluence....”.

Upgrade modelu przez ten sam golden set co w pilocie.

Rozszerzając sekcję „Uniknięty dług techniczny”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Upgrade modelu przez ten sam golden set co w pilocie....”.

W sekcji „Uniknięty dług techniczny” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Rozszerzając sekcję „Uniknięty dług techniczny”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Dla organizacji skalujących AI praktyczna wartość pojawia się wtedy, gdy każdy etap ma mierzalny efekt operacyjny: krótszy czas procesu, sta...”.

Wpływ biznesowy i wartość GEO SEO

• Wzmacnia widoczność na frazy transakcyjne i informacyjne w jednym klastrze.
• Poprawia cytowalność treści w systemach AI dzięki jednoznacznym odpowiedziom i encjom.
• Wspiera jakość leadów przez jasne przejście od edukacji do decyzji zakupowej.

W sekcji „Wpływ biznesowy i wartość GEO SEO” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „W sekcji „Wpływ biznesowy i wartość GEO SEO” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wysta...”.

Framework decyzji dla wdrożeń AI

Skuteczne wdrożenie AI wymaga decyzji opartej na użyteczności biznesowej, jakości odpowiedzi i kosztach jednostkowych. Najlepszy efekt daje wybór jednego przepływu o wysokiej wartości i szybki pomiar wpływu.

W praktyce zespoły AI zyskują stabilność dopiero wtedy, gdy ten obszar ma przypisany rytm review KPI oraz jednoznaczny model ownership pomiędzy biznesem i engineeringiem. Punkt odniesienia dla tej sekcji: „Skuteczne wdrożenie AI wymaga decyzji opartej na użyteczności biznesowej, jakości odpowiedzi i kosztach jednostkowych. Najlepszy efekt daje ...”.

W sekcji „Framework decyzji dla wdrożeń AI” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

W praktyce zespoły AI zyskują stabilność dopiero wtedy, gdy ten obszar ma przypisany rytm review KPI oraz jednoznaczny model ownership pomiędzy biznesem i engineeringiem. Punkt odniesienia dla tej sekcji: „W sekcji „Framework decyzji dla wdrożeń AI” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystar...”.

Sekwencja rolloutu AI dla zespołów produkcyjnych

1. 1Dni 1-30: zdefiniuj use case, baseline KPI i źródła danych
2. 2Dni 31-60: uruchom pilotaż, mierz jakość odpowiedzi i latencję
3. 3Dni 61-90: rozszerz zakres po walidacji ROI i ryzyka

W sekcji „Sekwencja rolloutu AI dla zespołów produkcyjnych” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Dobrym testem jakości tej części jest pytanie: czy na bazie tych zasad da się podjąć decyzję „skaluj / popraw / zatrzymaj” bez interpretacji ad hoc. Punkt odniesienia dla tej sekcji: „W sekcji „Sekwencja rolloutu AI dla zespołów produkcyjnych” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność m...”.

Kontrole governance AI redukujące ryzyko

• Kontrola jakości danych wejściowych i retrievalu
• Jasny owner dla decyzji modelowych i kosztowych
• Checklisty bezpieczeństwa, compliance i fallbacków

Kluczowe kroki wdrożenia

Zacznij od jednego use case i KPI, a potem skaluj po potwierdzeniu jakości odpowiedzi i kosztu.

Rozszerzając sekcję „Kontrole governance AI redukujące ryzyko”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „Zacznij od jednego use case i KPI, a potem skaluj po potwierdzeniu jakości odpowiedzi i kosztu....”.

Najczęstsze ryzyka operacyjne

• Brak walidacji jakości odpowiedzi przed skalowaniem
• Niepełna kontrola kosztu inferencji

W sekcji „Kontrole governance AI redukujące ryzyko” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu nie wystarczy, jeśli zespół nie ma jasno zdefiniowanych kryteriów jakości, ownera procesu i sposobu podejmowania decyzji przy konflikcie priorytetów.

Rozszerzając sekcję „Kontrole governance AI redukujące ryzyko”, warto przełożyć ten fragment na decyzje operacyjne: kto odpowiada za jakość, jak mierzony jest efekt i kiedy uruchamiana jest eskalacja ryzyka. Punkt odniesienia dla tej sekcji: „W sekcji „Kontrole governance AI redukujące ryzyko” kluczowe jest połączenie perspektywy biznesowej i technicznej. Sama poprawność modelu ni...”.

Źródła