Chat med dokumentasjonen din

Det er ikke til å stikke under en stol at Large Language Models (LLM) som GPT-4 vil snu opp ned på arbeidshverdagen for mange mennesker. Jeg har allerede hatt stor nytte av ChatGPT til å hjelpe med boilerplate oppgaver og skrive små one-off scripts for å automatisere tidligere manuelle jobber. Som Simon Willison så fint beskriver det: AI-enhanced Development Makes Me More Ambitious With My Projects.

Vi har også sett prosjekter som AutoGPT og babyAGI, som kjører GPT-4 rekursivt for å løse en oppgave plugges inn.

Men hvordan kan vi bruke denne nye superkraften i våre egne prosjekter? Kanskje teamet ditt jevnlig må lage SQL scripts for å hente ut rapporter og data til andre i bedriften? Det kunne vært nyttig å la en slack-bot koplet opp mot GPT-4 ta seg av det isteden. Eller hva med å kunne chatte med sin egen dokumentasjon? Eller å kunne stille vilkårlige spørsmål basert på en nettsides FAQ.

Problemet idag er at modellene som er tilgjengelige "bare" har lest det som ligger på weben. Vi kan selvsagt lime inn de delene vi ønsker å spørre om ved å bruke chat-grensesnittet til ChatGPT . Men dette er tungvint og man må forholde seg til en begrensning på antall ord den tar i mot.

For å løse dette problemet er vi nødt til å gi modellene våre et "langtidsminne". Det vil si, noe eksternt, som hjelper oss med å finne den korrekte konteksten vi er nødt å gi til GPT.

I denne artikkelserien skal vi gjennomgå hvordan vi kan bygge en chat bot som lar oss chatte med en vilkårlig tekst. Det være seg et PDF dokument, en Wikipedia artikkel eller dokumentasjonen til kodebasen din.

Om du vil dukke ned i koden vi implementerer i del 3, er alt tilgjengelig på GitHub.

Del 2: Chat med dokumentasjonen din - Nøkkelkonsepter