AI LLM MOC

Lyver med selvtillit

Vi må injecte context for å klare å spørre om det vi vil spørre om.
Hvordan klarer vi å velge riktig context? Vi bruker embeddings.

• Et vector space, altså samling av vektorer, hvor de vektorene som er like er nære hverandre.
• Må vektorize input. Databaser har masse å velge mellom.
• Om man skal. embedde text kan det være naturlig å splitte på header.
• OpenAI har også APIer for å generere vektorer. Da kan man lagre dem i en hvilken som helst database som har vektor støtte.

• Hvordan skal man formatere promptet for å få best mulig svar?
• prmpts.AI - codesandbox for prompt engineering
• Gi en identitet. "You are a very enthusiastic developer who loves to help people!"
• Task - "Given the following sections from the docs, answer the question using only that information, outputted in markdown format"
• Condition - "If you are unsure and the answer is not explicitly written in the documentation, sa "Sorry, I Dont know how to help with that".
• Context sections (context injection) - Tekst som er hentet fra vector databasen
• Question: """
• {{sanitizedQuery}}
• """
• OpenAI anbefaler å trykke det inn i """ for å vise ekstra godt hva spørsmålet er.
• Ekstra hint: "Answer as markdown (include related code snippets if available)"

Liste med tall

Database hvor man kan lagre og gjøre spørre med vektorer
Eksempel databaser

• Pinecone
• PgVector i Postgres
• Weaviate