Context Window
Context window (kontextfönster) anger max antal tokens modellen kan se i ett anrop. För långa dokument, kodrepo eller chattloggar måste du trunkera, sammanfatta eller använda RAG-tekniker (inte täckt här) för att få plats.
Större fönster kostar ofta mer CPU/GPU-tid. Claude-modeller var tidiga med mycket långa fönster; ChatGPT och Gemini erbjuder olika storlekar per plan. Optimal prompt placerar viktigast information först och sist.
Nyckelegenskaper
- Avgör hur mycket text, kod, instruktioner och chatthistorik modellen kan ta hänsyn till i ett svar.
- Påverkar både kostnad, latens och hur du behöver strukturera långa arbetsflöden eller dokument.
- Gör att tekniker som sammanfattning, chunking och retrieval blir viktiga när materialet är större än fönstret.