GPU

GPU (graphics processing unit) har tusentals små kärnor optimerade för samma operation på många värden samtidigt – perfekt för de matriser som deep learning använder.

Medan en CPU är stark på sekventiella, varierade uppgifter, är GPU standard i modellträning och stor del av inferens i molnet. TPU är Googles specialvariant för tensorflöden. För användare av ChatGPT märks hårdvaran sällan direkt – men utan GPU-farmar skulle LLM vara långsammare och dyrare.

---

Nyckelegenskaper

• Är standardhårdvara för träning och inferens av många neurala nätverk tack vare massiv parallellism.
• Påverkar direkt kostnad, hastighet och skalbarhet i AI-projekt som kräver stora beräkningar.
• Är oftast osynlig för slutanvändaren men central för vad AI-tjänster kan leverera i praktiken.