PagedAttention, స్పెక్యులేటివ్ డికోడింగ్, MoE మరియు Blackwell

ఆధునిక AI డిప్లాయ్మెంట్ భారీ మోడళ్లను అధిక వేగంతో, తక్కువ ఖర్చుతో సర్వ్ చేయడానికి మెమరీ-వర్చువలైజ్ చేసిన సర్వింగ్ ఇంజిన్లు, స్పార్స్ ఎక్స్పర్ట్ రూటింగ్ మరియు సబ్-బైట్ హార్డ్వేర్ ప్రెసిషన్పై ఆధారపడుతుంది. ఈ మూడు టెక్నాలజీలు ప్రొడక్షన్ LLM మౌలిక సదుపాయాల అగ్రగామిని సూచిస్తాయి.
1. LLM ఇన్ఫరెన్స్ సర్వింగ్ ఆప్టిమైజేషన్లు: PagedAttention & స్పెక్యులేటివ్ డికోడింగ్
టెక్స్ట్ జనరేషన్ సమయంలో, ఒక LLM ప్రతి స్టెప్లో తిరిగి లెక్కించకుండా ఉండటానికి, ముందు వచ్చిన ప్రతి టోకెన్ యొక్క Key (K), Value (V) టెన్సార్లను VRAMలో క్యాష్ చేస్తుంది. ఈ KV Cacheను నిర్వహించడం, టోకెన్-బై-టోకెన్ జనరేషన్ యొక్క సీక్వెన్షియల్ బాటిల్నెక్ను అధిగమించడం ఇన్ఫరెన్స్ సర్వింగ్లోని రెండు అతిపెద్ద సవాళ్లు.
- PagedAttention (vLLM) – KV Cache కోసం వర్చువల్ మెమరీ.
- ఫ్రాగ్మెంటేషన్ సమస్య. గతంలో, ఇన్ఫరెన్స్ ఇంజిన్లు మోడల్ యొక్క గరిష్ఠ సాధ్యమైన సీక్వెన్స్ పొడవు ఆధారంగా (ఉదా., 32,768 టోకెన్లు) ప్రతి రిక్వెస్ట్ కోసం VRAMలో ఒక అవిచ్ఛిన్న భాగాన్ని ముందుగానే కేటాయించేవి. ఒక యూజర్ కేవలం 200 టోకెన్లు మాత్రమే జనరేట్ చేస్తే, ఆ రిజర్వ్ చేసిన VRAMలో 99% కంటే ఎక్కువ ఖాళీగా ఉండిపోయేది; ఇంటర్నల్, ఎక్స్టర్నల్ ఫ్రాగ్మెంటేషన్ వల్ల GPU మెమరీలో 60% నుండి 80% వృథా అయ్యేది.
- OS-శైలి పేజింగ్. ఆపరేటింగ్ సిస్టమ్ వర్చువల్ మెమరీ నుండి ప్రేరణ పొందిన PagedAttention, ప్రతి సీక్వెన్స్ యొక్క KV cacheను చిన్న, స్థిర-పరిమాణ బ్లాక్స్గా (ఉదా., ఒక్కో బ్లాక్లో 16 టోకెన్లు) విభజిస్తుంది; ఇవి భౌతిక VRAMలో ఎక్కడైనా అవిచ్ఛిన్నంగా లేకుండా ఉండగలవు. ఒక తేలికపాటి బ్లాక్ టేబుల్, అటెన్షన్ కెర్నెల్ లోపలే లాజికల్ టోకెన్ బ్లాక్స్ను భౌతిక GPU మెమరీ చిరునామాలకు తక్షణం మ్యాప్ చేస్తుంది.
- మెమరీ షేరింగ్ (Copy-on-Write). బ్లాక్స్ వేరు చేయబడి ఉండటం వల్ల, అదే సిస్టమ్ ప్రాంప్ట్ను పంచుకునే లేదా పారాలెల్ కంప్లీషన్లను (beam search వంటివి) జనరేట్ చేసే బహుళ రిక్వెస్ట్లు VRAMలోని అదే భౌతిక KV బ్లాక్స్ను సూచిస్తాయి; దీంతో మెమరీ వినియోగం బాగా తగ్గి, చాలా పెద్ద బ్యాచ్ సైజులు సాధ్యమవుతాయి.
- స్పెక్యులేటివ్ డికోడింగ్ – సీక్వెన్షియల్ బాటిల్నెక్ను బద్దలు కొట్టడం.
- ఆటోరిగ్రెసివ్ జనరేషన్ ఎందుకు నెమ్మదిగా ఉంటుంది. 100 టోకెన్లను జనరేట్ చేయడానికి 100 సీక్వెన్షియల్ ఫార్వర్డ్ పాస్లు అవసరం. ప్రతి పాస్ ఒక్క కొత్త టోకెన్ను మాత్రమే ప్రాసెస్ చేస్తుంది కాబట్టి, GPU తన Tensor Cores దాదాపు నిష్క్రియంగా ఉండగా, చాలా సమయం VRAM నుండి మోడల్ వెయిట్స్ను చదవడంతోనే గడుపుతుంది.
- డ్రాఫ్ట్-అండ్-వెరిఫై పైప్లైన్. స్పెక్యులేటివ్ డికోడింగ్ భారీ టార్గెట్ మోడల్ను (ఉదా., 70B పరామితులు) చిన్న, అత్యంత వేగవంతమైన డ్రాఫ్ట్ మోడల్తో (ఉదా., 1B–3B పరామితులు, లేదా Medusa / EAGLE వంటి తేలికపాటి ప్రిడిక్షన్ హెడ్స్) జత చేస్తుంది.
- పారాలెల్ వెరిఫికేషన్. చిన్న డ్రాఫ్ట్ మోడల్ తదుపరి K టోకెన్లను (ఉదా., 5 టోకెన్లు) వరుసగా త్వరగా అంచనా వేస్తుంది. అప్పుడు భారీ టార్గెట్ మోడల్ ఆ 5 అంచనా టోకెన్లన్నింటిని ఒకే పారాలెల్ ఫార్వర్డ్ పాస్లో ఏకకాలంగా ప్రాసెస్ చేసి, వాటి సంభావ్యతలను తనిఖీ చేస్తుంది. 5 టోకెన్లను పారాలెల్గా వెరిఫై చేయడానికి 1 టోకెన్ జనరేట్ చేసేంత సమయమే పడుతుంది కాబట్టి, సిస్టమ్ సరిపోయే టోకెన్లన్నింటిని ఒకేసారి అంగీకరిస్తుంది — గణితపరంగా ఒకే విధమైన అవుట్పుట్ నాణ్యతతో 2× నుండి 3× వేగవంతమైన జనరేషన్ లభిస్తుంది.
2. Mixture-of-Experts (MoE) & ఎక్స్పర్ట్ పారాలెలిజం
డెన్స్ మోడళ్లు ప్రతి టోకెన్ కోసం తమ పరామితుల్లో 100%ను యాక్టివేట్ చేస్తాయి, దీంతో భారీ మోడళ్లను నడపడం నిషిద్ధ స్థాయి ఖరీదైనదిగా మారుతుంది. Mixture-of-Experts (MoE) ఆర్కిటెక్చర్లు మొత్తం మోడల్ జ్ఞానాన్ని ప్రతి-టోకెన్ కంప్యూట్ ఖర్చు నుండి వేరు చేస్తాయి.
- MoE లేయర్లు ఎలా పని చేస్తాయి (Mixtral & DeepSeek).
- ఒక MoE Transformer బ్లాక్లో, ఒకే డెన్స్ ఫీడ్-ఫార్వర్డ్ నెట్వర్క్ (FFN) స్థానంలో ఎక్స్పర్ట్స్ అని పిలువబడే చిన్న, స్వతంత్ర FFNల సమూహం ఉంటుంది (ఉదా., Mixtral 8x7Bలో 8 ఎక్స్పర్ట్స్, లేదా DeepSeek-V3లో 256 ఫైన్-గ్రెయిన్డ్ ఎక్స్పర్ట్స్).
- ఒక తేలికపాటి శిక్షణ పొందిన రూటర్ (గేటింగ్ నెట్వర్క్) లోపలికి వచ్చే ప్రతి టోకెన్ను పరిశీలించి, దానిని కేవలం అత్యంత సంబంధిత top-K ఎక్స్పర్ట్స్కు (సాధారణంగా 2 నుండి 8 ఎక్స్పర్ట్స్) మాత్రమే పంపుతుంది. ఒక మోడల్ మెమరీలో మొత్తం 600B+ పరామితులను కలిగి ఉండినప్పటికీ, ప్రతి టోకెన్ కోసం కేవలం 37B పరామితులను మాత్రమే యాక్టివేట్ చేసి, కంప్యూట్ ఖర్చులో చాలా తక్కువ భాగంతో భారీ మోడల్ తెలివితేటలను పొందుతుంది.
- షేర్డ్ ఎక్స్పర్ట్స్ & ఆక్సిలరీ-లాస్-ఫ్రీ బ్యాలెన్సింగ్. DeepSeek వంటి ఆధునిక MoE డిజైన్లు, సాధారణ ప్రాథమిక జ్ఞానాన్ని పట్టుకోవడానికి ప్రతి టోకెన్ను ప్రాసెస్ చేసే కొన్ని షేర్డ్ ఎక్స్పర్ట్స్ను కేటాయిస్తాయి; అయితే రూట్ చేసిన ఎక్స్పర్ట్స్ నిష్ డొమైన్లలో ప్రత్యేకీకరించబడతాయి. డైనమిక్ బయాస్ సర్దుబాట్లు "రూటింగ్ కొలాప్స్"ను (రూటర్ కొద్ది మంది ప్రసిద్ధ ఎక్స్పర్ట్స్పై భారం మోపి మిగిలిన వారిని పట్టించుకోకపోవడం) నివారిస్తాయి.
- GPUల్లో ఎక్స్పర్ట్ పారాలెలిజం (EP).
- ఒక MoE మోడల్లో వందల ఎక్స్పర్ట్స్ ఉంటారు కాబట్టి, వారంతా ఒకే GPUలో సరిపోలేరు. ఎక్స్పర్ట్ పారాలెలిజం వేర్వేరు ఎక్స్పర్ట్స్ను వేర్వేరు GPUల్లో పంపిణీ చేస్తుంది (ఉదా., GPU 0పై ఎక్స్పర్ట్స్ 1–4, GPU 1పై ఎక్స్పర్ట్స్ 5–8).
- All-to-All కమ్యూనికేషన్. GPU 0 టోకెన్ల బ్యాచ్ను ప్రాసెస్ చేసేటప్పుడు, దాని రూటర్ కొన్ని టోకెన్లను GPU 3లో ఉన్న ఎక్స్పర్ట్స్కు కేటాయించవచ్చు. అందువల్ల ప్రతి MoE లేయర్ ఒక All-to-All డిస్ప్యాచ్ను అమలు చేస్తుంది: హై-స్పీడ్ NVLink/InfiniBand ఇంటర్కనెక్ట్స్ ద్వారా కేటాయించిన ఎక్స్పర్ట్ ఉన్న GPUకి టోకెన్ హిడెన్ స్టేట్స్ను పంపి, ఎక్స్పర్ట్ FFNను లెక్కించి, ఫలితాలను తిరిగి ఇవ్వడానికి రెండో All-to-All కంబైన్ స్టెప్ చేస్తుంది.
3. NVIDIA Blackwell (B200) & సెకండ్-జెన్ Transformer Engine (FP4)
ట్రిలియన్-పరామితి రీజనింగ్ మరియు MoE మోడళ్లను స్కేల్ చేయడానికి ప్రవేశపెట్టిన NVIDIA Blackwell (B200) ఆర్కిటెక్చర్, మల్టీ-డై ప్యాకేజింగ్, సబ్-బైట్ సంఖ్యా ప్రెసిషన్ రెండింటిని తిరిగి రూపొందించింది.
- డ్యూయల్-డై యూనిఫైడ్ ఆర్కిటెక్చర్.
- ఒకే B200 GPU, 10 TB/s NV-HBI (హై-బ్యాండ్విడ్త్ ఇంటర్ఫేస్) ద్వారా కలిపిన రెండు రెటికిల్-పరిమిత డైల్లో 208 బిలియన్ల ట్రాన్సిస్టర్లను కలిగి ఉంటుంది. CUDA కెర్నెల్స్, సాఫ్ట్వేర్ ఫ్రేమ్వర్క్ల దృష్ట్యా, రెండు డైలు ఎలాంటి క్యాష్-కొహెరెన్సీ పెనాల్టీలూ లేకుండా ఒకే యూనిఫైడ్ GPUగా పని చేస్తాయి.
- HBM3e మెమరీ బ్యాండ్విడ్త్. 8 TB/s మెమరీ బ్యాండ్విడ్త్ ఇచ్చే 192 GB HBM3e VRAMతో (H100 యొక్క 3.35 TB/s కంటే రెట్టింపు కంటే ఎక్కువ) అమర్చబడిన Blackwell, KV cacheలు, MoE వెయిట్ లోడింగ్ యొక్క మెమరీ-బ్యాండ్విడ్త్ బాటిల్నెక్లను నేరుగా లక్ష్యంగా చేసుకుంటుంది.
- సెకండ్-జెనరేషన్ Transformer Engine & NVFP4.
- Hopper 8-బిట్ ఫ్లోటింగ్-పాయింట్ (FP8)ను ప్రవేశపెట్టగా, Blackwell యొక్క సెకండ్-జెనరేషన్ Transformer Engine Tensor Core కంప్యూట్ను 4-బిట్ ఫ్లోటింగ్-పాయింట్ (FP4) వరకు తీసుకువెళ్లి, ముడి కంప్యూట్ థ్రూపుట్ను మళ్లీ రెట్టింపు చేస్తుంది (ఒక్కో GPUకి 20 petaFLOPS డెన్స్ FP4 కంప్యూట్ వరకు) మరియు FP8తో పోలిస్తే మెమరీ ఫుట్ప్రింట్ను సగానికి తగ్గిస్తుంది.
- మైక్రో-టెన్సర్ స్కేలింగ్ (NVFP4)తో FP4 డైనమిక్ రేంజ్ సమస్యను పరిష్కరించడం. స్టాండర్డ్ 4-బిట్ సంఖ్యల్లో కేవలం 16 విలువలు మాత్రమే ఉంటాయి; న్యూరల్ యాక్టివేషన్లలో ఎక్స్ట్రీమ్ outlier సంఖ్యలు కనిపించినప్పుడు ఇది సాధారణంగా ఖచ్చితత్వాన్ని నాశనం చేస్తుంది. Blackwell దీనిని టు-లెవెల్ మైక్రో-స్కేలింగ్ ద్వారా హార్డ్వేర్లో పరిష్కరిస్తుంది: పెద్ద మ్యాట్రిక్స్కు ఒకే స్కేలింగ్ కారకాన్ని అన్వయించకుండా, Blackwell వెయిట్స్, యాక్టివేషన్లను 16 ఎలిమెంట్ల చిన్న బ్లాక్స్గా విభజించి, ఒక్కో చిన్న బ్లాక్కు దాని స్వంత హై-ప్రెసిషన్ FP8 స్కేలింగ్ కారకాన్ని, ఒక గ్లోబల్ FP32 టెన్సర్ స్కేల్తో పాటు కేటాయిస్తుంది.
- హార్డ్వేర్-యాక్సిలరేటెడ్ క్వాంటైజేషన్. Transformer Engine టెన్సర్ రేంజ్లను లేయర్-బై-లేయర్ డైనమిక్గా పరిశీలించి, అదనపు మెమరీ రౌండ్-ట్రిప్లు లేకుండా Tensor Core పైప్లైన్ లోపలే FP16/BF16, FP8 మరియు NVFP4 మధ్య విలువలను మారుస్తుంది.