CUDA Graphs, రీజనింగ్ మోడళ్లు మరియు డిస్అగ్రిగేటెడ్ సర్వింగ్

ఆధునిక AI మౌలిక సదుపాయాలు CPU-ఓవర్హెడ్ తొలగింపు, ఇన్ఫరెన్స్-టైమ్ రీజనింగ్ లూప్లు మరియు ఫేజ్-స్పెషలైజ్డ్ GPU క్లస్టర్ రూటింగ్ ద్వారా పనితీరును సిలికాన్, క్లస్టర్ల భౌతిక పరిమితుల వరకు నెట్టుతాయి. ఈ మూడు టెక్నిక్స్ నేటి అత్యంత వేగవంతమైన, తెలివైన ప్రొడక్షన్ AI సిస్టమ్లను నడుపుతాయి.
1. CUDA Graphs మరియు Kernel Fusion: CPU & మెమరీ ఓవర్హెడ్ను తొలగించడం
ఆధునిక GPUలు (H100, B200 వంటివి) చాలా వేగంగా పెరగడంతో, ఒక తేలికపాటి GPU కెర్నెల్ను అమలు చేయడానికి కేవలం 2 నుండి 5 మైక్రోసెకన్లు మాత్రమే పట్టవచ్చు. అయితే PCIe డ్రైవర్ మీదుగా ఆ కెర్నెల్ను సిద్ధం చేయడానికి, వాలిడేట్ చేయడానికి, లాంచ్ చేయడానికి CPUకు తరచుగా 10 నుండి 20 మైక్రోసెకన్లు పడుతుంది — దీంతో కోట్లాది డాలర్ల GPU, CPU ఇన్స్ట్రక్షన్ల కోసం వేచి పూర్తిగా నిష్క్రియంగా కూర్చుంటుంది.
- Kernel Fusion (మెమరీ & లాంచ్లను ఆదా చేయడానికి ఆపరేషన్లను కలపడం).
- ఫ్యూజ్ చేయని బాటిల్నెక్. ఒక స్టాండర్డ్ Transformer లేయర్ డజన్ల కొద్దీ చిన్న ఆపరేషన్లను వరుసగా అమలు చేస్తుంది (ఉదా., LayerNorm → Linear → Add Residual → GeLU). ఫ్యూజన్ లేకపోతే, GPU ప్రతి స్టెప్ కోసం విడివిడి కెర్నెల్స్ను లాంచ్ చేసి, ఇంటర్మీడియట్ టెన్సార్లను నెమ్మదైన HBM (VRAM)కు వ్రాసి, తదుపరి స్టెప్ కోసం వాటిని వెంటనే తిరిగి చదువుతుంది.
- ఫ్యూజ్ చేసిన ఎగ్జిక్యూషన్. torch.compile (TorchInductor), TensorRT-LLM వంటి కంపైలర్లు బహుళ element-wise, reduction ఆపరేషన్లను ఒకే కస్టమ్ CUDA/Triton కెర్నెల్గా ఫ్యూజ్ చేస్తాయి. విలువలు HBM నుండి ఒకేసారి లోడ్ అవుతాయి, అత్యంత వేగవంతమైన ఆన్-చిప్ రిజిస్టర్లు/SRAMలో రూపాంతరం చెంది, చివరలో మాత్రమే HBMకు తిరిగి వ్రాయబడతాయి — దీంతో మెమరీ బ్యాండ్విడ్త్ ట్రాఫిక్, కెర్నెల్ లాంచ్ సంఖ్య రెండూ బాగా తగ్గుతాయి.
- CUDA Graphs (మొత్తం ఎగ్జిక్యూషన్ పైప్లైన్లను ఒకే షాట్లో రీప్లే చేయడం).
- రికార్డ్ చేసి రీప్లే చేయడం. కెర్నెల్ ఫ్యూజన్ తర్వాత కూడా, ఒక LLM ఫార్వర్డ్ పాస్ జనరేట్ చేసిన ప్రతి టోకెన్ కోసం వందల కెర్నెల్ లాంచ్లను కోరుతుంది. CUDA Graphs దీనిని ఇలా పరిష్కరిస్తాయి: వార్మప్ రన్ సమయంలో GPU ఆపరేషన్ల మొత్తం సీక్వెన్స్ను — కెర్నెల్స్, మెమరీ కాపీలు, డిపెండెన్సీలు — క్యాప్చర్ చేసి, వాటిని GPU మెమరీలోనే నిల్వ చేసిన స్టాటిక్ ఎగ్జిక్యూషన్ గ్రాఫ్గా కంపైల్ చేస్తాయి.
- జీరో CPU ఇంటర్వెన్షన్. రియల్-టైమ్ ఇన్ఫరెన్స్ సమయంలో, CPU 300 విడివిడి కెర్నెల్స్ను ఒక్కొక్కటిగా లాంచ్ చేయకుండా, GPU మొత్తం ఫార్వర్డ్ పాస్ను స్వయంప్రతిపత్తిగా ప్రారంభించే ఒకే API కాల్ (cudaGraphLaunch)ను జారీ చేస్తుంది.
- డైనమిక్ షేప్లను హ్యాండిల్ చేయడం. CUDA Graphsకు స్టాటిక్ మెమరీ చిరునామాలు, టెన్సర్ షేప్లు అవసరం కాబట్టి, ఇన్ఫరెన్స్ ఇంజిన్లు లోపలికి వచ్చే బ్యాచ్లను స్థిర బకెట్ సైజులకు (ఉదా., బ్యాచ్ సైజులు 1, 2, 4, 8, 16) ప్యాడ్ చేసి, ముందుగానే క్యాప్చర్ చేసిన గ్రాఫ్ను రీప్లే చేయడానికి ముందు ఇన్పుట్ పాయింటర్లను అక్కడికక్కడే అప్డేట్ చేస్తాయి.
2. టెస్ట్-టైమ్ కంప్యూట్ & రీజనింగ్ మోడళ్లు (o1/o3 & DeepSeek-R1)
గతంలో, AI ల్యాబ్లు తెలివితేటలను కేవలం ప్రీ-ట్రైనింగ్కు ఎక్కువ కంప్యూట్ కేటాయించడం ద్వారానే (మరింత ఎక్కువ ఇంటర్నెట్ టెక్స్ట్పై శిక్షణ పొందిన పెద్ద మోడళ్లు) స్కేల్ చేశాయి. OpenAI యొక్క o1/o3, DeepSeek-R1 వంటి రీజనింగ్ మోడళ్లు రెండో స్కేలింగ్ అక్షాన్ని అన్లాక్ చేశాయి: టెస్ట్-టైమ్ కంప్యూట్ (ఇన్ఫరెన్స్-టైమ్ స్కేలింగ్), ఇది మోడళ్లు సమాధానం ఇవ్వడానికి ముందు ఎక్కువ సేపు "ఆలోచించడానికి" వీలు కల్పిస్తుంది.
- చెయిన్-ఆఫ్-థాట్ (CoT) కోసం రీన్ఫోర్స్మెంట్ లెర్నింగ్.
- పురోగతి-దశ హేతుబద్ధత యొక్క మానవ-రచిత ఉదాహరణలపై మాత్రమే ఆధారపడకుండా, ఈ మోడళ్లు గణితం, కోడింగ్, ఫార్మల్ లాజిక్ వంటి ధృవీకరించగల డొమైన్లపై లార్జ్-స్కేల్ రీన్ఫోర్స్మెంట్ లెర్నింగ్ (RL) ద్వారా (DeepSeek-R1లోని GRPO – గ్రూప్ రిలేటివ్ పాలసీ ఆప్టిమైజేషన్ వంటివి) శిక్షణ పొందుతాయి.
- మోడల్ బహుళ అభ్యర్థి రీజనింగ్ మార్గాలను జనరేట్ చేసి, తన తుది సమాధానం యూనిట్ టెస్ట్లు లేదా గణిత ధృవీకరణ పాస్ అయినప్పుడు మాత్రమే ఆబ్జెక్టివ్ రివార్డ్లను పొందుతుంది; ఇలా స్వయంచాలకంగా ఉద్భవించే కాగ్నిటివ్ ప్రవర్తనలను కనుగొంటుంది — సెల్ఫ్-వెరిఫికేషన్, డెడ్ ఎండ్ చేరుకున్నప్పుడు వెనుకకు తిరగడం, సంక్లిష్ట సమస్యలను ఉప-లక్ష్యాలుగా విభజించడం వంటివి.
- ఇన్ఫరెన్స్ కంప్యూట్ ఎలా స్కేల్ అవుతుంది.
- కష్టమైన ప్రాంప్ట్ ఇచ్చినప్పుడు, మోడల్ తుది సమాధానం ఇవ్వడానికి ముందు దాచిన స్క్రాచ్ప్యాడ్ లోపల వేలాది అంతర్గత "థింకింగ్ టోకెన్లను" జనరేట్ చేస్తుంది. మోడల్ పరికల్పనలను అన్వేషించడానికి ఎక్కువ ఇన్ఫరెన్స్ టోకెన్లను ఖర్చు చేసే కొద్దీ ఖచ్చితత్వం లాగరిథమిక్గా మెరుగవుతుంది.
- కంప్యూట్ ట్రేడ్-ఆఫ్ మార్పు. సాంప్రదాయ LLMల్లో, ఇన్ఫరెన్స్ చవకైనది, వేగవంతమైనది (~50 అవుట్పుట్ టోకెన్లు జనరేట్ చేస్తుంది). రీజనింగ్ మోడళ్లలో, ఒక్క క్వెరీ 10,000 నుండి 50,000 థింకింగ్ టోకెన్లను జనరేట్ చేయవచ్చు; దీంతో ఇన్ఫరెన్స్ KV-cache పెరుగుదల, లాంగ్-కాంటెక్స్ట్ అటెన్షన్ సామర్థ్యంతో నిర్వహించబడే భారీ, నిరంతర బ్యాచ్-జనరేషన్ వర్క్లోడ్గా మారుతుంది.
3. డిస్అగ్రిగేటెడ్ ప్రీఫిల్ మరియు డికోడ్
ఒక LLMను సర్వ్ చేయడం ప్రాథమికంగా వ్యతిరేకమైన రెండు కంప్యూటేషనల్ దశలను కలిగి ఉంటుంది. రెండు దశలను అదే GPUపై నడపడం తీవ్రమైన షెడ్యూలింగ్ వైరుధ్యాలు, హార్డ్వేర్ అవినియోగాన్ని సృష్టిస్తుంది.
| దశ | వర్క్లోడ్ స్వభావం | హార్డ్వేర్ బాటిల్నెక్ | లేటెన్సీ మెట్రిక్ |
|---|---|---|---|
| ప్రీఫిల్ (ప్రాంప్ట్ ప్రాసెసింగ్) | అన్ని ప్రాంప్ట్ టోకెన్లను (ఉదా., 10,000 టోకెన్లు) ఒకే ఫార్వర్డ్ పాస్లో పారాలెల్గా ప్రాసెస్ చేస్తుంది. | కంప్యూట్-బౌండ్ (భారీ మ్యాట్రిక్స్ మల్టిప్లైలతో GPU Tensor Coresను సంతృప్తి పరుస్తుంది). | TTFT (టైమ్-టు-ఫస్ట్-టోకెన్) |
| డికోడ్ (టోకెన్ జనరేషన్) | ప్రతి స్టెప్లో మొత్తం KV cacheను చదువుతూ, అవుట్పుట్ టోకెన్లను ఒక్కొక్కటిగా వరుసగా జనరేట్ చేస్తుంది. | మెమరీ-బ్యాండ్విడ్త్-బౌండ్ (VRAM రీడ్స్ కోసం వేచి ఉండటంతో Tensor Cores ఎక్కువగా నిష్క్రియంగా ఉంటాయి). | TPOT (టైమ్-పర్-అవుట్పుట్-టోకెన్) |
- కో-లొకేషన్ ఇంటర్ఫిరెన్స్ సమస్య.
- సాంప్రదాయ యూనిఫైడ్ సర్వింగ్లో, 50 మంది ఇతర యూజర్లు డికోడ్ టోకెన్లను స్ట్రీమ్ చేస్తున్న మధ్యలో ఒక యూజర్ ప్రీఫిల్ కోసం భారీ 32,000-టోకెన్ డాక్యుమెంట్ను సబ్మిట్ చేస్తే, భారీ ప్రీఫిల్ మ్యాట్రిక్స్ గణితం GPU యొక్క Tensor Coresను ఆక్రమించుకుంటుంది — దీంతో ఆ 50 మంది స్ట్రీమింగ్ యూజర్లందరికీ గమ్యమైన స్తబ్ధతలు, లేటెన్సీ స్పైక్లు ("స్టటరింగ్") ఏర్పడతాయి.
- అంతేకాకుండా, ప్రీఫిల్కు అధిక కంప్యూట్ FLOPs అవసరం; అయితే డికోడ్కు పెద్ద బ్యాచ్ KV cacheలను నిల్వ చేయడానికి భారీ HBM మెమరీ బ్యాండ్విడ్త్, సామర్థ్యం అవసరం.
- క్లస్టర్ను విడదీయడం (డిస్అగ్రిగేటెడ్ ఆర్కిటెక్చర్).
- ఆధునిక హైపర్స్కేల్ ఇన్ఫరెన్స్ సిస్టమ్లు (Mooncake, DistServe మరియు NVIDIA Dynamo వంటివి) GPU క్లస్టర్ను రెండు ప్రత్యేక పూల్లుగా విభజిస్తాయి:
- 1. ప్రీఫిల్ పూల్: ముడి కంప్యూట్ థ్రూపుట్ కోసం ఆప్టిమైజ్ చేయబడింది (అధిక Tensor Core వినియోగం, చిన్న టెన్సర్ పారాలెలిజం); పొడవైన ప్రాంప్ట్లను త్వరగా క్రంచ్ చేసి, దూకుడు టైమ్-టు-ఫస్ట్-టోకెన్ (TTFT) లక్ష్యాలను చేరుకుంటుంది.
- 2. డికోడ్ పూల్: అధిక మెమరీ బ్యాండ్విడ్త్, పెద్ద KV-cache సామర్థ్యం కోసం ఆప్టిమైజ్ చేయబడింది (విస్తృత టెన్సర్/ఎక్స్పర్ట్ పారాలెలిజం, పెద్ద బ్యాచ్ సైజులు); గరిష్ఠ టోకెన్స్-పర్-సెకన్ వద్ద టోకెన్లను సాఫీగా స్ట్రీమ్ చేస్తుంది.
- హై-స్పీడ్ KV Cache ట్రాన్స్ఫర్. ఒక ప్రీఫిల్ GPU ప్రాంప్ట్ ప్రాసెసింగ్ పూర్తి చేసి తన ప్రారంభ KV Cacheను నిర్మించిన తర్వాత, ఆ KV Cacheను అల్ట్రా-ఫాస్ట్ NVLink లేదా InfiniBand RDMA ఇంటర్కనెక్ట్స్ ద్వారా నేరుగా ఒక డికోడ్ GPU యొక్క VRAMలోకి స్ట్రీమ్ చేస్తుంది; ఆ GPU ఎలాంటి జోక్యం లేకుండా వెంటనే టోకెన్ జనరేషన్ను చేపట్టుతుంది.