FlashAttention స్కేలింగ్, మల్టి-GPU శిక్షణ మరియు వెయిట్ క్వాంటైజేషన్

ఆధునిక AI మౌలిక సదుపాయాలు భారీ మోడళ్లను సమర్థవంతంగా శిక్షణ ఇవ్వడానికి, సర్వ్ చేయడానికి హార్డ్వేర్-అవేర్ అటెన్షన్ కెర్నెల్స్, పంపిణీ చేసిన మల్టి-GPU పారాలెలిజం మరియు లో-బిట్ క్వాంటైజేషన్పై ఆధారపడతాయి. ఈ మూడు టెక్నిక్స్ సిద్ధాంతపరమైన మోడల్ స్కేల్కు, భౌతిక GPU పరిమితులకు మధ్య ఉన్న ఖాళీని కప్పివేస్తాయి.
1. Hopper (H100) GPUలపై FlashAttention-2 మరియు FlashAttention-3
అసలు FlashAttention మెమరీ బ్యాండ్విడ్త్ బాటిల్నెక్ను పరిష్కరించినప్పటికీ, ఆధునిక GPUల్లో గణనీయమైన ముడి కంప్యూట్ సామర్థ్యాన్ని ఇంకా వినియోగించకుండా వదిలేసింది. FlashAttention-2 (2023) మరియు FlashAttention-3 (2024) GPU థ్రెడ్లు, హార్డ్వేర్ ఇంజిన్లు ఎలా సమన్వయం చేసుకుంటాయో తిరిగి రూపొందించాయి.
- FlashAttention-2 (మెరుగైన వర్క్ విభజన).
- నాన్-Matmul ఆపరేషన్లను తగ్గించడం. Softmax rescaling వంటి scalar ఆపరేషన్లను standard CUDA cores చేసే దాని కంటే, GPU Tensor Cores matrix multiplications (matmul)ను సుమారు 16× వేగంగా అమలు చేస్తాయి. FlashAttention-2 ఆన్లైన్ Softmax గణితాన్ని తిరిగి రాసి, rescalingను లోపలి లూప్ చివరి వరకు వాయిదా వేసి, నెమ్మదైన non-matmul ఇన్స్ట్రక్షన్లను తగ్గించింది.
- సీక్వెన్స్ పొడవు మీద పారాలెలైజ్ చేయడం. అసలు వెర్షన్ ప్రధానంగా బ్యాచ్ సైజు, అటెన్షన్ హెడ్స్ మీద మాత్రమే పారాలెలైజ్ చేసేది; దీంతో పొడవైన సీక్వెన్స్లు, చిన్న బ్యాచ్ సైజులతో శిక్షణ ఇచ్చేటప్పుడు GPU cores నిష్క్రియంగా ఉండిపోయేవి. FlashAttention-2 సీక్వెన్స్ పొడవు డైమెన్షన్ మీద కూడా పారాలెలిజం జోడించి, లూప్ క్రమాన్ని తిప్పికొట్టింది (బయటి లూప్ Q బ్లాక్స్ మీద, లోపలి లూప్ K, V మీద), దీంతో నెమ్మదైన shared-memory వ్రాతలు తగ్గాయి.
- FlashAttention-3 (Hopper H100 హార్డ్వేర్ వినియోగం).
- అసింక్రోనస్ డేటా మూవ్మెంట్ (TMA). NVIDIA యొక్క Hopper ఆర్కిటెక్చర్ Tensor Memory Accelerator (TMA)ని పరిచయం చేసింది; ఇది కంప్యూట్ థ్రెడ్లను ఉపయోగించకుండా గ్లోబల్ HBM, ఆన్-చిప్ SRAM మధ్య డేటాను కాపీ చేసే ప్రత్యేక హార్డ్వేర్ యూనిట్.
- Warp స్పెషలైజేషన్ (ప్రొడ్యూసర్-కన్జ్యూమర్ మోడల్). FlashAttention-3 GPU warpలను (32 థ్రెడ్ల గ్రూపులు) ప్రత్యేక పాత్రలుగా విభజిస్తుంది. ప్రొడ్యూసర్ warpలు TMAను ఉపయోగించి K, V యొక్క భవిష్యత్ టైల్స్ను SRAMలోకి ముందుగానే తేగా, కన్జ్యూమర్ warpలు ప్రస్తుత టైల్స్ను Tensor Coresకు (WGMMA ఇన్స్ట్రక్షన్లు) అందిస్తాయి. ఇది మెమరీ ట్రాన్స్ఫర్లను మ్యాట్రిక్స్ గణితం, Softmax లెక్కలతో ఏకకాలంగా ఓవర్ల్యాప్ చేస్తుంది.
- FP8 లో-ప్రెసిషన్ సపోర్ట్. FlashAttention-3 Hopper యొక్క FP8 Tensor Coresను అన్లాక్ చేసి, FP16 కంటే ముడి థ్రూపుట్ను రెట్టింపు చేస్తుంది. FP8లో outlier యాక్టివేషన్ల వల్ల ప్రెసిషన్ నష్టం రాకుండా ఉండటానికి, ఇది బ్లాక్ క్వాంటైజేషన్ (చిన్న టైల్స్ను స్వతంత్రంగా స్కేల్ చేయడం), incoherent ప్రాసెసింగ్ (క్వాంటైజ్ చేయడానికి ముందు ఎక్స్ట్రీమ్ విలువలను సరళీకరించడానికి Q, Kలను రాండమ్ ఆర్థోగొనల్ మ్యాట్రిక్స్లతో గుణించడం) ఉపయోగిస్తుంది.
2. మల్టి-GPU స్కేలింగ్ స్ట్రాటజీలు (3D పారాలెలిజం)
ఒక మోడల్లో పదుల లేదా వందల బిలియన్ల పరామితులు ఉన్నప్పుడు, దాని వెయిట్స్, గ్రేడియెంట్స్ మరియు ఆప్టిమైజర్ స్టేట్స్ ఒకే GPU యొక్క VRAMను మించిపోతాయి. పెద్ద-స్కేల్ శిక్షణ మూడు విభిన్న పారాలెలైజేషన్ స్ట్రాటజీలను కలుపుతుంది — వీటిని తరచుగా 3D పారాలెలిజం అంటారు.
| స్ట్రాటజీ | ఇది పనిని ఎలా విభజిస్తుంది | కమ్యూనికేషన్ బాటిల్నెక్ | ఉత్తమ వినియోగ సందర్భం |
|---|---|---|---|
| డేటా పారాలెలిజం (DP / FSDP) | మోడల్ను GPUల్లో ప్రతిరూపం చేస్తుంది; ప్రతి GPU వేరు బ్యాచ్ డేటాను ప్రాసెస్ చేస్తుంది. | GPUల్లో గ్రేడియెంట్స్, షార్డెడ్ వెయిట్స్ యొక్క All-Reduce / All-Gather. | లేయర్లు ఒకే డివైజ్లో సరిపోయినప్పుడు వందల GPUల్లో శిక్షణ థ్రూపుట్ను స్కేల్ చేయడం. |
| టెన్సర్ పారాలెలిజం (TP) | వ్యక్తిగత వెయిట్ మ్యాట్రిక్స్లను (లేయర్లను) GPUల్లో నిలువుగా లేదా అడ్డంగా విభజిస్తుంది. | ప్రతి Transformer లేయర్ తర్వాత All-Reduce (అత్యంత వేగవంతమైన NVLink అవసరం). | ఒకే GPUలో సరిపోని భారీ లేయర్లు; వాటిని ఒకే 8-GPU సర్వర్ నోడ్ లోపలే కఠినంగా ఉంచుతారు. |
| పైప్లైన్ పారాలెలిజం (PP) | మోడల్ను లోతు ప్రకారం విభజించి, వరుసగా ఉండే లేయర్ గ్రూపులను వేర్వేరు GPUల్లో ఉంచుతుంది. | పైప్లైన్ స్టేజ్ల మధ్య పాయింట్-టు-పాయింట్ (P2P) యాక్టివేషన్ ట్రాన్స్ఫర్లు. | నెమ్మదైన InfiniBand/Ethernet నెట్వర్క్లతో కనెక్ట్ అయిన బహుళ సర్వర్ నోడ్ల్లో స్కేల్ చేయడం. |
- డేటా పారాలెలిజం & ZeRO / FSDP. స్టాండర్డ్ డేటా పారాలెలిజంలో, ప్రతి GPU మోడల్ యొక్క పూర్తి కాపీని ఉంచుతుంది, దీంతో మెమరీ వృథా అవుతుంది. ఆధునిక ఫ్రేమ్వర్క్లు ZeRO (Zero Redundancy Optimizer) లేదా PyTorch FSDP (Fully Sharded Data Parallel) ఉపయోగిస్తాయి; ఇవి పరామితులు, గ్రేడియెంట్స్ మరియు ఆప్టిమైజర్ స్టేట్స్ను అన్ని GPUల్లో షార్డ్ చేసి, ప్రతి లేయర్ వెయిట్స్ను కంప్యూటేషన్ కోసం సరిగ్గా సమయానికి గేదర్ చేస్తాయి.
- టెన్సర్ పారాలెలిజం (ఇంట్రా-లేయర్). భారీ ఫీడ్-ఫార్వర్డ్ మ్యాట్రిక్స్ మల్టిప్లై Y = XWను నకిలీ చేయకుండా, టెన్సర్ పారాలెలిజం Wని GPUల్లో కాలమ్-వారీగా విభజిస్తుంది (W = [W_1, W_2]). ప్రతి GPU అవుట్పుట్లో తన సగం భాగాన్ని ఏకకాలంగా లెక్కించి, హై-స్పీడ్ NVLink (H100ల్లో 900 GB/s) ద్వారా పాక్షిక ఫలితాలను మార్పిడి చేసుకుంటుంది.
- పైప్లైన్ పారాలెలిజం (ఇంటర్-లేయర్). లేయర్లు 1–8 GPU 1పై, లేయర్లు 9–16 GPU 2పై, ఇలా ఉంటాయి. ముందు లేయర్లు పూర్తయ్యే వరకు వేచి ఉండి తదుపరి GPUలు నిష్క్రియంగా కూర్చోకుండా ("పైప్లైన్ బబుల్"ను నివారించడానికి), ఫ్రేమ్వర్క్లు ప్రతి శిక్షణ బ్యాచ్ను చిన్న మైక్రో-బ్యాచ్లుగా విభజిస్తాయి; దీంతో అన్ని GPUలు అసెంబ్లీ-లైన్ తీరులో బిజీగా ఉంటాయి.
3. క్వాంటైజేషన్ (GPTQ, AWQ) మరియు ఆన్-ద-ఫ్లై డీక్వాంటైజేషన్ కెర్నెల్స్
ఇన్ఫరెన్స్ సమయంలో (టోకెన్లను ఒక్కొక్కటిగా జనరేట్ చేసేటప్పుడు), లార్జ్ లాంగ్వేజ్ మోడళ్లు కంప్యూట్ బౌండ్ కాకుండా మెమరీ-బ్యాండ్విడ్త్ బౌండ్గా ఉంటాయి. ఒక్క టోకెన్ జనరేట్ చేయడానికే VRAM నుండి 70 బిలియన్ల 16-బిట్ పరామితులను (140 GB) లోడ్ చేయడం వల్ల Tensor Cores మెమరీ ట్రాన్స్ఫర్ల కోసం వేచి ఉంటాయి. క్వాంటైజేషన్ వెయిట్స్ను 16-బిట్ ఫ్లోట్స్ నుండి 4-బిట్ ఇంటిజర్లకు (INT4) కుదించి, మెమరీ సైజు, ట్రాన్స్ఫర్ సమయం రెండింటిని దాదాపు 4× తగ్గిస్తుంది.
- GPTQ (Hessian కాలిబ్రేషన్ ద్వారా పోస్ట్-ట్రైనింగ్ క్వాంటైజేషన్).
- 16-బిట్ వెయిట్స్ను 4-బిట్ ఇంటిజర్లకు సాధారణంగా రౌండ్ చేయడం మోడల్ ఖచ్చితత్వాన్ని నాశనం చేస్తుంది. GPTQ ఒక చిన్న కాలిబ్రేషన్ డేటాసెట్ను మోడల్ గుండా పంపి, ప్రతి వెయిట్ ఎంత సున్నితంగా ఉందో కొలవడానికి సెకండ్-ఆర్డర్ గణితం (ఇన్వర్స్ Hessian మ్యాట్రిక్స్) ఉపయోగిస్తుంది.
- ఇది వెయిట్స్ను కాలమ్-బై-కాలమ్ క్వాంటైజ్ చేస్తుంది; ఒక వెయిట్ను రౌండ్ చేయడం వల్ల లోపం వచ్చినప్పుడల్లా, ఆ లోపాన్ని రద్దు చేయడానికి GPTQ ఆ రోలోని మిగిలిన క్వాంటైజ్ చేయని వెయిట్స్ను గణితపరంగా సర్దుబాటు చేస్తుంది.
- AWQ (యాక్టివేషన్-అవేర్ వెయిట్ క్వాంటైజేషన్).
- సుమారు 0.1% నుండి 1% వెయిట్ ఛానెల్స్ మిగిలిన వాటి కంటే చాలా ముఖ్యమైనవని పరిశోధకులు కనుగొన్నారు; ఎందుకంటే అవి పెద్ద యాక్టివేషన్ విలువలను గుణిస్తాయి.
- ఆ క్లిష్టమైన వెయిట్స్ను 16-బిట్లోనే ఉంచడం (ఇది గందరగోళమైన, నెమ్మదైన మిక్స్డ్-ప్రెసిషన్ మెమరీ లేఅవుట్లను సృష్టిస్తుంది) కాకుండా, AWQ ఆ ముఖ్యమైన వెయిట్ ఛానెల్స్ను క్వాంటైజేషన్కు ముందు పైకి స్కేల్ చేసి, రన్టైమ్లో సంబంధిత ఇన్పుట్ యాక్టివేషన్లను క్రిందికి స్కేల్ చేస్తుంది; ఇది వెయిట్స్లో 100%ను ఏకరీతి 4-బిట్ ఫార్మాట్లో ఉంచుతూనే ఖచ్చితత్వాన్ని కాపాడుతుంది.
- కస్టమ్ CUDA కెర్నెల్స్ ఎలా ఆన్-ద-ఫ్లై డీక్వాంటైజ్ చేస్తాయి (W4A16).
- GPUలు 16-బిట్ యాక్టివేషన్ (FP16)ను 4-బిట్ ఇంటిజర్ వెయిట్ (INT4)తో నేరుగా గుణించలేవు. బదులుగా, ప్రత్యేక ఇన్ఫరెన్స్ కెర్నెల్స్ (Marlin లేదా ExLlama వంటివి) W4A16 (4-బిట్ వెయిట్స్, 16-బిట్ యాక్టివేషన్లు) ఎగ్జిక్యూషన్ చేస్తాయి:
- 1. కుదించిన HBM రీడ్: కెర్నెల్ నెమ్మదైన గ్లోబల్ VRAM నుండి ప్యాక్ చేసిన 4-బిట్ వెయిట్స్ను (ఒకే 32-బిట్ ఇంటిజర్ లోపల ఎనిమిది INT4 విలువలు ప్యాక్ చేయబడి ఉంటాయి) లోడ్ చేస్తుంది, దీంతో మెమరీ బ్యాండ్విడ్త్ వినియోగం 4× తగ్గుతుంది.
- 2. రిజిస్టర్-లెవెల్ అన్ప్యాకింగ్: GPU యొక్క అత్యంత వేగవంతమైన రిజిస్టర్లలో, CUDA కెర్నెల్ వేగవంతమైన బిట్వైజ్ షిఫ్ట్లను (>>) మరియు బిట్మాస్క్లను (&) ఉపయోగించి INT4 ఇంటిజర్లను అన్ప్యాక్ చేసి, నిల్వ చేసిన scale/zero-point కారకాలను అన్వయించి వాటిని తక్షణం FP16 విలువలుగా మారుస్తుంది.
- 3. తక్షణ Tensor Core గణితం: తాజాగా అన్ప్యాక్ చేసిన FP16 వెయిట్స్, FP16 యాక్టివేషన్లతో పాటు నేరుగా Tensor Coresలోకి పంపబడతాయి; విస్తరించిన 16-బిట్ వెయిట్స్ను ఎప్పుడూ తిరిగి VRAMకు వ్రాయవద్దు.