إسأل الخبير الآن
الأسئلة المجابة | نسبة الرضا 98.4%
اختصاصي حاسوب
أرغب في إعداد بيئة تطوير ذكاء اصطناعي محلية على...
أرغب في إعداد بيئة تطوير ذكاء اصطناعي محلية على محطة عمل تحتوي على بطاقة NVIDIA RTX 4090 بسعة 24GB VRAM، و64GB DDR5 RAM، ونظام تشغيل Ubuntu 22.04 LTS. لدي ثلاثة أسئلة تقنية:
1. ما هو إصدار CUDA Toolkit الأنسب للاستخدام: 12.4 أم 12.6؟ وما الفروقات الجوهرية بينهما من حيث الاستقرار والتوافق مع المكتبات الحديثة مثل PyTorch وTensorFlow؟
2. هل يُفضَّل استخدام NVIDIA Container Toolkit مع Docker على بيئة Conda المجردة (Bare-metal) لتشغيل نماذج LLaMA-3 70B المضغوطة بتقنية GPTQ 4-bit؟ وما مزايا وعيوب كل خيار من حيث الأداء وسهولة الإدارة والعزل؟
3. ما هو الاستهلاك المتوقع لذاكرة VRAM وعدد الرموز في الثانية (tokens/sec) عند تشغيل الاستدلال (Inference) على نموذج LLaMA-3 70B GPTQ 4-bit؟ وكيف تختلف هذه الأرقام عند إجراء الضبط الدقيق (Fine-tuning) باستخدام محولات LoRA على نفس الجهاز؟
إطرح سؤالك
إجابة الخبير:
إسأل الخبير
الأسئلة المجابة | نسبة الرضا 98.4%
- 100% ضمان الرضا
- انضم الى 8 مليون من العملاء الراضين
المحادثات تتم ضمن هذه البنود
