يطلق Alibaba نموذج الذكاء الاصطناعي الأكثر كفاءة QWEN3
المصدر: Htx
الوقت: 2025-09-12 06:33:34
وفقًا لـ Huobi HTX ، أصدرت Tongyi Qianwen من Alibaba من الجيل التالي Qwen3-Next ، وقد فتحت نماذج سلسلة QWEN3-NEXT-80B-A3B استنادًا إلى هذه البنية. بالمقارنة مع بنية نموذج MOE في QWEN3 ، فقد جعل هذا الهيكل التحسينات الأساسية التالية: آلية الانتباه الهجينة ، وهيكل MOE العالي ، وسلسلة من التحسينات التدريبية المستقرة والودية ، وآلية تنبؤ متعددة التحسن تعمل على تحسين كفاءة الاستدلال. استنادًا إلى الهيكل النموذجي لنموذج QWEN3-next ، قام Alibaba بتدريب نموذج QWEN3-NEXT-80B-A3B-Base ، والذي يحتوي على 80 مليار معلمة و 3 مليارات فقط يتم تنشيط المعلمة. يحقق هذا النموذج الأساسي أداءً مشابهًا أو حتى أفضل قليلاً لنموذج الكثافة QWEN3-32B ، وتكون تكلفة التدريب (ساعات GPU) أقل من عُشر QWEN3-32B فقط. إن إنتاجية الاستدلال في سياق أعلى من 32 ألفًا هو أكثر من عشرة أضعاف QWEN3-32B ، مما يحقق التدريب النهائي وفعالية التكلفة.