Dubai, United Arab Emirates, 6 March 2025: DeepSeek-R1 671B, the best open source reasoning model in the market, is now available on SambaNova Cloud running at speeds of 198 tokens/second/prompt. DeepSeek showed the world how to reduce the training costs for building reasoning models, but inference with GPUs has remained a challenge until today when SambaNova showed how a new hardware architecture with RDUs can achieve better inference performance. These speeds have been independently verified by Artificial Analysis and you can sign up for SambaNova Cloud today to try it in our playground.
Developers who are looking to use this model via the API on the SambaNova Cloud Developer Tier can sign up today for our waitlist. We will be slowly rolling out access over the coming weeks as we rapidly scale out capacity for this model.
About DeepSeek-R1 (the real deal, not distilled)
DeepSeek-R1 caught the world by storm, offering higher reasoning capabilities at a fraction of the cost of its competitors and being completely open sourced. This groundbreaking model, built on a Mixture of Experts (MoE) architecture with 671 billion parameters, showcases superior performance in math and reasoning tasks, even outperforming OpenAI's o1 on certain benchmarks.
SambaNova is a US based company that runs the model on our RDU hardware in US data centers. Companies can also choose to work with SambaNova to deploy our hardware and the DeepSeek model on-premise in their own data centers for maximum data privacy and security. This is unlike the service run by the company DeepSeek (not the model), which runs their cloud service on GPUs, without providing any controls for data privacy.
Unlike the 70B distilled version of the model (also available today on the SambaNova Cloud Developer tier), DeepSeek-R1 uses reasoning to completely outclass the distilled versions in terms of accuracy. As a reasoning model, R1 uses more tokens to think before generating an answer, which allows the model to generate much more accurate and thoughtful answers. For example, it was able to reason and determine how to improve the efficiency of running itself (Reddit), which is not possible without reasoning capabilities.
100X the Global Inference Compute of DeepSeek-R1
There is no shortage of demand for R1 given its performance and cost, but given that DeepSeek-R1 is a reasoning model that generates more tokens during run time, developers unfortunately today are compute constrained to get enough access to R1 because of the inefficiencies of the GPU. GPU inefficiency is one of the main reasons why DeepSeek had to disable their own inference API service.
SambaNova RDU chips are perfectly designed to handle big Mixture of Expert models, like DeepSeek-R1, thanks to our dataflow architecture and three-tier memory design of the SN40L RDU. This design allows us to optimally deploy these types of models using just one rack to deliver large performance gains instead of the 40 racks of 320 GPUs that were used to power DeepSeek’s inference. To learn more about the RDU and our unique architectural advantage, read our blog.
Thanks to the efficiency of our RDU chips, SambaNova expects to be serving 100X the global demand for the DeepSeek-R1 model by the end of the year. This makes SambaNova RDU chips the most efficient inference platform for running reasoning models like DeepSeek-R1.
Improve Software Development with R1
Check out demos from our friends at Hugging Face and BlackBox showing the advantages of coding significantly better with R1. In CyberCoder, BlackBox is able to use R1 to significantly improve the performance of coding agents, which is one of the primary use cases for developers using the R1 Model.
سامبا نوفا تطلق أسرع منصة في العالم لنموذج ديب سيك للذكاء الاصطناعي
دبي، الإمارات العربية المتحدة، 6 مارس 2025: أطلقت سامبا نوفا، الشركة المتخصصة في حلول
الذكاء الاصطناعي التوليدي والتي تطور النماذج الأسرع والرقائق الأكثر تقدماً في هذا المجال، أسرع
منصة لتشغيل نموذج ديب سيك (R1 671B) للذكاء الاصطناعي في العالم، حيث حققت هذه المنصة
أسرع أداء وفقاً للدراسات التي أجرتها مؤسسة تحليلات الذكاء الاصطناعي المستقلة (Artificial
Analysis).
ويعتبر نموذج ديب سيك (R1 671B) أفضل نموذج مفتوح المصدر للاستدلال في مجال الذكاء
الاصطناعي، وقد أصبح النموذج متوفراً عبر منصة "سامبا نوفا كلاود" بسرعات تصل إلى 198 رمزاً
في الثانية لكل موجه. وقد أحدث ديب سيك طفرة تقنية في العالم حيث أظهر أن بالإمكان تدريب نماذج
الاستدلال بكلفة أقل بكثير مما هو متوفر في السوق اليوم. وقد تم الاعتماد في عمليات الاستدلال في
كثير من الأحيان على وحدات معالجة الرسومات (GPU)، الأمر الذي شكل تحدياً كبيراً، وقد عملت
سامبا نوفا على توفير بديل أفضل عبر بنية تعتمد على وحدات (RDU) لتحقيق أداء أفضل في
الاستدلال.
ويمكن للمطورين الذين يرغبون في استخدام هذا النموذج عبر واجهة برمجة التطبيقات (API) ضمن
فئة التسجيل اليوم في قائمة الانتظار، حيث ستقوم الشركة بتوفير الوصول تدريجياً خلال الأسابيع
القادمة مع التوسع السريع في القدرة الاستيعابية لهذا النموذج.
ومنذ إطلاقه، أحدث نموذج ديب سيك R1 ضجة كبيرة عالمياً، حيث قدّم قدرات استدلال أعلى بتكلفة
أقل بكثير من منافسيه، مع كونه مفتوح المصدر بالكامل. يعتمد هذا النموذج الثوري على نهج متقدم في
تعلم الآلة يعتمد على تقسيم مهمة التعلم إلى مجموعة من "الخبراء" المتخصصين (Mixture of
Experts) ويضم 671 مليار معامل، مما يجعله متفوقاً في مهام الرياضيات والاستدلال بحيث يتفوق
على نموذج (OpenAI's o1) في بعض الاختبارات.
وشركة سامبا نوفا هي شركة أمريكية تقوم بتشغيل نماذج الذكاء الاصطناعي على بنية تعتمد على
وحدات (RDU) لتحقيق أداء أفضل في الاستدلال داخل مراكز البيانات في الولايات المتحدة، كما يمكن
لها أن تدعم الشركات الأخرى الراغبة بنشر أجهزتها وتشغيل نموذج ديب سيك محلياً داخل مراكز
البيانات الخاصة بتلك الشركات، مما يضمن أعلى مستويات الأمان والخصوصية للبيانات. وتتميز سامبا
نوفا بذلك عن الخدمة السحابية التي تقدمها شركة ديب سيك (وليس النموذج نفسه)، والتي تعتمد على
وحدات معالجة الرسومات (GPU) دون توفير أي ضوابط لخصوصية البيانات.
يعتمد نموذج ديب سيك (R1) على الاستدلال بشكل مكثف اعتمادا على عدد هائل من المعامِلات أثناء
المعالجة قبل توليد الإجابة، مما يسمح له بتقديم إجابات أكثر دقة وعمقاً.
ويشهد نموذج ديب سيك الجديد (R1) طلباً هائلاً نظراً لأدائه العالي وتكلفته المنخفضة، ويعاني
المطورون حاليا من قيود حسابية بسبب عدم كفاءة وحدات معالجة الرسومات (GPU). ويُعد هذا أحد
الأسباب الرئيسية التي دفعت شركة ديب سيك إلى تعطيل خدمة واجهة برمجة التطبيقات (API)
للاستدلال الخاصة بها.
وفي المقابل، تتيح رقائق (RDU) التي تطورها شركة سامبا نوفا التعامل مع نماذج الذكاء الاصطناعي
من نوع (Mixture of Experts) مثل نموذج ديب سيك الجديد بكفاءة عالية، وذلك بفضل بنية
البيانات المتدفقة (Dataflow Architecture) والتصميم الفريد للذاكرة ثلاثية المستويات في منصة
سامبا نوفا كلاود (SN40L)، مما يتيح تشغيل هذا النموذج بكفاءة عالية، فعلى سبيل المثال، يمكن
استخدام رف واحد فقط من الرقائق التي تطورها شركة سامبا نوفا بدلاً عن 40 رفاً يحتوي كل منها
على 320 وحدة معالجة رسومات لتشغيل وظيفة الاستدلال في نموذج ديب سيك.
وتتيح شركة سامبا نوفا عبر رقائق (RDU) توفير تجهيزات حوسبية تبلغ 100 ضعف الطلب العالمي
على نموذج ديب سيك الجديد (R1) بحلول نهاية العام الحالي، مما يجعل هذه الرقائق أكثر منصات
الاستدلال كفاءة لتشغيل نماذج الاستدلال للنموذج الجديد.
-انتهى-