NVIDIA WKN: 918422 ISIN: US67066G1040 Kürzel: NVDA Forum: Aktien Thema: Hauptdiskussion

Immer beim allzeithoch kaufen! Kann nie verkehrt sein. Nicht vergessen im Anschluss zu jammern

Was sagt ihr dazu? Aber gegen den neuen nvidia der ja kommen soll hat AMD dann wahrscheinlich wieder keine chance

Was sagt ihr dazu? Aber gegen den neuen nvidia der ja kommen soll hat AMD dann wahrscheinlich wieder keine chance

AMDs MI300X übertrifft NVIDIAs H100 bei LLM-Inferenz AMDs Flaggschiff-Beschleuniger MI300X wurde mit großer Spannung erwartet. Angesichts seiner unübertroffenen Rohspezifikationen bleibt die drängende Frage: Kann er NVIDIAs Hopper-Architektur bei realen KI-Workloads übertreffen? Wir können einige spannende erste Ergebnisse mit Ihnen teilen. Im vergangenen Monat haben TensorWave und MK1 eng zusammengearbeitet, um die Leistung der AMD-Hardware für KI-Inferenz freizusetzen. Zu Beginn konzentrierten wir uns auf Mixture of Expert (MoE)-Architekturen aufgrund ihrer Rechenleistung und Beliebtheit – sie werden insbesondere von Mistral, Meta, Databricks und X.ai für ihre leistungsstärksten Open-Source-LLMs verwendet. Die ersten Ergebnisse sind beeindruckend: Mit der Inferenzsoftware von MK1 erreicht der MI300X im Vergleich zum H100 SXM mit vLLM auf Mixtral 8x7B für einen realen Chat-Anwendungsfall einen um 33 % höheren Durchsatz. Obwohl das Software-Ökosystem von NVIDIA ausgereifter ist, ist klar, dass AMD bereits ein beeindruckender Konkurrent auf dem KI-Markt ist. Wenn man die Hardwareverfügbarkeit und die Kosten berücksichtigt, erweist sich der MI300X als attraktive Option für Unternehmen, die groß angelegte Inferenz in der Cloud ausführen..

Dann schauen wir in welche Richtung es geht ✌️