Die Entwicklung innovativer KI-Modelle ist ein wichtiger Schritt in der Forschung und Entwicklung von künstlicher Intelligenz. Im Juni 2021 stellten Forscher der Beijing Academy of Artificial Intelligence (BAAI) Wu Dao 2.0 vor, ein neuronales Netzwerk-Modell, das 10-mal größer als GPT-3 ist und nun das weltweit größte neuronale Netzwerk-Modell darstellt.
Wu Dao 2.0 verfügt über 1,75 Billionen Parameter, was es zum größten KI-Modell der Welt macht. Es übertrifft GPT-3 um das Zehnfache und bricht den zuvor im Mai aufgestellten Größenrekord von Googles Switch Transformer KI-Sprachmodell um 150 Mrd. Parameter. Das Modell wurde mittels 4,9 TB Text- und Imagedaten trainiert, was das GPT-3 Trainings-Set im Vergleich erschreckend klein aussehen lässt.
Wu Dao 2.0 ist ein multimodales Modell, das von Bild- und Text-Daten lernt und komplexe Aufgaben, die auf beiden Datentypen basieren, flexibel bearbeiten kann. Es beherrscht Fähigkeiten wie die Verarbeitung von natürlicher Sprache, Texterzeugung, Bilderkennung und Bilderzeugung und kann sogar 3D-Strukturen von Proteinen vorhersagen.
FastMoE ist eine Open-Source-Architektur, die Googles Mixture of Experts (MoE) ähnelt. Sie kam für Googles Switch Transformer zum Einsatz und reduziert die nötige Rechenleistung, da je nach verarbeiteter Information immer nur bestimmte Abschnitte des Modells aktiv sind.
Wu Dao 2.0 ist ein wichtiger Schritt in der Entwicklung von künstlicher Intelligenz und demonstriert den Status Quo von Chinas AI-Strategie. Es ist ein Signal für Chinas Ehrgeiz, weltweit führend in der KI-Entwicklung zu werden. Für die europäische und amerikanische Politik sowie Industrie ist es ein Warnsignal, um nicht restlos ins Hintertreffen zu geraten.
Die Entwicklung von Wu Dao 2.0 ist eine Herausforderung für Europa, um seine Position in der KI-Entwicklung zu stärken. Es ist erforderlich, dass Europa seine AI-Position stärkt, um nicht zurückzufallen.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.