Obwohl Apple den Einstieg in den KI-Bereich zunächst verzögerte, folgte Weltweite Apple-EntwicklerkonferenzDas Unternehmen hat sich voll und ganz der KI verschrieben. Apple Intelligence wird KI-Lösungen für fast alle Apple-Produkte anbieten, und das Unternehmen hört hier nicht auf. Stattdessen geht Apple nun weiter in Richtung KI-Sprachmodelle.
Letzten Donnerstag veröffentlichte Apple DCLM-Dasar-7BSprachmodell mit 7 Milliarden Parametern, in Hugging Face. Dieses Modell ist Teil des DataComp for Language Models (DCLM)-Benchmarks, einer Initiative zur Verbesserung der Qualität von Trainingsdatensätzen für Sprachmodelle.
Außerdem: Möchten Sie GPT-4o mini ausprobieren? 3 Möglichkeiten, auf intelligentere, günstigere KI-Modelle zuzugreifen – und 2 davon sind kostenlos
Mit 7 Milliarden Parametern ist dieses Modell mit beliebten Modellen wie Llama 2, Gemma und anderen vergleichbar. Beim Test in MMLU-Benchmarks (Massive Multitask Language Understanding) mit beliebten Modellen ähnlicher Größe schnitt DCLM-Baseline-7B konkurrenzfähig ab und übertraf sogar Mistral 7B, wie unten zu sehen ist.
Während seine Leistung beeindruckend ist, ist eines der Dinge, die am meisten an DCLM-Baseline-7B hervorstechen, dass das Modell vollständig Open Source ist, mit „offenen Daten, offenen Gewichtsmodellen, offenem Trainingscode“, wie Vaishaal Shankar, a Forschungswissenschaftler bei Apple.
Wir haben unser DCLM-Modell in Huggingface veröffentlicht! Nach unserem besten Wissen ist dieses Modell das leistungsstärkste Open-Source-Modell (offene Daten, offenes Gewichtsmodell, offener Trainingscode) 1/5
– Vaishaal Shankar (@Vaishaal) 18. Juli 2024
Viele haben Apple für diesen Ansatz gelobt, da er es anderen Forschern und Entwicklern ermöglicht, Modelle zu entwickeln und weitere Fortschritte auf diesem Gebiet zu erzielen. An diesem Modell wurde trainiert DCLM-GRUNDLAGEN Daten, kombiniert mit Sternencode-Generator Und Berge von Beweisen2 Daten, um Kenntnisse in anderen Aufgaben wie Codierung und Mathematik zu erlangen.
Außerdem: Alle iPhone-Modelle, die auf Apples iOS 18 aktualisiert werden können (und welche nicht)
Neben der Veröffentlichung von DCLM-Baseline-7B, Modellgewichten, Trainingscode und Datensatz hat Apple dem Paket auch eine erweiterte Version mit 1,4 Milliarden Parametern beigefügt.
Dies ist nicht das erste Mal, dass Apple KI-Modelle verwendet, nachdem es bereits andere Modelle wie Ferret-UI, ein multimodales Large Language Model (MLLM), und Reference Resolution As Language Modeling (ReALM), ein Konversations-KI-System, veröffentlicht hat. Im Herbst, wenn iOS 18 und Apple Intelligence verfügbar sind, können wir Apple im KI-Bereich konkurrieren sehen und den potenziellen Erfolg seiner KI-Bemühungen besser einschätzen.
