Ich habe meine Codierungstests mit der kostenlosen Version von Perplexity.ai durchgeführt – Folgendes ist passiert

Ich habe die Codierungsfunktionen vieler generativer KI-Tools für ZDNET getestet – und dieses Mal ist Perplexity.ai an der Reihe.

Ratlosigkeit fühlt sich an wie eine Mischung aus einer Suchmaschine und einem KI-Chatbot. Als ich Perplexity fragte, worin der Unterschied zu anderen generativen KI-Tools besteht, antwortete der Bot, dass er Echtzeit-Informationszugriff nutzt und das Web jeden Tag indiziert. Benutzer können ihre Suche eingrenzen, indem sie Perplexity bitten, sich auf eine Quelle oder Plattform zu konzentrieren.

Außerdem: So verwenden Sie ChatGPT zum Schreiben von Code: Was es für Sie tun kann und was nicht

Die kostenlose Version von Perplexity ist recht begrenzt. Diese Version verwendet das GPT-3.5-Modell von OpenAI für die Analyse, erlaubt nur fünf Abfragen pro Tag und unterstützt zwar das Hochladen von Dokumenten, diese Uploads sind jedoch auf drei pro Tag begrenzt.

Die Pro-Version von Perplexity kostet 20 $/Monat. Die Version ermöglicht unbegrenzte „schnelle“ Suchen, 600 Pro-Suchen pro Tag und eine Auswahl an KI-Modellen. Sie können zwischen GPT-4o, Claude 3, Sonar Large (LLaMa 3) und anderen wählen. Die Pro-Version bietet außerdem API-Guthaben im Wert von 5 $/Monat.

Wir haben uns gegen die Pro-Version entschieden und die kostenlose Version für einen ersten Test der Programmierfähigkeiten von Perplexity ausgeführt. Ich habe Tests dieser Codierung gegen KI mit unterschiedlichen Ergebnissen durchgeführt. Wenn Sie mitmachen möchten, zeigen Sie in Ihrem Browser auf „So testen Sie die Codierungsfunktionen eines KI-Chatbots – und das können Sie auch“. Dort finden Sie alle von mir implementierten Standardtests, eine Erklärung ihrer Funktionsweise und Einzelheiten dazu, worauf Sie achten müssen in den Ergebnissen.

Außerdem: Wird KI Programmierjobs übernehmen oder Programmierer zu KI-Managern machen?

Schauen wir uns nun die Ergebnisse der einzelnen Tests genauer an und vergleichen sie mit früheren Tests Claude 3,5 SonettMicrosoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced und ChatGPT.

1. Schreiben Sie ein WordPress-Plugin

Diese Herausforderung erfordert mehrere Dinge. Zunächst wird die KI gebeten, eine Benutzeroberfläche zu erstellen, um Zeilen einzugeben, die gemischt (aber nicht dedupliziert) werden sollen. Beim Testen muss die KI dann eine Schaltfläche erstellen, die nicht nur die Liste mischt, sondern auch sicherstellt, dass doppelte Elemente so angezeigt werden, dass sie in der resultierenden Liste nicht nahe beieinander liegen.

Bisher haben die meisten KIs, mit Ausnahme von Meta Code Llama, ziemlich gute Benutzeroberflächen erstellt. Einige sind interessanter als andere, aber sie funktionieren alle gut.

Außerdem: Programmieren Sie mit generativer KI schneller, aber seien Sie sich dabei der Risiken bewusst

Allerdings erzeugt nur ChatGPT (3.5, 4 und 4o) eine korrekt zufällige Ausgabe. Die meisten anderen KIs zeigen einfach Schaltflächen an, die beim Anklicken nichts bewirken.

Ratlosigkeit funktioniert. Es erstellt eine genaue Benutzeroberfläche gemäß den Spezifikationen und die Schaltfläche „Randomisieren“ trennt erfolgreich doppelte Zeilen.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Verwirrung: Schnittstelle: gut, Funktionalität: gut
• Claude 3.5 Sonett: Schnittstelle: gut, Funktionalität: fehlgeschlagen
• ChatGPT GPT-4o: Schnittstelle: gut, Funktionalität: gut
• Microsoft Copilot: Schnittstelle: ausreichend, Funktionalität: fehlgeschlagen
• Meta-KI: Schnittstelle: ausreichend, Funktionalität: fehlgeschlagen
• Metacode-Aufruf: Völliger Misserfolg
• Google Gemini Advanced: Schnittstelle: gut, Funktionalität: fehlgeschlagen
• ChatGPT 4: Schnittstelle: gut, Funktionalität: gut
• ChatGPT 3.5: Schnittstelle: gut, Funktionalität: gut

2. Schreiben Sie die String-Funktion neu

Dieser Test verbessert die Validierungsfunktion, die Dollar und Cent prüft.

Mein ursprünglicher Code war falsch und erlaubte nur ganzzahlige Dollars, aber keine Cents. Ich habe es herausgefunden, als ein Benutzer einen Fehlerbericht eingereicht hat. Ich habe anfangs den falschen Code in ChatGPT eingegeben, wodurch es gelungen ist, die Funktion ordnungsgemäß umzuschreiben, um Dollarbeträge und zwei Ziffern rechts vom Dezimalpunkt zuzulassen.

Auch Verwirrung besteht diesen Test.

Der resultierende Code hätte strenger sein können, aber es funktionierte. Falls die vom Benutzer bereitgestellte Zeichenfolge nur Nullen enthält, entfernt die Perplexity-Implementierung diese alle. Um dies zu kompensieren, prüft Perplexity zunächst, ob Nullen vorhanden sind.

Außerdem: KI auf die Softwareentwicklung anwenden? Hier finden Sie alles, was Sie wissen müssen

Dieser Ansatz ist praktikabel, aber die von Perplexity generierten regulären Ausdrücke können so geschrieben werden, dass sie diese Variationen berücksichtigen. Dies ist eine einfache Implementierungsmöglichkeit und viele qualifizierte Programmierer werden sich für einen der beiden Wege entscheiden, sodass der Ansatz von Perplexity akzeptabel ist.

Der Perplexity-Code testet die übermittelten Daten ordnungsgemäß, um sicherzustellen, dass sie dem Dollar- und Cent-Format entsprechen. Der Code wandelt dann die Zeichenfolge in eine Zahl um. Der Code prüft außerdem, ob die analysierte Zahl gültig und nicht negativ ist.

Insgesamt erzeugt Perplexity soliden Code. Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Verwirrung: Gelingen
• Claude 3.5 Sonett: Scheitern
• ChatGPT GPT-4o: Gelingen
• Microsoft Copilot: Scheitern
• Meta-KI: Scheitern
• Metacode-Aufruf: Gelingen
• Google Gemini Advanced: Scheitern
• ChatGPT 4: Gelingen
• ChatGPT 3.5: Gelingen

3. Ärgerliche Fehler gefunden

Es gab einen Fehler in meinem Code, der mich verwirrte, also habe ich ChatGPT um Hilfe gebeten. Wie sich herausstellte, war die Ursache des Problems nicht intuitiv erkennbar, weshalb ich sie übersehen habe.

Der Fehler wegen fehlender Parameter erfordert Kenntnisse über die Funktionsweise des WordPress-Frameworks. Ich habe den Fehler nicht gefunden, weil PHP anscheinend darauf hindeutete, dass das Problem in einem Teil des Codes lag, obwohl das Problem tatsächlich darin bestand, wie der Code durch WordPress-spezifische Vorgänge überging.

Perplexity findet das Problem und diagnostiziert die richtige Lösung.

Außerdem: Kann KI ein Teamplayer in der kollaborativen Softwareentwicklung sein?

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Verwirrung: Gelingen
• Claude 3.5 Sonett: Gelingen
• ChatGPT GPT-4o: Gelingen
• Microsoft Copilot: Scheitern
• Meta-KI: Gelingen
• Metacode-Aufruf: Scheitern
• Google Gemini Advanced: Scheitern
• ChatGPT 4: Gelingen
• ChatGPT 3.5: Gelingen

4. Schreiben Sie ein Skript

Dieser Abschlusstest analysiert die Breite der Wissensbasis der KI. Bei diesem Test muss Code generiert werden, der Kenntnisse über das Dokumentobjektmodell von Chrome, AppleScript, und ein Mac-Skripttool eines Drittanbieters namens Keyboard Maestro erfordert.

Perplexity scheint Keyboard Maestro nicht zu kennen, daher schreibt es nicht die notwendigen Aufrufe an die Skriptsprache, um den Wert einer Variablen abzurufen.

Außerdem: Mehr als nur Programmieren: KI bringt eine neue Generation von Berufsbildern hervor

Perplexity machte auch den gleichen Fehler wie Claude 3.5 Sonnet, nämlich eine Zeile AppleScript-Code zu generieren, die bei der Ausführung eine Syntaxfehlermeldung erzeugte. Dieser Fehler zeigt einen Mangel an Wissen darüber an, wie AppleScript Groß- und Kleinbuchstaben ignoriert und wo es beim Vergleich zweier Werte sowohl Groß- als auch Kleinbuchstaben einer Zeichenfolge berücksichtigt.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Verwirrung: Scheitern
• Claude 3.5 Sonett: Scheitern
• ChatGPT GPT-4o: Es hat funktioniert, allerdings mit einigen Zweifeln
• Microsoft Copilot: Scheitern
• Meta-KI: Scheitern
• Metacode-Aufruf: Scheitern
• Google Gemini Advanced: Gelingen
• ChatGPT 4: Gelingen
• ChatGPT 3.5: Scheitern

Gesamtergebnis

Im Folgenden sind die Gesamtergebnisse der vier Tests aufgeführt:

Insgesamt ist Perplexity ein Erfolg. Ich denke, die KI könnte den vierten Test nicht bestehen, da ChatGPT 3.5 fehlgeschlagen ist und die kostenlose Version von Perplexity das GPT-3.5-Modell verwendet.

Dieses Ergebnis hat mich überrascht, da Microsofts Copilot eigentlich auch die KI-Engine von OpenAI nutzen sollte, aber Copilot scheiterte in fast jeder Hinsicht. Perplexity spiegelt die GPT-3.5-Ergebnisse wider, was Sinn macht, da die kostenlose Version GPT-3.5 verwendet.

Lassen Sie mich wissen, wenn Sie sehen möchten, wie Perplexity Pro funktioniert. Wenn ich genügend Anfragen bekomme, melde ich mich für die Yet Another Monthly AI Fee an und führe einige Tests durch.

Haben Sie die kostenlose Version oder die Pro-Version von Perplexity ausprobiert? Lass es uns unten in den Kommentaren wissen.

Sie können meine täglichen Projektaktualisierungen in den sozialen Medien verfolgen. Unbedingt abonnieren mein wöchentlicher Update-Newsletterund folge mir auf Twitter/X @DavidGewirtzauf Facebook auf Facebook.com/DavidGewirtzauf Instagram auf Instagram.com/DavidGewirtzund auf YouTube unter Quelle: YouTube.com/DavidGewirtzTV.