10.05.2023
OpenAI
Sprachmodelle erklären Neuronen in Sprachmodellen
Autor: Bernhard Lauer
OpenAI.com
OpenAI verwendet GPT-4, um automatisch Erklärungen für das Verhalten von Neuronen in großen Sprachmodellen zu schreiben und diese Erklärungen zu bewerten.
Große Sprachmodelle (LLMs) wie ChatGPT sind leistungsfähiger geworden und werden breiter eingesetzt, aber selbst OpenAI weiß immer noch nicht genau, wie sie intern funktionieren. So könnte es beispielsweise schwierig sein, anhand ihrer Ergebnisse zu erkennen, ob sie voreingenommene Heuristiken verwenden oder Täuschungen begehen. Die Erforschung der Interpretierbarkeit zielt darauf ab, durch einen Blick in das Innere des Modells zusätzliche Informationen aufzudecken.
Ein einfacher Ansatz zur Erforschung der Interpretierbarkeit besteht darin, zunächst zu verstehen, was die einzelnen Komponenten (Neuronen und Aufmerksamkeitsköpfe) tun. Bisher mussten Menschen die Neuronen manuell untersuchen, um herauszufinden, welche Merkmale der Daten sie darstellen. Dieser Prozess lässt sich nicht gut skalieren: Es ist schwierig, ihn auf neuronale Netze mit Dutzenden oder Hunderten von Milliarden von Parametern anzuwenden. OpenAI schlägt ein automatisiertes Verfahren vor, das GPT-4 verwendet, um Erklärungen des Verhaltens von Neuronen in natürlicher Sprache zu erstellen und zu bewerten und sie auf Neuronen in einem anderen Sprachmodell anzuwenden.
Diese Arbeit ist Teil der dritten Säule des Ansatzes von OpenAI für die Alignment-Forschung: OpenAI will die Alignment-Forschungsarbeit selbst automatisieren. Ein vielversprechender Aspekt dieses Ansatzes ist, dass er mit dem Tempo der KI-Entwicklung mitwächst. Je intelligenter und hilfreicher zukünftige Modelle als Assistenten werden, desto bessere Erklärungen werden wir finden.
Wie der neue Ansatz von OpenAI funktioniert können Sie auf dieser Seite nachlesen.
Schule
Handy-Verbot im Klassenzimmer bringt nichts
Gibt es grundlegende Probleme in der Klasse, bestehen sie laut Wissenschaftlern der Brock University auch bei einem Smartphone-Verbot im Klassenzimmer weiterhin fort.
>>
Forschung
Empfindlicher Drogensensor mit Nanotechnik
Forscher haben einen hochempfindlichen Drogensensor auf Basis von Nanotechnik entwickelt. Das mobil einsetzbare Gadget der University of Pittsburgh findet selbst winzige Spuren von Fentanyl.
>>
Sponsored Post
Amazon Connect und GenAI – Superpower für den Kundenservice
Unternehmen benötigen Cloud-, Digital- und KI-Technologien, um die Customer Experience (CX) zu optimieren. SoftwareOne und AWS helfen Unternehmen, Kunden proaktiv individuell zugeschnittene Erlebnisse zu bieten. So wächst die Kundenbindung über alle Kanäle hinweg und fördert gleichzeitig die Leistungsfähigkeit und das Engagement der Mitarbeiter.
>>
Swisscom
Neue Cyberbedrohungen auf dem Radar
Der neue Cyber Security Threat Radar von Swisscom zeigt die Angriffsmethoden und das Vorgehen von Cyberkriminellen. Er beleuchtet neu auch die Entwicklungen in den Bereichen "Disinformation & Destabilisation", "Manipulated Generative AI" und "Unsecure IoT/OT-Devices".
>>