16.03.2021
TU Graz
Neuer Ansatz für energieeffiziente KI-Anwendungen
Autor: Bernhard Lauer
Forschungszentrum Jülich
Forscher der TU Graz haben eine neue Design-Methode für besonders energieschonende künstliche neuronale Netzwerke gezeigt, die mit extrem wenigen Signalen auskommen, und - ähnlich wie der Morse-Code - auch den Pausen zwischen den Signalen eine Bedeutung zuweisen.
Die meisten neuen Errungenschaften der Künstlichen Intelligenz (KI) erfordern sehr große neuronale Netze. Sie bestehen aus hunderten Millionen von Neuronen, die in mehreren hundert Schichten angeordnet sind, also sehr "tiefe" Netzstrukturen haben. Diese großen, tiefen neuronalen Netze verbrauchen im Computer sehr viel Energie. Besonders energieintensiv sind jene neuronalen Netze, die in der Bildklassifizierung (zum Beispiel Gesichts- und Objekterkennung) eingesetzt werden, da sie in jedem Zeittakt sehr viele Zahlenwerte mit großer Genauigkeit von einer Neuronenschicht zur nächsten senden müssen.
Der Informatiker Wolfgang Maass hat gemeinsam mit seinem Doktoranden Christoph Stöckl nun eine Design-Methode für künstliche neuronale Netzwerke gefunden, die den Weg zu einer energieeffizienten leistungsfähigen KI-Hardware (zum Beispiel Chips für Fahrassistenzsysteme, Smartphones und anderen Mobile Devices) ebnet. Die beiden Forscher des Instituts für Grundlagen der Informationsverarbeitung der TU Graz haben künstliche neuronale Netzwerke in Computer-Simulationen zur Bildklassifizierung derart optimiert, dass die Neuronen - ähnlich wie Neurone im Gehirn - nur relativ selten Signale aussenden müssen und eben diese Signale sehr einfach sind.
Die nachgewiesene Klassifizierungsgenauigkeit von Bildern mit diesem Design kommt trotzdem sehr nahe an den aktuellen Stand der Technik derzeitiger Bildklassifizierungstools heran.
Menschliches Gehirn als Vorbild
Maass und Stöckl ließen sich dabei von der Arbeitsweise des menschlichen Gehirns inspirieren. Dieses verarbeitet mehrere Billionen Rechenoperationen in der Sekunde, benötigt dafür aber nur circa 20 Watt. Möglich wird dieser geringe Energieverbrauch durch die zwischenneuronale Kommunikation mittels sehr einfacher elektrischer Impulse, sogenannter Spikes. Die Information wird dabei nicht nur durch die Anzahl der Spikes, sondern auch durch ihre zeitlichen variablen Muster kodiert. "Man kann sich das vorstellen wie einen Morse-Code. Auch die Pausen zwischen den Signalen übertragen Informationen", erklärt Maass.
Dass eine Spike-basierte Hardware den Energieverbrauch von Anwendungen mit neuronalen Netzen reduzieren kann, ist nicht neu. Dies konnte aber bisher nicht für die sehr tiefen und großen neuronalen Netze realisiert werden die man für wirklich gute Bildklassifikation benötigt.
In der Design-Methode von Maass und Stöckl kommt es nun bei der Informationsübertagung nicht nur darauf an, wie viele Spikes ein Neuron aussendet, sondern auch, wann das Neuron diese Spikes aussendet. Die Zeit beziehungsweise die zeitlichen Abstände zwischen den Spikes kodieren sich praktisch selbst und können daher sehr viel zusätzliche Information übertragen. "Wir zeigen, dass mit wenigen Spikes - in unseren Simulationen sind es durchschnittlich zwei - genauso viel Informationen zwischen den Prozessoren vermittelt werden können wie in energieaufwendiger Hardware", so Maass.
Mit den Ergebnissen liefern die beiden Informatiker der TU Graz einen neuen Ansatz für Hardware, die wenige Spikes und damit einen geringen Energieverbrauch mit State-of-the-Art-Performances von KI-Anwendungen verbindet. Die Ergebnisse könnten die Entwicklung von energieeffizienter KI-Anwendungen drastisch beschleunigen und werden unter anderem im Journal Nature Machine Intelligence beschrieben.
Forschung
KI macht Gebärdensprache zugänglicher
Ein KI-Tool der Universität Leiden für "Wörterbücher" erkennt Positionen und Bewegungen der Hände bei der Darstellung unterschiedlicher Gebärdensprachen.
>>
Galaxy AI
Samsung bringt KI auf weitere Smartphones und Tablets
Einige weitere, ältere Smartphone- und Tablet-Modelle von Samsung können mit einem Systemupdate jetzt die KI-Funktionen von Galaxy AI nutzen.
>>
Pilot-Features
Google Maps-Funktionen für nachhaltigeres Reisen
Google schafft zusätzliche Möglichkeiten, um umweltfreundlichere Fortbewegungsmittel zu fördern. Künftig werden auf Google Maps verstärkt ÖV- und Fußwege vorgeschlagen, wenn diese zeitlich vergleichbar mit einer Autofahrt sind.
>>
Codeerzeugung per KI
Code ist sich viel ähnlicher als erwartet
Eine Studie zeigt, dass einzelne Codezeilen zu 98,3 Prozent redundant sind, was darauf hindeutet, dass Programmiersprachen eine einfache Grammatik haben. Die Machbarkeit von KI-erzeugtem Code war also zu erwarten.
>>