29.06.2023
Open Source
ChatGPT-ähnliche KI in C# auf dem eigenen PC
Autor: Bernhard Lauer
blog.maartenballiauw.be
Entwickler Maarten Balliauw zeigt in einem Blogbeitrag, was man tun muss, um eine eigene ChatGPT-ähnliche KI in C# aufsetzen. Das beste dabei: Alle aufwändigen Vorarbeiten dafür hat die Open-Source-Community schon erledigt.
Einige Monate nach der Veröffentlichung von ChatGPT durch OpenAI hat Meta das ursprünglich nur für Forschungszwecke gedachte Modell LLaMA veröffentlicht. Allerdings hat jemand die Gewichte von LLaMA geleakt, was zu einer Menge Aktivität im Internet geführt hat. Noch immer kann man das Modell an vielen Stellen herunterladen und es auf eigener Hardware verwenden. Sein Nachfahre Alpaca ist ein fein abgestimmtes LLaMA-Modell von Standford und Vicuna, ein weiteres, fein abgestimmtes LLaMA-Modell, daneben gibt es noch WizardLM und weitere.
Während ein Teil der Communtiy neue Modelle trainierte, arbeiteten andere daran, diese LLMs auf Verbraucherhardware laufen zu lassen. Georgi Gerganov veröffentlichte mit llama.cpp, eine C++-Implementierung, die das LLaMA-Modell (und Derivate) auf einer CPU ausführen kann. Sie kann eine Vielzahl von Modellen ausführen: LLaMA, Alpaca, GPT4All, Vicuna, Koala, OpenBuddy, WizardLM, und andere. Daneben gibt es auch Wrapper für eine Reihe von Sprachen:
- Python: abetlen/llama-cpp-python
- Go: go-skynet/go-llama.cpp
- Node.js: hlhr202/llama-node
- Ruby: yoshoku/llama_cpp.rb
- .NET (C#): SciSharp/LLamaSharp
LlamaSharp ist eine .NET-Bindung von llama.cpp und bietet APIs für die Arbeit mit den LLaMA-Modellen. Es funktioniert unter Windows und Linux und erfordert nicht, dass man sich mit der zugrunde liegenden llama.cpp beschäftigt. Für diese Lösung beschreibt Entwickler Maarten Balliauw in diesem Blogbeitrag, wie man sie einrichtet und benutzt, beispielsweise um sie als Programmier-Copilot einzusetzen.
VS Code Windows und Mac
Brauchbare Alternative
Das C# Dev Kit for Visual Studio Code könnte eine Alternative für Entwickler sein, die weiterhin macOS nutzen möchten. Unser Schwesterportal dotnetpro hat es auf den Prüfstand gestellt.
>>
Google I/O 2024
Google Gemini ermöglicht mehr Funktionen und Individualität
Der große Star bei der diesjährigen Google-Entwicklerkonferenz I/O war Gemini. Die KI-Technologie hält Einzug in diverse Anwendungen und bietet neue Möglichkeiten bei der Entwicklung und Nutzung bekannter und neuer Google-Apps.
>>
Konferenz
Microsoft Build vom 21. bis 23 Mai
Für die Build 2024 plant Microsoft ein umfangreiches Programm mit über 100 Sessions. Viele Neuigkeiten soll es geben - vor allem zum Thema Künstliche Intelligenz.
>>
Künstliche Intelligenz
OpenAI: „GPT-4o“ kann jetzt auch sprechen
Die Entwicklerfirma OpenAI hat das neue KI-Modell „GPT-4o“ vorgestellt. Dieses kann mit menschlicher Stimme mit Nutzern interagieren und auch zwischen verschiedenen Sprachen übersetzen.
>>