21st August 2024
Lesedauer: 3 Minuten
Phi-3 Mini mit ONNX als lokales Small Language Model nutzen
In diesem Blog-Post möchte ich die Vorbereitungen klären, die notwendig sind, um das Phi-3 Mini-Modell mithilfe von ONNX als lokales Small Language Model zu nutzen. Dazu entwickeln wir eine einfache .NET-Konsolenanwendung, die zeigt, wie man das Phi-3 Mini-Modell mit ONNX integriert.