Lokale KI

Ich teste, welche Modelle sich lokal sinnvoll betreiben lassen, unter anderem Qwen-Modelle. Die Hauptfrage: Wie viel Hardware braucht man für welche Modellgröße, und ab wann lohnt es sich?

Nächster Schritt: Heim-KI

Darauf aufbauend eine KI für zu Hause: Mikrofone im Raum, ein Wake-Word, und dahinter je nach Frage ein lokales Modell auf meinem Server oder ein Cloud-Modell.