tech

Firmen wollen oft die Klugheit eines riesigen KI-Modells, aber das Tempo und die geringen Kosten eines kleinen, also trainieren sie ein kompaktes Modell, das das große nachahmt.

Wie heißt diese Trainingstechnik?

Q: Wie heißt diese Trainingstechnik?

Wissensdestillation. Bei der Wissensdestillation erzeugt ein großes 'Lehrer'-Modell Ausgaben, mit denen ein kleineres 'Schüler'-Modell trainiert wird, sein Verhalten nachzuahmen, und so viel Können bei einem Bruchteil der Größe erfasst. So erben viele schnelle, günstige Chatbots Fähigkeiten von weit größeren und teureren Modellen.

Wissensdestillation ✓
Verschlüsselung
Übertaktung

Wissensdestillation
Bei der Wissensdestillation erzeugt ein großes 'Lehrer'-Modell Ausgaben, mit denen ein kleineres 'Schüler'-Modell trainiert wird, sein Verhalten nachzuahmen, und so viel Können bei einem Bruchteil der Größe erfasst. So erben viele schnelle, günstige Chatbots Fähigkeiten von weit größeren und teureren Modellen.

Wissensdestillation trainiert ein kleineres, effizienteres "Schüler"-Modell darauf, die Ausgaben und das Verhalten eines größeren, leistungsfähigeren "Lehrer"-Modells nachzuahmen, wodurch einen Großteil des erlernten Könnens des Lehrers effektiv in eine kompakte Form übertragen wird. Das Schülermodell lernt aus den Antworten des Lehrers über viele Beispiele hinweg und übernimmt Muster der Argumentation und des Stils, die aus dem Nichts zu erlernen weit teurer wäre, wodurch Unternehmen schnelle, günstige Werkzeuge einsetzen können, die trotz ihrer geringeren Größe beeindruckend gut abschneiden.

Verschlüsselung ist ein Sicherheitsverfahren, das Daten so verwürfelt, dass nur befugte Parteien sie lesen können, ein völlig anderes Konzept als die Übertragung von Fähigkeiten zwischen Modellen. Übertakten bedeutet, Hardware schneller laufen zu lassen als ihre Standardeinstellung, um die Leistung zu steigern, ein Hardwaretrick ohne Bezug dazu, wie ein Modell trainiert wird.

Das ist ein Hauptgrund, warum viele heute verfügbare schnelle, günstige KI-Chatbots bei Alltagsaufgaben trotzdem beeindruckend gut abschneiden, da sie effektiv destilliertes Wissen von weit größeren, teureren Modellen erben, die für jede einzelne Nutzeranfrage direkt zu betreiben unpraktikabel wäre.

▶ Quration Play

tech

Wie heißt diese Komprimierungstechnik?Wie nennt man KI-Modelle, die mehrere Eingabearten zugleich verarbeiten?Welches Unternehmen betreibt diesen vollständig fahrerlosen kommerziellen Robotaxi-Dienst?Welche Stufennummer ist auf der bekannten SAE-Skala die höchste und steht für volle Automatisierung?Wie heißt der humanoide Roboter, den der Autohersteller Tesla vorgestellt hat?Welches Unternehmen war Vorreiter dieses medizinischen Drohnenlieferdienstes in Afrika?Amazons Lagerroboter gingen aus dem Kauf welches Roboterherstellers im Jahr 2012 hervor?Wie heißt der weitverbreitete OP-Roboter von Intuitive Surgical?Was ist der wichtigste Vorteil dieser Laser-Jätroboter für die Landwirte?Wie heißt diese laserbasierte Technik zur Abstandsmessung üblicherweise?Wie lautet der gängige Begriff für diese Roboter, die sich den Arbeitsplatz mit Menschen teilen?Welche Art Sensor verleiht Robotern diesen Tastsinn und das Gespür für den Greifdruck?

Quration — Quration Play