--- title: "Beschränkung von Anfangs-Tokens steigert Befolgung bei KI-Denkmodellen um bis zu 41 %, so Studie" description: "Forscher der Harvard University und der Cambridge Boston Alignment Initiative fanden heraus, dass das Blockieren standardmäßiger Anfangs-Tokens und das Bereitstellen von Prompt-Beispielen die Befolgung von Anweisungen bei KI-Reasoning-Modellen um 34 bis 41 Prozentpunkte verbessert." author: "Blockblatt Redaktion" published: "2026-11-04T21:31:38.673Z" updated: "2026-11-04T21:31:38.674Z" category: "KI" language: "de" content_type: "editorial" canonical: "https://blockblatt.com/artikel/beschra-nkung-von-anfangs-tokens-steigert-befolgung-bei-ki-denkmodelle" tags: ["Künstliche Intelligenz", "KI", "OpenAI", "Machine Learning", "Forschung", "Reasoning"] --- # Beschränkung von Anfangs-Tokens steigert Befolgung bei KI-Denkmodellen um bis zu 41 %, so Studie > Redaktioneller Inhalt von Blockblatt. Forscher der Harvard University und der Cambridge Boston Alignment Initiative fanden heraus, dass das Blockieren standardmäßiger Anfangs-Tokens und das Bereitstellen von Prompt-Beispielen die Befolgung von Anweisungen bei KI-Reasoning-Modellen um 34 bis 41 Prozentpunkte verbessert. KI-Reasoning-Modelle greifen häufig standardmäßig auf dieselben Anfangssequenzen zurück und entwickeln so ein Gewohnheitsmuster, das ihre Steuerung erschwert. Doch kostengünstige Anpassungen während der Inferenz können deutlich verbessern, wie präzise sie Anweisungen befolgen. Die Ergebnisse wurden in einem 20-seitigen Forschungspapier mit dem Titel „The First Few Tokens Matter: Understanding Chain-of-Thought Controllability“ dargelegt, das am 29. Oktober 2026 unter der Kennung arXiv:2610.40939 auf arXiv veröffentlicht wurde. Verfasst wurde die Studie von dem Harvard-Studenten Hugh Van Deventer sowie Kollegen, die mit Harvard und der Cambridge Boston Alignment Initiative verbunden sind. Die Arbeit untersuchte das Chain-of-Thought-Reasoning – also den sichtbaren Notizblock-Text, der generiert wird, bevor ein Modell seine finale Antwort ausgibt – mit Fokus auf große Sprachmodelle wie die o1-Serie von OpenAI. Die Autoren identifizierten ein Phänomen namens Entropiekollaps, das bei den ersten Tokens auftritt, die unmittelbar nach dem einleitenden Thinking-Tag generiert werden. In Sprachmodellen repräsentieren Tokens Textblöcke oder Wortteile, während die Entropie die Vielfalt möglicher nächster Token-Auswahlen erfasst. Eine hohe Entropie spiegelt zahlreiche plausible Optionen wider, während eine niedrige Entropie zeigt, dass das Modell auf eine begrenzte Auswahl festgelegt ist. Beim Entropiekollaps stützen sich Modelle auf eine kleine Gruppe von Standard-Start-Tokens, die das nachfolgende Denken in gewohnte Muster zurücklenken und dabei gewünschte Stile oder Anweisungen außer Kraft setzen. Die Forscher untersuchten zwei zentrale Interventionen, die auf diese Startpositionen abzielen. Die erste Methode, das Prefilling, sieht vor, dass der Nutzer den Beginn der Reasoning-Sequenz vorgibt – selbst wenn es sich nur um ein einzelnes Token handelt –, anstatt dem Modell die Auswahl zu überlassen. Der zweite Ansatz sperrt standardmäßige Anfangs-Tokens und stellt In-Context-Beispiele bereit, die die gewünschte Denkstruktur veranschaulichen. Die Anwendung dieser Anpassungen steigerte die Befolgungsraten bei den untersuchten Modellen um 34 bis 41 Prozentpunkte. Die Befolgung maß dabei, wie oft die Argumentationsausgabe den vorgegebenen Prompt-Anweisungen entsprach. Die Verbesserungen fielen bei den verschiedenen Steuerungsaufgaben nicht einheitlich aus. Das Papier unterteilte die Steuerungsfähigkeiten in Hinzufügung (Addition), Stil (Style) und Unterdrückung (Suppression). Während die Steuerbarkeit von Hinzufügung und Stil – bei denen ein Modell aufgefordert wird, neue Details einzubinden oder seinen Tonfall zu ändern – deutliche Fortschritte zeigte, lieferten Unterdrückungsaufgaben, bei denen das Modell bestimmte Informationen weglassen sollte, schwankende Ergebnisse. Da Unterdrückung für Aufsichtsszenarien entscheidend ist, in denen bestimmte Inhalte vermieden werden müssen, wiesen die Autoren darauf hin, dass die Bewertung verschiedener Steuerungsfähigkeiten unter einem einzigen Gesamtwert ein Modell steuerbarer erscheinen lassen könnte, als es tatsächlich ist. --- Keine Anlageberatung. Kryptowerte sind hochvolatil; ein Totalverlust ist möglich. Veröffentlicht von Blockblatt. Originalfassung: https://blockblatt.com/artikel/beschra-nkung-von-anfangs-tokens-steigert-befolgung-bei-ki-denkmodelle