Preis: $0.05506 0.0571%
Marktwert: $8.64B 0.4153%
Umsatz (24h): 390.6M 0%
Dominanz: 0.4153%
Price: $0.05506 0.0571%
Marktwert: $8.64B 0.4153%
Umsatz (24h): 390.6M 0%
Dominanz: 0.4153% 0.4153%
  • Preis: $0.05506 0.0571%
  • Marktwert: 8.64B 0.4153%
  • Umsatz (24h): 390.6M 0%
  • Dominanz: 0.4153% 0.4153%
  • Preis: $0.05506 0.0571%
Titelseite > 视频 > Wie KI tatsächlich funktioniert (es geht nur darum, das nächste Wort zu erraten)

Wie KI tatsächlich funktioniert (es geht nur darum, das nächste Wort zu erraten)

freigeben: 2026/11/01 22:00 lesen: 0

Ursprünglicher Autor:Stack Zero

Originalquelle:https://www.youtube.com/embed/oT6WzDMksgI

Wie funktioniert KI eigentlich? Jede Antwort eines Chatbots wie ChatGPT, Claude oder Gemini wird Token für Token geschrieben, wobei ein großes Sprachmodell das nächste Wort errät. Dieser visuelle Erklärer folgt einer Eingabeaufforderung durch die gesamte Maschine. Es beginnt im Jahr 1948, als Claude Shannon einen Satz bildete, indem er ein Buch durchblätterte und Wort für Wort erriet. Beinahe hätte es funktioniert, dann ist es auseinandergefallen. Heute ist das Ziel dasselbe, aber die Maschine kann auf alles zurückblicken, was sie gelesen hat. Wir folgen „Der erste Mensch, der den Mond betrat…“ von Tokens über Vektoren, durch Aufmerksamkeit und 96 Ebenen bis hin zu einer Liste von Wahrscheinlichkeiten und dem einen Wort, das ausgewählt wird. Dann schauen wir uns das Training an, warum Modelle zuversichtlich klingen, wenn sie falsch liegen, und wie weit Vorhersagen gehen können. In diesem Video: • Was ein großes Sprachmodell (LLM) ist und was „Parameter“ sind • Token: wie Text in Stücke geschnitten und in Zahlen umgewandelt wird • Vektoren und Worteinbettungen (Bengio, 2003) • Achtung: Abfragen, Schlüssel und Werte, visuell erklärt (Vaswani et al., 2017) • Softmax, Wahrscheinlichkeiten und Temperatur: wie der nächste Token ausgewählt wird • Training, Feinabstimmung und menschliches Feedback • Warum KI Halluzinationen, Kontextfenster und Wissensgrenzen KAPITEL Wie Modelle zur Vorhersage des nächsten Wortes tatsächlich Text erzeugen. Sehen Sie sich die Logik hinter probabilistischen Sprachmodellen und Aufmerksamkeit an. Die meisten Menschen gehen davon aus, dass KI-Modelle wie Menschen denken, aber in Wirklichkeit handelt es sich um statistische Maschinen. In diesem Film wird erläutert, wie Modelle zur Vorhersage des nächsten Wortes die Wahrscheinlichkeit des nächsten Tokens basierend auf Trainingsdaten berechnen. Wir untersuchen die ursprünglichen Experimente von Claude Shannon und wie sie sich zur Architektur moderner Systeme entwickelten. Über die einfache Wahrscheinlichkeit hinaus untersuchen wir Wortvektoren und Aufmerksamkeitsmechanismen, um zu zeigen, wie Maschinen Kontext verarbeiten. Sie erfahren, warum diese Systeme manchmal unsinnige Ausgaben erzeugen und wie sie Sprache in den mathematischen Raum abbilden. Das Verständnis dieser Grundprinzipien ist für jeden, der mit großen Sprachmodellen baut oder diese erforscht, von entscheidender Bedeutung. Stapel Null. Komplexe Systeme. Klare Erklärungen. Echte Wirkung. Abonnieren Sie wöchentliche Aufschlüsselungen der Technologie hinter moderner Software. 0:00 Ein Experiment zum Erraten von Wörtern aus dem Jahr 1948 0:40 Heutige Chatbots: Erraten immer noch das nächste Wort 1:41 Was für ein großes Sprachmodell ist 2:02 Token und die Vorhersageschleife 2:41 Warum Shannons Satz auseinanderfiel 2:56 Shannons menschliches Ratespiel (1951) 3:32 Wörter zählen: n-Gramm 3:57 Wortvektoren (2003) 4:19 Aufmerksamkeit kommt an (2014) 4:41 Transformers: „Attention Is All You Need“ (2017) 5:07 Im Modell: eine Eingabeaufforderung, Schritt für Schritt 5:15 Schritt 1: Tokens 5:38 Schritt 2: Vektoren 6:01 Schritt 3: Aufmerksamkeit (Abfrage, Schlüssel, Wert) 6:49 Aufmerksamkeitsköpfe 7:04 96 Schichten und Feed-Forward-Netzwerke 7:33 Schritt 4: Wahrscheinlichkeiten und Softmax 7:48 Schritt 5: Auswahl des nächsten Tokens (Greed, Sampling, Temperatur) 8:14 Die Schleife: ein Token nach dem anderen 8:33 Training: Shannons Spiel im Maßstab 9:16 Vom Prädiktor zum Assistenten 9:34 Eine Schleife, viele Produkte 9:45 Warum KI halluziniert 10:18 Kontextfenster, Grenzwerte und Quellen 10:37 Zusammenfassung: die ganze Maschine 10:59 Wie weit kann eine Vorhersage gehen? Die Zahlen auf dem Bildschirm dienen der Veranschaulichung, es sei denn, es wird eine Quelle angegeben. QUELLEN • Shannon (1948), A Mathematical Theory of Communication: https://people.csail.mit.edu/dmoshkov/courses/codes/shannon1948.pdf • Shannon (1951), Prediction and Entropy of Gedrucktes Englisch: https://sites.socsci.uci.edu/~rfutrell/teaching/itl-davis/readings/shannon1951prediction.pdf • Bengio et al. (2003), A Neural Probabilistic Language Model: https://www.jmlr.org/papers/v3/bengio03a.html • Bahdanau, Cho & Bengio (2014), Neural Machine Translation by Jointly Learning to Align and Translate: https://arxiv.org/abs/1409.0473 • Vaswani et al. (2017), Aufmerksamkeit ist alles, was Sie brauchen: https://arxiv.org/abs/1706.03762 • Brown et al. (2020), Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 • Meta (2024), Einführung in Meta Llama 3: https://ai.meta.com/blog/meta-llama-3/ • OpenAI-Hilfe, Was sind Token und wie zählt man sie: https://help.openai.com/en/articles/4936856 • Geva et al. (2021), Transformer Feed-Forward Layers Are Key-Value Memories: https://arxiv.org/abs/2012.14913 • Ouyang et al. (2022), Sprachmodelle trainieren, um Anweisungen mit menschlichem Feedback zu befolgen: https://arxiv.org/abs/2203.02155 • OpenAI (2025), Warum Sprachmodelle halluzinieren: https://openai.com/index/why-lingual-models-hallucinate/ • Olsson et al. (2022), In-context Learning and Induction Heads: https://transformer-Circuits.pub/2022/in-context-learning-and-induction-heads/index.html Stack Zero erklärt die Systeme hinter alltäglicher Technologie von Grund auf. #AI #LLM #HowAIWorks

Ausgewählte Themen

  • Dogecoin-Wal-Aktivität
    Dogecoin-Wal-Aktivität
    Erhalten Sie mit unserer umfassenden Analyse die neuesten Erkenntnisse über die Aktivitäten der Dogecoin-Wale. Entdecken Sie Trends, Muster und die Auswirkungen dieser Wale auf den Dogecoin-Markt. Bleiben Sie mit unserer Expertenanalyse auf dem Laufenden und behalten Sie auf Ihrem Weg zur Kryptowährung die Nase vorn.
  • Dogecoin-Mining
    Dogecoin-Mining
    Beim Dogecoin-Mining werden der Dogecoin-Blockchain neue Transaktionsblöcke hinzugefügt. Miner werden für ihre Arbeit mit neuen Dogecoins belohnt. Dieses Thema enthält Artikel zum Dogecoin-Mining, einschließlich der Anleitung zum Mining von Dogecoin, der besten Mining-Hardware und -Software und der Rentabilität des Dogecoin-Minings.
  • Start des Spacex-Raumschiffs
    Start des Spacex-Raumschiffs
    Dieses Thema enthält Artikel zu SpaceX-Raumschiffstarts, einschließlich Startdaten, Missionsdetails und Startstatus. Bleiben Sie mit dieser informativen und umfassenden Ressource über die neuesten Starts von SpaceX Starship auf dem Laufenden.
  • König der Meme: Dogecoin
    König der Meme: Dogecoin
    Dieses Thema enthält Artikel zu den beliebtesten Memes, darunter „The King of Memes: Dogecoin“. Memecoin hat sich zu einem dominanten Akteur im Kryptoraum entwickelt. Diese digitalen Assets sind aus verschiedenen Gründen beliebt. Sie treiben die innovativsten Aspekte der Blockchain voran.