講義 6 - トランスフォーマーと大規模言語モデル (LLM)

原作者：Luis R Soenksen

オリジナルソース：https://www.youtube.com/embed/2nu-csmHvSc

この講義では、ChatGPT、Claude、Gemini、Llama や多くのマルチモーダル基盤モデルなどの最新の AI システムを強化する深層学習アーキテクチャであるトランスフォーマーと大規模言語モデル (LLM) について説明します。まず、自己回帰、自動エンコーディング、エンコーダ/デコーダ アーキテクチャなどの主要な言語モデル ファミリを紹介し、BERT や GPT などの初期の変換モデルから今日の大規模マルチモーダル システムに至るまでの LLM の急速な進化を追跡します。次に講義では、スケーリング、命令チューニング、強化学習、検索拡張、およびシステム エンジニアリングが、単にモデル サイズを増やすだけでなく、LLM の機能をどのように変革したかを検証します。講義の後半では、Transformer アーキテクチャの直感的かつ厳密なウォークスルーを提供し、トークンの埋め込み、位置エンコーディング、セルフ アテンション、Query-Key-Value (QKV) ベクトル、スケーリングされたドット積アテンション、マルチヘッド アテンション、残差接続、レイヤー正規化、フィードフォワード ネットワーク、および GPT スタイルのトランスフォーマー ブロックについて説明します。視覚的な例と数学的定式化を通じて、学生はトランスフォーマーがどのようにコンテキスト表現を構築し、次のトークンの予測を実行するかについて工学レベルの理解を深めます。最後に、同じアーキテクチャが自然言語を超えて生物医学テキスト、電子医療記録 (EHR)、生物学的配列、医用画像、グラフ、マルチモーダルな医療アプリケーションにどのように拡張されるかを探り、幻覚、モデルの位置合わせ、安全性、解釈可能性、医療と世界保健における責任ある展開などの実際的な考慮事項について議論します。 #AI #人工知能 #機械学習 #ディープラーニング #トランスフォーマー #大言語モデル #LLM #GPT #ChatGPT #注意メカニズム #自己注意 #生成AI #基礎モデル #自然言語処理 #NLP #生物医学AI #医療AI #ヘルスケアAI #臨床AI #電子健康記録 #バイオインフォマティクス #計算生物学 #ビジョントランスフォーマー#マルチモーダルAI #AIE教育 #大学院コース #AIIn医学 #グローバルヘルス #医療教育 #機械学習コース