AI エージェントが失敗する理由: 知っておくべき数学

原作者：Rahul Pandey

オリジナルソース：https://www.youtube.com/embed/sMMNXTmimJg

この AI エージェントのすべてのステップは、少なくとも 90% の時間で機能します。依然として 3 件に 1 件以上の請求書が失敗しています。このビデオでは、プレーン Python (LLM やフレームワークなし) で 12 ツールの請求書エージェントを最初からシミュレートし、10,000 回の実行をシミュレートして、すべてのツールが 90% の時間動作する場合でもエージェントが失敗する理由を調べました。私たちは、乗算の法則、それを打ち破る 2 つの独立の嘘 (悪い日と静かな国家中毒)、実際にそれを修正するもの、修正にかかる費用について説明します。表示される内容: - 信頼性が平均 96% のツールでも、依然として 1,000 件の請求書のうち 371 件が失われています - 1 つのツール (PDF 抽出) がすべての失敗の約 4 分の 1 を引き起こします - 「悪い日」には成功率が 9% 未満に低下します - 再試行で成功するまでの時間が 63% から 94% に増加しますが、沈黙の誤答が発生する可能性が高くなります - ベリファイアの追加: +0.7 ツールで 97% 正解、間違った台帳エントリが 25 分の 1 に減少章: 00:00 正常な請求書あたりのコール数 章: 00:00 はじめに 00:24 エージェントのワークフローとエージェント 04:15 完璧な世界のエージェントのシミュレーション 06:12 ツールがコイン投げになる 10:27 1 万枚の請求書のシミュレーション 11:32 乗法則 21:18 請求書が失敗する場所 27:00 嘘 #1: 悪い日のシミュレーション (相関関係のある失敗) 31:25 嘘 #2: サイレント状態ポイズニング37:58 反撃: 再試行とベリファイア 40:58 結論 #AIAgents #AgenticAI #BuildFromScratch #Agents #AI