主要ポイント
- トークン効率:クエリあたりの消費量は884,000トークンからわずか1,160トークンまで減少し、複雑なタスクにおける精度は50%向上した。
- 技術基盤:Skill-Aware Decomposition(SAD)に基づくSkillWeaverフレームワークは、70億パラメータのQwen2.5モデル上に構築されている。
- 運用上の制約:プランナーはランタイムエラーに対応しておらず、処理途中でAPI呼び出しが失敗すると実行プロセス全体が停止する。
情報ノイズの問題
言語モデルが数千もの外部ツールを統括しなければならない場合、力任せの手法は通用しない。利用可能な関数ライブラリの全体を単一のプロンプトに詰め込むと、処理負荷が限界を超えてしまう。実験環境では、エージェントが選択肢を「認識」するためだけに884,000トークンという数値に達した事例が確認されている。この処理のボトルネックを、SkillWeaverは静的なアプローチから動的なアプローチへと転換することで、根本的に解消しようとしている。
分解ロジックの仕組み
システムの核心にあるのがSkill-Aware Decompositionである。全体を読み込む代わりに、アルゴリズムはユーザーの要求をノード構造の実行グラフへと分解する。個々のサブタスクに対しては、実際に関連性のあるツールのみを取得し、背景ノイズを排除する仕組みだ。MCPエコシステムから抽出した2,209個の実ツールを用い、300件のマルチステップリクエストによる独自ベンチマークでテストを実施した結果は明確だった。消費量は1,160トークンまで減少し、精度は50%上昇した。ここで注目すべき技術的知見が浮かび上がる。大規模モデルは、SADのような構造的なガイドが与えられない状態に置かれると、タスクを微細かつ余分なステップへと断片化させる傾向があり、結果として処理性能をむしろ悪化させてしまうのだ。
ソースコードは非公開、テンプレートは公開
上海の研究チームによって開発されたこのプロジェクトは、完全なソースコードをまだ公開していない。ただし、使用されているプロンプトテンプレートはすでに公開されており、LangChainなどの標準ライブラリや独自のPythonスクリプトを用いて再現可能である。とはいえ、無視できない構造的な欠落が残っている。プランナーにはランタイムエラーへの対応機能が存在しない。中間段階の処理でAPI呼び出しが失敗した場合、自動復旧の仕組みがないまま論理連鎖全体が停止してしまう。
