複数の生成AIモデルを共通のAPIで利用できるようにする、総合アクセスプラットフォームのOpenRouterが、100T規模のトークン利用分析のレポートを公開していた。

PDF 36ページ分。Preferred Networksの岡野原CEOのまとめがわかりやすい。

個人的に興味のあった部分のメモと感想

  • 用途に応じてモデルサイズの規模を切り替える、というノウハウが徐々に溜まってきているように思う
  • プログラミングや翻訳などでは生成AIの利用は広がるのみ。致命的な欠陥が報告されない限りは、利用が落ちることはないだろう
  • ツール利用としても生成AIが定着しつつある。RPAと呼ばれていたものは、エージェントプラットフォームに統合されていくのではないか
  • モデルが利用され続けるには、定期的なアップデートが必要。一方で、生成AIに関連するプロダクトでは、ユーザーが一度課題を解決する体験を経て、そのまま使い続けるという「シンデレラのガラスの靴」現象が観測される

シンデレラのガラスの靴現象は、同じOpenRouterの分析をさらに掘り下げる形で、a16zのブログで言及されていた。

モデルごとにコホートでユーザーの離脱を見ている。すごく簡単にまとめると、いち早く市場に出て機能を改善しながらユーザーの定着を目指すのではなく、課題を解決するまでさまざまなプロダクト(=生成AIのモデル)を試し、一度バシッと課題を解決できると、そのまま使い続ける。靴がピッタリ合う人を探し、見つかったらその人に決める、ということで、シンデレラのガラスの靴現象、と呼んでいる。

これは、先日メモした、エージェント実装主導型開発とつながる話だと思う。