AnthropicのBatches APIでLLM利用コストを50%削減する実装

大量のユーザーレビューを分類するような、即時性を求めないバッチ処理を実装する前に、Message Batches APIのcreateメソッドでリクエストを配列化し、コストを抑えた運用へ切り替える。

リアルタイム性が不要な大量のLLMリクエストを、非同期処理のBatches APIへ移行する手順を解説。TypeScriptでの実装から、ポーリングによる完了待ち、Prompt Cachingとの併用によるさらなるコスト最適化までを網羅している。