AIに大量の仕分けを頼むと何が起きる？検証で分かった「正確さ」の正体
Claude Codeで大量データを処理するとき、事前にコマンド実行を許可し、grep -cで集計させるのが最適。終了コードが0でも件数が空の可能性があるため、必ずプログラムで結果を突き合わせる。
AIに1,831件のデータ仕分けを依頼した際、正確な結果が得られたのはAIが自ら数えず、シェルコマンド等の道具を駆使した時でした。一方で道具を制限すると、処理が完了したように見えても件数が返ってこないケースが発生。AIの回答を鵜呑みにせず、プログラムで結果を突き合わせる検証の重要性が示されています。
元の記事：AIに1831件の仕分けを頼んだら10回とも1件も間違えなかった。道具を取り上げた3回は答えが返らなかった（Zenn・ぬまーんのZenn記事・10月2日）