エグゼクティブ・サマリー
- デモ動画は性能の証拠にならない。 撮影条件・撮り直し回数・人の介入が映らないため、買い手は動画を見るほど慎重になる。性能は「試験条件×試行回数×成功数」で示す。
- 試行回数が少ない成功率は幅で読む。 20回連続成功でも、統計的に言えるのは「失敗率はおおむね15%以下」までである。失敗率1%以下を主張するには約300回の連続成功が要る。
- 評価は条件の網羅から始める。 対象物・置かれ方・照明・背景・周辺の人の動きなどを変動軸として書き出し、学習に使った条件と使っていない条件を分けて試験する。
- 失敗は分類して数える。 認識の誤り、把持の失敗、動作の途中停止、安全停止、タイムアウトを分けて記録すれば、改善の打ち手と顧客への説明が同時に得られる。
- モデル更新は回帰試験を通してから出す。 固定した試験セットで旧版と新版を比べ、どの条件でも悪化していないことを確認する仕組みが、継続課金の信頼を支える。
フィジカルAI、すなわち学習によって動作を獲得するロボットは、従来のティーチング型ロボットと性能の示し方が根本的に違う。ティーチング型は「教えた通りに動くか」を確かめればよかったが、学習型は「教えていない状況でどう振る舞うか」が本当の性能である。ところが現在、多くの売り込みはデモ動画と「成功率9割以上」といった数字に頼っており、その数字がどの条件で何回試した結果なのかは示されていない。買い手の現場で再現しなかったとき、失われるのはその一社の信頼だけではなく、フィジカルAIという分野全体への期待である。本稿は、ロボットメーカー・AI開発企業・SIerが、自社のフィジカルAIの性能を顧客に誠実に示すための評価設計を扱う。フィジカルAIの全体像はフィジカルAI入門を、導入企業側の実証設計はPoCの設計と評価を併せて参照されたい。