フロー図
Share
PAD＋Excel キャプチャ動画生成 ― 全体フロー 1枚まとめ
依頼 → 許可 → 録画とPAD作成 → 実行 → 編集 → QA・納品。ミス時の戻り先と、ファイルの置き場所まで1枚に。
処理判断止める・やり直すファイル・成果物合格・完成
丸数字のチップ（1・2・3…）が工程内の順番です。「↩ ③」＝その番号の工程まで戻る、という意味。赤は「止めて、やり直す」ルート。
A全体フロー：依頼から納品まで正常ルートは ① → ⑥
①依頼と仕様「何を作るか」を1つのファイルに固定する
1
自然言語の依頼
2
依頼に必ず入れる3点
・作りたいPAD操作の内容
・使うスライド資料、Excel
・許可ポップアップの表示可否
3
project-brief.yaml
案件の正本：目的・画面条件
成果物・合格条件をここで固定
②事前確認と許可触る前に環境と許可を確定。ダメなら1件も入力しない
1
事前確認OK？
PAD・Excel・保存先
固定モニター100%
2
許可ポップアップ
表示＝人が許可
非表示＝無人設定を照合
3指定どおり
対象ウィンドウ一致？
プロセス・タイトル
矩形・最前面を照合
4一致
許可を確定
ここから物理入力OK
NO
画面・UIA・設定を保存して補正
host profile（パス・PAD版・倍率）
↩ ② 事前確認からやり直す
不一致・拒否
入力0件で停止
拒否・閉じる・timeout・不一致
■ 1クリックもせず人の確認へ
③録画とPAD作成録画しながら、PADのアクションを1件ずつ安全に積む
1
固定モニターで録画開始
events.jsonl 記録開始
2
flow_scenario.json
アクション列・変数・値
3
PAD共有ドライバ
UIA検索＋可視入力
4
アクション追加ループ
検索→入力→保存→確認
5
全アクション完了？
次あり＝4へ戻る
6完了
PADフロー完成
※ 1件ごとに何をしているかは下段 B。
④失敗実演と成功実行台本どおりに一度失敗させ、直して成功させる
1
ExpectedTotal＝14,000
意図した不一致を実演
2
値を 14,300 に修正
台本上の直し方を見せる
3
成功ルートを再実行
4
注文書_*.xlsx
合計 14,300円
5
録画停止
⑤編集とスライド生録画とスライドを1本の動画に組み立てる
1
編集素材をそろえる
・生録画＋操作イベント（work/capture/）
・スライドPNG 5枚（PPTXから・各4秒）
2
timeline.json
採用区間・差替え・マスクを決める
3
FFmpegで合成
filtergraph・encode log を残す
⑥QAと納品3つのゲートを全部PASSしたものだけ出す
1
3ゲートすべてPASS？
動画：黒画面・fps・全編decode
Excel：合計14,300円
映り込み：タスクバー・通知
2YES
outputs/ に確定
最終MP4＋Excel
qa-report・deliverable-manifest
3
docs/ に記録
実測時間・前回比較・設計判断
NO
映り込み・画面
該当区間だけ短尺で再録
↩ ⑤ 編集へ
NO
編集・encode
カット・マスク・再encode
↩ ⑤ 編集へ
NO
PAD操作
共有ドライバ修正＋回帰テスト
↩ ③ 録画とPAD作成へ
B③の中身：PAD共有ドライバが1アクションを積むまで「何をするか（案件ごと）」と「Windows上でどう動かすか（共通）」を分ける
1
flow_scenario.json
案件ごとの操作内容
2
adapter.py
JSONを共通命令へ変換
3
pad_create_flow.py
PAD固有の手順を組立て
4
操作区間の許可あり？
NOなら物理入力を拒否
開始イベントも残さない
5YES
pad_visible_input.py
低層入力でも許可を再確認
▼ ここから1アクションずつ繰り返す（どれか1つでもNGなら即停止）
1
対象窓が前面？
2
UIA要素が一意？
3
追加画面を開く
変数・コンボ・値を入力
保存してキャンバスへ配置
4
If／Else の配置
一意かつ内側300px？
5
期待状態を読み戻せた？
6
次のアクションあり？
あり＝1へ戻る
なし＝完成 → ④へ
▼ NGだった時（勝手に進めず、まず証拠を残す）
1
即時停止して証拠を残す
画面・UIA tree・window一覧
events・時刻・ログ
2
実際には追加済み？
画面の状態で判定する
結果 A
追加済み
ログ差を注記し、重複させず次のアクションから再開
結果 B
未追加・原因が既知
同じ操作を1回だけ再試行 → UIA検索へ戻る
結果 C
未追加・未知／曖昧
UIA較正＋共有ドライバ修正 → pad/tests 回帰テスト → 安全な先頭から再開
Cミスを検出したら：止める → 残す → 分ける → 最小で戻す原因ごとに「どこまで戻すか」があらかじめ決まっている
1
異常・不一致を検知
2
物理入力を即停止
対象ウィンドウを固定
3
証拠を保存
画面・UIA tree・window一覧
events・時刻・ログ
4
原因はどれ？
下の5つへ切り分ける
台本上の失敗
14,000円の不一致は仕様
そのまま失敗映像に使う
↩ ④ 14,300へ直して続行
PAD操作・UIA
UIA timeout・配置不明
追加済みか未追加かで分ける
↩ B ドライバ内部の復旧へ
環境・許可・Excel
許可を再照合／更新通知を閉じる
固定モニター100%／既存XLMAINを確認
↩ ② 事前確認へ
映像・編集・encode
映り込み＝短尺で再録
秒数・カット＝timeline
黒画面・codec＝再encode
↩ ⑤ 編集へ
未知・危険
原因が特定できない
自動再試行はしない
■ 人が確認するまで停止
D置き場所と共有：どの工程が、どこに何を出すか案件差＝JSON／PC差＝host profile／共通処理＝共有基盤に分ける
案件フォルダ（1案件＝1フォルダ）pad-excel-order-total-.../
①project-brief.yaml案件の正本（目的・画面条件・合格条件）
③demo/flow_scenario.jsonPADアクション列・変数・値
③work/capture/生録画・events・短尺再録
④projects/注文書テンプレート／生成Excel（14,300円）
⑤assets/ → build/ → slides/編集可能PPTX → 挿入PNG 5枚
⑤work/edit/timeline・filtergraph・encode log
⑥qa/UIA・Excel・全編動画・代表フレームの証拠
⑥outputs/最終MP4・deliverable-manifest
⑥docs/実測時間・前回比較・設計判断
案件の外（他PCと共有する側）Gitで共有する小容量ロジック
共desktop_capture_common/許可・録画・入力・events
共pad/pad_driver_common/adapter・UIA・可視入力
共pad/tests/回帰テスト
共scenario.schema.json共有JSONの正本
PChost profileパス・PAD版・モニター・倍率
✕共有しない生動画・生成Excel・cache・秘密
案件差 ＝ scenario JSONPC差 ＝ host profileツール差 ＝ 個別ドライバ録画・入力・許可 ＝ 共通基盤
実測の出典：同案件のベンチマーク記録（初回50分29秒 → 改善後22分54秒、完成動画4分50秒）。
