コンテンツへスキップ

AI エージェントが手書きマーカーまで判読|派遣業の請求書業務 PoC で 71% 完全一致

2026年9月6日 by
AI エージェントが手書きマーカーまで判読|派遣業の請求書業務 PoC で 71% 完全一致
PR

環境プラント業界向けの技術者派遣事業を営むお客様(数十拠点・従業員数百名規模)で、marutto は請求書作成業務の AI 業務代行 PoC を実施しました。


派遣先メーカーごとに異なる業務ルールが担当者の頭の中で運用されている「属人化した請求業務」を、マルチモーダル対応(文字・画像・音声など複数種類のデータを同時に扱う機能)の社内 AI エージェントがどこまで再現できるか検証した取り組みです。


複数の派遣先を対象に、数十名規模の技術者の請求書を実発行請求書と突合した結果、PoC 対象全体で 71% が完全一致するところまで再現できました。差分となったケースはすべて、勤務表裏面の備考欄に手書きされたマーカーで理由が説明できるレベルまで到達しています。手書きの丸印・取り消し線・備考欄のマーカーまで視覚判読できることを実証した一方で、AI エージェント単独で最終的な請求書を作成できた件数は 0 件であること、恒常運用には勤怠・単価管理システムとのデータ連携整備が前提であることも切り分けています。

業種 環境プラント運転・維持管理業界向けの技術者派遣事業
企業規模 数十拠点・従業員数百名規模の中堅企業
プロジェクト主導 弊社の業務代行担当(PoC 実装リード)
対象者 派遣元の請求書作成担当者・経営層・管理職
対象業務 派遣先メーカー別の請求書時間項目の組み立て
導入サービス まるっと AI エージェント派遣
取り組み時期 2026 年 7 月
主な成果 複数の派遣先を対象とした PoC 全体で完全一致 71%・手書きマーカーの視覚判読を実証・不足要件を客観的に見える化


目次

  1. 1. 背景と課題:属人化した請求業務が業務継続リスクになっていた

  2. 2. 取り組み内容:3 資料 × マルチモーダル AI で「再現できるか」を検証

  3. 3. 具体的な工夫:手書きマーカーを読み取り、7 種類の書式に対応した

  4. 4. 成果:PoC 対象全体で 71% 完全一致、そして「AI 単独運用 0 件」を見える化した

  5. 5. 残課題と学び:不足を切り分けられたこと自体が PoC の成果

  6. 6. 今後の展開とお問い合わせ

  7. 7. よくある質問(FAQ)

1. 背景と課題:


属人化した請求業務が業務継続リスクになっていた

対象となった請求書作成担当者の業務負荷

お客様の請求書作成業務は、多数の派遣先メーカー・数十事業所にわたって派遣中の技術者の勤務時間を、メーカーごとに異なる計算式で組み立てる作業でした。月給制・時給制・出張型手当・連名 1 行請求・不就労控除の按分・10 進法時間表記・出向社員の実費請求など、派遣先ごとに独自の運用ルールが積み重なっており、業務マニュアルには一部の単価しか記載されていない状態でした。


実務は担当者の頭の中にあるルールで回っていました。勤務表 PDF の裏面にある備考欄に手書きされた丸印や取り消し線が、「今月の残業を補勤扱いにする」「この時間は控除対象」といった判断の根拠になっていた形です。


引き継ぎリスクと業務継続リスクが見えてきていた

主要担当者の交代タイミングが近づいており、属人化した業務ルールを次の担当者に引き継ぐ手段が確立されていない状況でした。派遣元にとってはバックオフィス業務そのものが止まりかねない構造であり、経営層としては「業務代行を含めた選択肢」を検討したいという相談が marutto に寄せられました。


一方で marutto 側にも、受託判断の壁がありました。お客様から提示された資料は 3 つ(勤務表 PDF・請求書マニュアル・勤怠チェック一覧)。それだけを見て「AI エージェントで業務代行できるか/できないか」を事実ベースで返せる状態ではありませんでした。

2. 取り組み内容:

3 資料 × マルチモーダル AI で「再現できるか」を検証

PoC の全体像

marutto は、お客様から提供された 3 資料をもとに、マルチモーダル対応の社内 AI エージェントで請求書時間項目を再構成できるかを検証しました。目的は「業務代行の受託可否を、事実ベース・数値ベースで判断できる状態にする」ことです。


取り組みは以下の 3 ステップで進めました。

  • ● 単価マスタの拾い出し

  • 全ページ画像ベースの請求書 PDF(50 ページ)を PNG 化し、視覚読み取りで単価マスタ CSV を作成


  • ● 勤務表 PDF の構造把握

  • 全 188 ページを PNG 化し、書式パターンと事業所境界をマッピング


  • ● PoC の突合検証

  • 対象となった複数の派遣先の技術者について、実発行請求書との数値突合を実施(時給計算・職務加算・遅刻控除/月給制・欠員控除・残業/補勤の丸印判定など、条件の異なる複数のパターンを含む)


AI エージェントが 3 資料(勤怠実績 PDF・請求書マニュアル・勤怠チェック結果)を処理し、請求書の時間項目を再構築する marutto の PoC 体制図

恒常運用に向けたデータ連携の考え方

本 PoC は再現性を検証する段階のため、単価マスタは請求書 PDF からたどって拾い出す形で対応しました。ただし恒常運用にあたっては、お客様側の勤怠・単価管理システムから単価マスタや遅刻早退記録を直接取得するデータ連携ルートの整備が前提になります。この設計判断は情シス代行の視点と、業務データを扱うシステム設計の知見が求められる領域であり、AI エージェント派遣を「もう一人の担当者」として運用に乗せるために避けて通れないポイントです。

3. 具体的な工夫

手書きマーカーを読み取り、7 種類の書式に対応した

手書き判読の技術的ポイント


派遣業の請求書業務でつまずきやすいのは、勤務表 PDF に手書きで書き込まれた記号の判読です。今回の PoC では、以下のような視覚要素まで AI エージェントに読み取らせました。


  • ・裏面の備考欄に手書きされた丸印(残業を補勤扱いにする合図など)

  • ・実績数値に引かれた取り消し線

  • ・累計時間欄に手書きで追記されたメモ


これらを画像として読み取ったうえで、単価マスタ・請求書マニュアル・勤怠チェック一覧から抽出した業務ルールを重ねて、請求書の時間項目を組み立てました。単純な OCR では取りこぼす「実務の判断根拠」まで拾えることが、マルチモーダル対応の AI エージェントを使う意味でした。

7 種類の書式パターンへの対応


勤務表 PDF は 188 ページにわたり、就業状況報告・派遣元管理台帳・累計労働時間表・勤務実績一覧・時間外通知書・勤務実績表など、少なくとも 7 種類の書式が混在していました。派遣先メーカーごとに使う書式が異なり、同じ事業所でも月によって書式が入れ替わるケースがあります。


PoC 実装リードは、全 188 ページを PNG 化したうえでヘッダー領域を縦連結した合成画像を作り、書式パターンと事業所境界を先にマッピングしてから、各書式に対応する読み取りロジックを設計しました。この事前設計があったからこそ、PoC の突合検証の突合精度が計測可能な形になりました。

Before/After 対比 HTML でお客様との商談を進めた


技術的な検証結果を、お客様に納得感のある形で見てもらうために、実際に発行された請求書 PDF と AI エージェントが作成した請求明細を横並びで比較できる Before/After 対比 HTML を組み立てました。画像を Base64 で埋め込んだ 1.1MB の単体ファイルで、商談の場で開いてそのまま見せられる形式です。


抽象的な議論ではなく、「実発行の明細のここが、AI 再構成ではこう出る」という現物対比で、技術的な問答をお客様と進められる状態を作りました。

4. 成果:PoC 対象全体で 71% 完全一致、そして「AI 単独運用 0 件」を見える化した

● 数値で測れた再現率


対象となった複数の派遣先の技術者について、実発行請求書との突合結果は次の通りです。


  • ・PoC 対象全体で 71% が完全一致

  • ・差分となったケースはすべて、勤務表裏面の備考欄に手書きされたマーカーで理由が説明できる範囲に収まった


差分が生じたケースについては、AI エージェントが読み取った内容と、担当者が実際に付けた判断のズレを、再現ルールで説明できるところまで来ています。ルールを 1 行足せば埋まる差分と、そもそも別データ(勤怠管理システム側の遅刻早退記録など)が必要な差分を切り分けられた状態です。


これは PoC 段階の再現一致率であって、業務代行サービスとしての完成度を示す数字ではありません。恒常運用にはさらなる検証と追加要件の整備が必要です。


● 「不足要件」を客観的に切り分けられた


本 PoC で得られた成果の一つは、「3 資料だけでは何が足りないのか」を客観的に切り分けられたことです。


  • 業務ルールの読み取り:手書きマーカーを含めて 3 資料内で完結できる

  • 単価マスタの取得:現状は請求書 PDF からたどって拾い出す形で対応したが、恒常運用では勤怠・単価管理システムから直接取得するルートが必要

  • 遅刻早退記録:3 資料には含まれず、勤怠管理システム側にある


この切り分けができた結果、お客様との次フェーズの要件定義が「システム連携ルートの整備」に絞り込めました。抽象的な「AI で業務代行できますか」の問答から、「この連携が整えば、この範囲まで代行できる」という具体的な話に進めるようになりました。

● 「AI 単独運用 0 件」を正直に書く


本 PoC で、AI エージェント単独で最終的な請求書を作成できた件数は 0 件です。すべて弊社の PoC 担当が最終確認を担いました。


数字を出せば「AI に任せて 71% を実現した」と読める書き方もできますが、marutto はそう書きません。71% は「PoC 段階での再現一致率」であって、業務代行として運用するには追加検証・データ連携整備・レビュー体制の設計が必要です。AI エージェントは判定材料の提示までを担い、最終判断は担当者が行う運用を前提としています。この線引きを事実ベースで返すことが、業務代行 PoC の役割です。

業務代行 PoC で「代行できる範囲」を数字で切り分けたい方へ

「担当者の頭の中でしか運用できていない業務がある」「AI で代行できる範囲と、まだ人が担うべき範囲を数字で見極めたい」といった状況にある経営者・管理職の方は、marutto の業務代行 PoC でご一緒できるかもしれません。本 PoC を実施したサービス「まるっと AI エージェント派遣」の詳細は、サービスページからご確認いただけます。


まるっと AI エージェントサービスページ

5. 残課題と学び:

不足を切り分けられたこと自体が PoC の成果

● 残課題


本 PoC で明らかになった残課題は次の 3 点です。


  • ・横展開適用性の追加検証

  • 今回突合できたのは全体の一部にとどまり、未検証範囲で同じロジックが通るかは追加検証が必要


  • ・データ連携ルートの整備

  • 勤怠・単価管理システムから単価マスタと遅刻早退記録を取得する仕組みが未整備


  • ・レビュー体制の設計

  • AI エージェントによる再構成結果を、誰がどの粒度でチェックするかの運用ルールが未確定




● 弊社の業務代行担当が得た学び


弊社の業務代行担当は、この PoC を通じて、業務代行できるかどうかを事実ベースで返せる状態を作れました。


3 資料だけでは足りないと正直に返せることが、逆にお客様の信頼につながったという手応えがありました。抽象的な「AI で何でもできます」ではなく、「ここまでは再現できる/ここからは別データが要る」と数値で切り分けて返せる姿勢が、業務代行 PoC の入り口として機能しました。実際、Before/After 対比 HTML と 71% の再現率を商談の場に出した瞬間に、お客様との会話は「AI で何ができるか」の抽象論から、「この連携が整えば、この範囲まで代行できる」という具体的な要件定義の話に切り替わりました。


不足要件を「事実ベース・数値ベース」で返せることが、業務代行の受託判断の質を上げた


勤務表 PDF の裏面にある備考欄に手書きされた丸印・取り消し線・累計時間欄のメモまで、AI エージェントが視覚判読できたことは、今回の PoC の技術的な突破口でした。単純な OCR では取りこぼす「実務の判断根拠」が拾えたことが、複数の派遣先を対象とした突合精度に直結しています。差分となったケースも、マーカーの意味を再現ルールで説明できる範囲に収まりました。


手書きマーカーまで判読できるマルチモーダル対応の AI エージェントは、紙・PDF ベースの帳票が残る業種で有効


「PoC 対象全体で 71% 完全一致」の数字と同時に、「AI 単独運用 0 件」「未検証範囲の存在」「システム連携未整備」も同じ商談の場でお伝えしました。この線引きを共有した時点で、お客様との会話は「AI で何ができるか」から「この連携が整えば、この範囲まで代行できる」に変わりました。


PoC の目的は「AI で全部代行する」ではなく、「代行できる範囲を切り分ける」ことにある


3 資料からの再現率、手書きマーカーの視覚判読、線引きの共有。この 3 つの気づきを、次の業務代行案件にそのまま持ち込める形で残せたことが、本 PoC の最大の収穫でした。

6. 今後の展開とお問い合わせ

今後の展開

marutto は、まるっと AI エージェント派遣を軸に、派遣業・業務請負業・製造業のバックオフィス業務代行を提案していきます。今回の PoC で得た「マルチモーダル判読 × 業務ルール適用」の型は、請求書業務に限らず、勤怠管理・発注管理・在庫報告など、紙・PDF ベースの帳票が残る業務全般に応用可能です。


同時に、業務代行の受託判断を事実ベースで返せる状態を作ることを、marutto の業務代行 PoC の標準としていきます。「AI で何ができるか」を抽象的に語るのではなく、実データで再現率と不足要件を返す形が、お客様の意思決定と marutto の受託判断の両方に必要だと考えているためです。



派遣業・業務請負業のバックオフィス業務代行をご検討の経営者・管理職の方へ


属人化した請求書業務の引き継ぎリスク、主要担当者の交代に伴う業務継続リスクにお悩みでしたら、marutto の業務代行 PoC をご相談ください。3 資料程度から始めて、「AI で代行できる範囲」「別途データ連携が必要な範囲」を数値で切り分けてお返しします。


まるっと AI エージェントサービスページ


7.よくある質問

A1. 今回の PoC では、勤務表 PDF の裏面にある備考欄に書かれた手書きの丸印・取り消し線・累計時間欄への手書きメモまでを、マルチモーダル対応の AI エージェントが視覚判読しました。単純な OCR ではなく、画像として全体を読み取ったうえで業務ルールを重ねる方式です。複数の派遣先を対象とした突合で、差分となったケースも「マーカーで説明可能」なところまで到達しています。

A2. これは PoC 段階の再現一致率であって、業務代行サービスとしての完成度ではありません。本 PoC で AI エージェント単独で最終的な請求書を作成できた件数は 0 件です。恒常運用には、勤怠・単価管理システムとのデータ連携ルート整備、レビュー体制の設計、未検証範囲の横展開検証が必要です。

A3. 紙・PDF ベースの帳票が残る業種で応用可能です。今回の派遣業に加えて、業務請負業・製造業・環境プラント業界のバックオフィス業務(勤怠管理・発注管理・在庫報告など)で同じ型が使えると考えています。数十拠点規模で属人化が進んでいる企業ほど、業務代行 PoC の効果を切り分けやすくなります。

A4. marutto の業務代行 PoC は、「できる/できない」の二択で終わらせません。今回の事例のように、「業務ルールの読み取りは 3 資料で完結する/単価マスタと遅刻早退記録は別データが必要」というように、不足要件を客観的に切り分けてお返しします。この切り分けは、次フェーズの要件定義(システム連携整備の設計)にそのまま使えます。

A5. 今回の PoC は 2026 年 7 月中に、単価マスタの拾い出し・勤務表構造の把握・PoC の突合検証・Before/After 対比 HTML の作成までを実施しました。素材の量と業務ルールの複雑さによって変動しますが、数週間〜1 か月程度で「代行可否の切り分け」を返せる進め方を標準としています。

A6. 弊社では、法人契約したマルチモーダル対応の AI エージェントを PoC に組み込んでいます。利用規約・商用利用可否・顧客資料の入力範囲は事前に確認済みです。お客様のデータ取り扱いについては、匿名化ルールを含めた守秘の範囲を PoC 開始前に取り決めてから進めます。

最終更新日: 2026/09/04


お気軽にご相談下さいこのポストを共有