AI・開発トレンド

マルチモーダル

（まるちもーだる／Multimodal）

一言でいうと

1つのモデルが文章だけでなく、画像や音声や動画も入力として受け取れることを指します。

画像を理解できるモデルが一般に使えるようになったのは2023年です。それまでは文章専用のモデルと画像専用のモデルを別々に組み合わせる必要がありました。

実務での利用が広がったのは2024年前後です。紙の書類を撮影して読み取らせる、画面の写真から不具合を判断させるといった使い方が国内でも定着しました。

業務の情報は文章だけではありません。請求書、図面、スクリーンショット、手書きのメモといった形で存在し、これらを文章に起こす工程が人手で残っていました。

マルチモーダルなモデルを使えば、この変換の工程を省けます。書類の画像をそのまま渡して内容を尋ねられるため、読み取り専用の仕組みを別に用意する必要が減りました。

書類の読み取り、図表を含む資料の要約、画面の不具合報告の一次判断、動画や音声の文字起こしと要約に使われます。

採用の実務では、PDF で届く職務経歴書をそのまま扱えるため、テキスト化の前処理を省ける場面があります。

求人票では単独の要件にならない語です。ただし、扱うデータが文章に限らない案件では、画像を含めた設計の経験があるかが差になります。

読み取り精度が求められる業務では、専用の文字認識と組み合わせる判断ができるかどうかが実務の質を分けます。

用語	指すもの	マルチモーダルとの違い
OCR	画像から文字を読み取る技術	文字の抽出のみ。マルチモーダルは内容の理解まで扱う
画像生成AI	画像を作り出すAI	出力が画像。マルチモーダルは入力として画像を扱う話が中心
音声認識	音声を文字に変換する技術	変換のみ。マルチモーダルは変換せずに扱う場合を含む