AI・開発トレンド

LLMOps

（えるえるえむおぷす）

一言でいうと

作った後に静かに壊れていく生成AIの機能を、劣化する前に捉えるための運用の総称です。

MLOps の考え方を生成AIに当てはめる形で、2023年から使われるようになりました。従来の機械学習では学習したモデルの管理が中心でしたが、生成AIでは自社でモデルを学習させない場合が多く、管理する対象が変わります。

国内では2024年前後から、試作を本番に載せる段階で必要性が認識されました。

生成AIの機能は、作った後に壊れる要因が多く存在します。指示文を直したら別の入力で品質が落ちた、モデルが更新されて挙動が変わった、利用が増えて費用が想定を超えた。いずれも通常の監視では気づけません。

LLMOps は、この見えにくい劣化を捉える仕組みです。指示文をコードと同じように版管理し、変更のたびに評価を回し、費用と応答時間を継続的に観測します。

生成AIを本番運用しているすべての組織に関わります。具体的には、指示文の版管理、評価データセットの実行、出力のログ収集、費用と応答時間の監視、モデル更新時の再検証です。

利用者からの苦情が来てから気づく運用と、劣化を先に検知する運用の差がここに出ます。

呼称としては定着しておらず、この語で募集しても母集団は作れません。AIエンジニア、MLOpsエンジニア、SRE の要件のなかに含まれる形が現実的です。

最有力の母集団は MLOps の経験者です。監視・パイプライン・再検証の考え方はそのまま転用でき、違いは管理対象が重みから指示文へ移る点にあります。媒体では「MLOps」「SRE」「機械学習エンジニア」の職種カテゴリで引き、フリーワードに「推論基盤」「モデル監視」を重ねてください。

面接で有効なのは、本番で品質が落ちたときにどう気づいたかという質問です。仕組みで捉えていたか、苦情で知ったかで運用の水準が分かれます。

用語	指すもの	LLMOps との違い
MLOps	機械学習システムの運用の体系	管理の中心がモデルの重み。LLMOps は指示文と参照文書が管理対象になり、出力が一意でない前提で運用する
evals	出力の品質を測る仕組み	測る部分。LLMOps はそれを含む運用全体
DevOps	開発と運用の分断を埋める考え方	一般のソフトウェア。LLMOps は出力が揺れる前提の運用を扱う