MLOps

一言でいうと

機械学習モデルの開発から本番への配備、監視、再学習までを、継続して回せるようにする実践です。

提唱者と登場年

問題意識の起点は、D. Sculleyらが2015年のNIPS（現NeurIPS）で発表した論文「Hidden Technical Debt in Machine Learning Systems」です。この論文は、機械学習によって高度な予測システムを素早く作れる一方で、本番の機械学習システムには長期の保守の負担が蓄積しやすいと論じました。モデルの境界の崩れ、部品どうしの絡み合い、隠れたフィードバックループ、データの依存関係などを具体的な問題として挙げています。

Google CloudはMLOpsを、機械学習システムの開発（Dev）と運用（Ops）を統合することを目指す、機械学習エンジニアリングの文化と実践と定義しています。同社の文書は、手作業のレベル0、機械学習パイプラインを自動化したレベル1、CI/CDパイプラインまで自動化したレベル2という成熟度を示しています。

何を解決するか

機械学習のモデルは、作った時点では精度が出ていても、本番のデータの傾向が変わると精度が下がります。通常のソフトウェアはコードを変えなければ動きが変わりませんが、機械学習のシステムでは、コードが同じでも入力データの傾向が変われば予測の結果が変化します。そのため、精度を監視し、新しいデータで再学習し、検証してから配備し直す流れを、繰り返し実行できる形で用意する必要があります。

もう一つの課題は、データサイエンティストが実験の環境で作ったモデルを、本番で動くシステムへ移す作業です。この移行を人手に頼ると、担当者ごとに手順が異なり、同じモデルを再現できなくなります。

実際の進み方

データの取得と前処理、学習、評価、配備の各工程をパイプラインとして定義し、コードとして管理します。学習に使ったデータ、コード、パラメータ、できたモデルを記録し、どのモデルがどの条件で作られたかをたどれるようにします。

本番では、予測の精度と入力データの分布を監視します。一定の条件を満たしたら再学習のパイプラインを起動し、評価の基準を満たしたモデルだけを本番へ配備します。

導入でよくある失敗

• モデルの精度を上げる実験にだけ力を入れ、本番での監視と再学習の仕組みを後回しにする
• ツールを先に導入し、チームの誰が本番のモデルに責任を負うかを決めない
• 学習時と本番時で前処理の実装が異なり、同じ入力でも結果がずれる

求人票にこの語がある場合に読み取れること

MLOpsと書かれた求人は、機械学習のモデルを本番で継続して運用している、あるいはこれから運用しようとしている組織だと読み取れます。モデル開発の担当とは別に、パイプラインと基盤を担う役割として募集される場合と、機械学習エンジニアの業務に含まれる場合があります。候補者には、担当したパイプラインの範囲、本番の精度をどう監視したか、再学習をどう自動化したかを確認してください。

隣接手法との違い