実験管理

一言でいうと

機械学習モデルの学習や評価を行うたびに条件と結果を記録し、後から比較と再現ができるようにする取り組みです。

開発元と登場年

実験管理は特定の開発元を持つ語ではありません。実験管理を専用に扱う道具として広く使われているMLflowは、2018年6月にDatabricksがオープンソースとして公開しました。公開時の記事は、機械学習の課題の1つ目として、どのパラメータ、コード、データが各実験に使われてモデルを生んだのかを追跡しにくいことを挙げています。

それ以前にも、2015年にGoogleのSculleyらが論文「Hidden Technical Debt in Machine Learning Systems」を発表し、設定や依存関係の管理が機械学習システムの保守費用を押し上げると指摘していました。

何を解決するために生まれたか

機械学習の開発では、同じコードを使っても、学習データ、ハイパーパラメータ、乱数の種が異なれば結果は一致しません。記録を残さずに試行を重ねると、最も成績のよかったモデルがどの条件で作られたのかを後から特定できなくなります。

実験管理は、実行のたびにパラメータ、コードの版、評価指標、出力ファイルを一組にして保存します。MLflowの文書は、この機能を、機械学習のコードを実行するときにパラメータ、コードの版、指標、出力ファイルを記録し、後で結果を可視化するためのAPIとUIだと説明しています。

どこで使われているか

モデルを自社で学習させる開発の現場で使われます。推薦、需要予測、画像認識のように、モデルの精度が事業の成果に直結する領域が中心です。道具としてはMLflowのほか、Weights & Biasesなどの商用サービスも使われています。

生成AIの開発でも、指示文や参照文書を変えたときの評価結果を比べる目的で、同じ考え方がevalsの運用に取り入れられています。

人材市場の実情

機械学習エンジニアやデータサイエンティストの経歴では、この語よりもMLflowなどの道具の名前で現れます。「実験管理」という語だけで検索すると取りこぼすため、道具の名前と職種名を組み合わせて探します。

自分で学習を回した経験のある候補者であれば、何らかの形で記録を残しているのが普通です。チームで記録の形式を揃え、他の人が再現できる状態を作った経験があるかどうかで、候補者の間に差が出ます。

混同されやすい技術との違い

採用担当の見極めポイント

• 過去の実験を、別の人が同じ条件で再現できる状態だったかを聞いてください。個人のメモにだけ記録していた場合、チームでの開発経験としては浅くなります
• 使っていた道具の名前と、記録していた項目を具体的に確認してください。学習データの版まで残していたかどうかに、運用の成熟度が表れます
• 求人票では、使っている道具と、学習をどの程度の頻度で回しているかを書いてください。モデルを自社で学習させていない組織では、この経験が入社後に使われないことも候補者に伝わります