データエンジニア

一言でいうと

分析や機械学習で使うデータを、集めて、整えて、使える形で届ける職種です。

この職種の出自と登場時期

前身は ETL 開発やデータウェアハウスの担当者です。2010年代に入って扱うデータの量と種類が増え、Hadoop やクラウドのデータウェアハウスが普及すると、決まった手順でデータを移す仕事から、パイプラインをソフトウェアとして設計する仕事へ性質が変わりました。

職種として明確に定義されたのは2017年です。Apache Airflow の作者である Maxime Beauchemin が「The Rise of the Data Engineer」を公開し、データエンジニアを「データの動きを扱うソフトウェアエンジニアであり、ビジネスインテリジェンス担当の後継ではない」と位置づけました。この記事以降、データを整える仕事がソフトウェアエンジニアリングの領域として扱われるようになります。

国内では2018年前後から求人票にこの職種名が現れました。現在は、データエンジニア・アナリティクスエンジニア・データサイエンティストの役割分担を各社が個別に定義している状態で、求人票の職種名だけでは業務内容を判断できません。

ミッション

この職種が背負うのは、使う側が「このデータは信用できる」と言える状態を保つことです。パイプラインが動いていることではなく、届いたデータが正しく揃っていることが評価の対象になります。

成果を測るのは、データの鮮度・欠損率・パイプラインの失敗回数・障害からの復旧時間です。分析結果の良し悪しはデータサイエンティスト側の責任で、データエンジニアは供給の品質に責任を持ちます。

主な業務範囲

• データ収集の実装。業務システム・SaaS・ログからデータを取り込む経路を作る
• パイプラインの設計と運用。処理の依存関係、再実行、失敗時の扱いを設計する
• データウェアハウス・データレイクの設計。テーブル構成、パーティション、保持期間を決める
• データ品質の担保。欠損・重複・型崩れを検知する仕組みを用意する
• コストと性能の調整。クエリの実行時間とストレージ費用を継続的に見る

求められる能力

候補者に求めたいのは、SQL とデータモデリング、そして Python などでパイプラインを書ける実装力です。クラウドのデータ基盤（BigQuery / Snowflake / Redshift）とワークフロー基盤（Airflow / dbt など）の実務経験が要件に入る例が大半です。

技術以外では、データの意味を業務側と揃えられるかどうかが成果を分けます。同じ「売上」でも部署ごとに定義が違うことは珍しくなく、定義を確定させないまま作った基盤は使われません。

この職種に就く人のキャリア経路

多いのはバックエンドエンジニアからの移行です。業務システムのデータ連携を担当した経験を軸に、分析基盤側へ移る流れが一般的です。データアナリストが SQL の延長で基盤の整備を任され、そのまま専任になるケースもあります。

Analytics Engineer と機械学習エンジニアに進路が分かれます。基盤を作り切った人が、そのままデータ基盤の責任者として残る例もあります。

隣接職種との違い

採用担当の見極めポイント

• 求人票では、既存のデータ基盤がどこまで整っているかを書いてください。ゼロから作るのか、動いている基盤を改善するのかで、必要な経験が変わります
• 職務経歴書を見るときは、運用まで担当したかを確認してください。作って引き渡しただけなら、深夜に落ちたジョブをどう扱ったかを面接で聞いてください
• データ活用の意思決定者が社内にいるかを、募集前に確認してください。使う人が決まっていない基盤は、作っても評価されません

求人・市場の傾向

需要は増えている一方、クラウド基盤の設計まで担当できる候補者は限られます。採用競合は事業会社のデータ組織とコンサルティング会社の両方です。Analytics Engineer と混在するカテゴリが多いので、業務内容の記述まで見て絞ってください。

扱うデータの量と種類、使っている基盤の構成は必ず載せてください。仕事の規模がここで伝わります。

関連キーワード

ETL / ELT / データパイプライン / BigQuery / Snowflake / dbt / Airflow / データウェアハウス / データ品質