データエンジニアの職務経歴書例（インターン）

• 指導の下で、データパイプラインへ入力・出力件数照合と遅着処理を追加し、完了レコードを重複させずに中断パーティションを再処理。
• メンターの指導の下で依存関係とバックフィルを管理するバッチオーケストレーション。調査準備と検証・文書化を支援。チーム全体では後続業務が必要とする時点で約束した成果物を安定して提供した。自分の貢献は担当した支援業務と検証記録に限り、メンターと確認した。
• メンターの指導の下で重要テーブルのスキーマ・鮮度・件数・参照整合性チェック。調査準備と検証・文書化を支援。チーム全体では次のリリースまたはレビューで同種の不具合を減らした。自分の貢献は担当した支援業務と検証記録に限り、メンターと確認した。
• 指導の下で、分割SQLフィクスチャを活用したAirflow ETL復旧を主導し、重複取込を解消して下流キーを変えず再実行を完了。
• 指導の下で、Spark行照合を活用したPythonパイプライン検査を構築し、遅延調査を45分から18分へ短縮してAzure再実行手順を公開。

• メンターのレビューを受ける模擬実習で、業務抽出データを整備済みテーブルへ送るAzureデータパイプラインを構築。SQLの結合キーと遅延到着ルールを明記し、再処理で重複しないか検証した。
• 続く指導付き実習で、データパイプラインにSQL照合と隔離チェックを追加し、拒否行に理由を保存。上流のスキーマ変更をレポート層へ届く前に追跡した。
• 指導の下で、メンターの指導の下で大規模変換の増分モデルとパーティション削減。調査準備と検証・文書化を支援
• 重複・遅着・訂正値を含む合成原記録を作り、行数・キー一意性の検査と指標への期待影響を記録。
• 分析結果と手計算基準表を照合して差異を変換工程まで追跡。修正クエリにデータ辞書・再実行手順を添付。
• 手計算基準を活用した合成データ検証の責任を担い、重複集計を解消して訂正合計再現ノートを完成。

関連科目：アルゴリズム、OS、データベース、ネットワーク

SQL · データパイプライン · 入力・出力照合 · パーティション再処理

• 再現クエリを活用した自主手法ノートを公開し、粒度・除外記録・分母変更への感度を解説。