「技術者としては目立たなくていい」エンジニア芸人が沼るデータの世界【ZOZO・奥山喬史／下町モルモット・ぽこやかざん

もともと部署を横断して働くようなポジションに就きたいと思っていたんです。どの部署にもそれぞれの良さがあって、一つの部署に決めがたかったのもありますが、いろんな部署の人と関わりながら働きたくて。

そんな時、たまたまデータ基盤に触れる機会があって、データクレンジングやデータプロセッシングを行ううちに「この作業ってデータ活用における根幹では？」と感じるようになり、データエンジニアという仕事を意識するようになりました。

エンジニアとして目立ちたいとは思わないですね。僕はどちらかというと「もくもく」タイプなので、自分が作ったものを周囲のメンバーが活用してくれることが何よりも嬉しいんです。

昔はデータエンジニアに対して研究者のようなイメージを抱いていました。最初の頃は僕自身も、自分の仕事が会社の成長にどうつながっているのか、実感がなかったように思います。

それがここ数年で、急激に「ビジネス拡大においてはデータが重要だ」という意識が広がってきました。それに伴って、データエンジニアが各部署のプロフェッショナルと連携してパフォーマンスを発揮する機会も増えていったんです。データエンジニアとしてキャリアを積んできて、今が一番楽しいですね。

一番しんどかったのは、新卒時代に経験したデータ基盤の移行プロジェクトです。基盤上にある全てのデータをオンプレからクラウドに移行するもので、既存システムの仕様把握から技術選定のためのインプット、ユーザーとの折衝やスケジュール管理など、あらゆる面においてストレッチしました。

僕が入社した段階で既に動き出しているプロジェクトだったこともあって、「なぜやるのか」という目的や課題を深掘りしないまま作業をしてしまっていました。

でも、自分の中で目的が定まっていないと、ぼんやりと手探りで進めていくことになる。結果、無駄な工数が増えて自分自身も疲弊するし、コストも膨らむし……。全ての効率が悪くなるんです。

データマート集計基盤をDigdagからCloud Composer（Airflow）に移行するプロジェクトだったのですが、なぜAirflowなのか、それがどうコストカットにつながって、どれくらい会社に貢献することになるのかなど、とにかく課題を深掘りして上長とすり合わせました。

「何を実現するのか」をはっきりさせた上で「これを実現するならこのツールしかないよね」というプロセスを踏んだ結果、エンジニアの負担はかなり軽減されたと思います。

新卒時の移行プロジェクト以外にも「思い通りに行かなくてしんどい」という経験はいくつもありました。そんな時は「なんでこんなに辛いんだろう？」と考えるようにしたんです。

すると、自分には行き当たりばったりで手を動かす癖があることに気が付いて。「次のプロジェクトはもう少し目的意識を持って取り組もう」と挑んでみる。でも、まだ何かが足りない感覚がある。それが何かを考える……といったサイクルを繰り返していきました。