キャディ株式会社 Tech Lead
河合 俊典（ばんくし）さん（@vaaaaanquish）

Sansan、ヤフー、エムスリーを経て、2021年にキャディにジョイン。機械学習を扱うソフトウエアエンジニアとして、『CADDi AI Lab』の立ち上げ、マネジメントに従事。XGBoostやLightGBMなど機械学習関連のOSSのRust wrapperメンタ―を務めるなどの活動を行っている。21年12月よりエムスリーエンジニアリングフェロー

こんにちは。最近はデータ基盤を考える事に明け暮れています、ばんくしです。

連載も4回目になり慣れてきたので、最近話題になっているテーマにも触れながら、AI分野におけるコモディティ化について書いていこうと思います。

技術のコモディティ化

連載の中で何度か書いているように、機械学習やデータサイエンスの技術自体のコモディティ化は激しさの一途をたどっています。

多くの複雑なアルゴリズムがOSS化され、PyTorchやscikit-learn、numpyなどのライブラリがそれらの地盤を支えています。

今や大学生でもDeep Learningを使ったタスクを簡単に解ける時代です。

学術分野でも、論文と一緒にソースコードが公開され、また次の研究者がそれを参考に研究し、コードを公開しています。

これらによってアルゴリズムは異様な速度で進化を遂げながら、安定して扱えるライブラリが定期的に出てくる循環ができています。

データのコモディティ化

ここで少し、昨今話題の大規模モデルであるDiffusion Model（拡散モデル）について触れてみましょう。

テキストからイラストを自動生成するモデルとして話題になり、モデルデータの公開から数カ月で、解説記事が乱立、Webサービスがいくつも立ち上がるほど話題になっています。

今までではあり得なかった画像生成の精度もあり、プロンプトエンジニアリングなどの新しいワードを中心とした文化圏も築かれています。

絵を描く人たちの中での是非や、モデル生成過程のデータの権利の問題などさまざまな側面がありますが、ここでは一度その垣根を取っ払って考えてみます。（諸問題について解説された記事も多く出ていますので、ぜひいろいろと調べて読んでみてくださいね）

今やインターネットには多くの情報があふれかえっています。

Diffusion Modelがここまでの精度になったのは、そのインターネット上にある、あらゆる画像のデータをクロールし、一個人がとても再現できないような大規模なデータセットと計算機環境を用意したから、という側面があります。

OpenAIが公開するイラスト生成モデル「DALL-E」では、学習のために2億件以上の画像とテキストのペアが使われています。

大規模という意味ではDiffusion Modelではないですが、OpenAIは45TBのテキストデータを元にした文章生成モデル「GPT-3」、68万時間分の音声データを元にした音声認識モデル「Whisper」なども公開しています。

このインターネットという圧倒的な学習データに加えて、Deep LearningにおいてはFine Tuningという概念が存在します。

ざっくり言えば、大規模モデルデータをベースとして、自身が持つ少量のデータを追加で学習させて傾向を寄せる技術です。

イラスト生成モデルもまた、Fine Tuningによって、ある特定の分野の画風に寄せたり、ある言葉を追加で学習させることができます。

さて、この前提のもと、コモディティ化について考えてみましょう。

われわれは日夜インターネットに様々な情報を公開しています。

画像やテキストを筆頭に、あらゆる分野の動画、企業情報、いつどんな状況で何をして何を思ってどんな行動をしたか、果ては詳細な個人情報まで。

諸問題を取っ払って考えてみると、これらをクロールすれば、学習に使えるほとんどのデータが集まる世界です。

「顧客のデータを持っていることが価値」などをうたう企業は、当然この問題に直面する可能性があるなと最近思います。

生成に限らず、あらゆる情報を学習したレコメンデーションの大規模モデル、時系列分析のための大規模モデル、統計や因果関係分析のための大規模モデルなども出てくるでしょう。

どこかで学習された大規模モデルをFine Tuningする事で解決されてしまうため、複雑なデータを自分たちで大量に抱えていなくても分析を行えるようになってしまうかもしれません。

「AIが人間の仕事を奪う」のと同様に「データの価値」も大規模モデルというコモディティによって奪われていくのではないか、とよく思います。

われわれが戦うべき相手は何か

技術とデータがコモディティ化した世界で、AI分野の人たちは何と戦うのでしょうか。

スペシャリスト、研究者として最新を追い続けるか、企業で顧客やプロダクトに寄り添うか。大量のデータで解決できないものを見つけ、戦う相手として選ばないといけません。

この先にはプロダクトマネージメントしかないのでは、と思いつつ、AIを扱う人たちが技術を生かして戦う場所や方法を見つけていきたいところです。

次回は、AI分野の人が寄り添う先や事例について考えられればなと思っています。

また、読んでいただけるとうれしいです。ありがとうございました。