沿って, smartwatches 03/08/2022

機械学習における実業界 vs 学界 | AI専門ニュースメディア AINOW

著者のPurvanshi Mehta氏は、現在Microsoftアメリカ法人でデータサイエンティストとして活躍しています。同氏が今年9月にMediumに投稿した記事『機械学習における実業界 vs 学界』では、AI研究における実業界と学界の違いが同氏の経験にもとづいて解説されています。学部生時代に機械学習の研究室でフルタイムで働く機会を得て修士号も取得した同氏は、学部卒業後と修士号取得後のタイミングで学界に残って研究を続けるか、それともAI業界に就職するかについて悩みました。悩んだ末にAI業界への就職を決めましたが、AIにおける学界と実業界の両方を知る同氏は、同じような悩みを抱える読者のためにAI研究における実業界と学界の違いをまとめることにしました。

実業界におけるAI研究の特徴をまとめると、以下のようになります。

対して学界でのAI研究の特徴は、以下のようになります。

なお、以上の特徴はあくまでMehta氏の経験にもとづいたものであり、AI研究の進路に関して実際に悩む場合には、実業界と学界のそれぞれの人たちに相談することを同氏は強くすすめています。

なお、以下の記事本文はPurvanshi Mehta氏に直接コンタクトをとり、翻訳許可を頂いたうえで翻訳したものです。また、翻訳記事の内容は同氏の見解であり、特定の国や地域ならびに組織や団体を代表するものではなく、翻訳者およびAINOW編集部の主義主張を表明したものでもありません。

画像出典:UnsplashのLubo Minarより

目次

  • 実業界の変化
  • 学界は難しい
  • 学界の長所
  • 結論
  • 私はどのように決断したか

    キャリアを選択すること自体は難しい。博士号を取得するのに5~6年かかることと、実業界での有利な仕事とを比較すると、それらの可能性に頭を悩ませることになる。私は、大学の学部と修士課程を卒業した後、同じように進路で悩む状況に陥った(2回とも)。

    私のキャリアパスをご存知の読者は多いと思うが、私は幸運にも大学2年生の夏に研究室に導かれ、そこで半教師あり関係抽出について研究した。その後、大学院に入学する前に研究室でフルタイム労働をした。この経験により、フルタイムの研究者/博士課程の学生としての生活を垣間見られた。

    しかし、そのような研究経験にもかかわらず、私は修士号取得後に(現在の職場である)Microsoftに入社した。決断のプロセスは煩わしかったので、自分の最終的な考えを書き留めておくことにした。読者諸氏にはこの記事をひとつの意見として(そして私がどのようにして、なぜこの決断をしたのかを含めて)受け止めてもらったうえで、自身の決断を下す前には実業界や学界の複数の人と話をすることを強くおすすめする。

    AI進化のレベル

    学界と実業界の両方でフルタイムで働いてみて気づいたことがある。それは、

    機械学習における実業界 vs 学界 | AI専門ニュースメディア AINOW

    実業界であろうと学界であろうと、エキサイティングなことに取り組め、AI革命の一端を担える。あとは、どのレベルの進化に関わりたいと望むか、である。

    古くからあるルールベースのシステムをML/DLモデルに移植する作業をしたいのか。あるいは、既存のML回帰モデルをより最先端のものにスケールアップしたいのか。あるいは、もっと基本的な問題に取り組み、今すぐではなく(当然、その応用の仕方にもよるが)今後5~10年後のシステム構築に役立つような質問に答えようとするのか。私は、自分が「どのレベルの進化」のなかで仕事をしたいのかという部分について、以下のように2つの観点から自問自答してみた。

    実業界の研究はほとんどが製品指向である

    ただし、純粋な研究会に所属している場合は別だが(そうしたグループに配属されるには修士課程を修了しただけでは難しく、あるいは博士課程であっても困難だ)。通常は製品に関連した問題設定があり、それを解決する方法に関連する研究を見つけようとする。その過程で何か新しい発見があれば、それを発表することもあるだろう。

    この業界のほとんどの研究会は、業績評価の過程で発表した論文を考慮しない。それゆえ、基本的に自分自身で社内で研究するモチベーションを高めなければならない。

    もし、問題設定に固執しないのであれば、実業界の研究会が良いかも知れない。

    私の場合、活発に論文を発表していて、メンバーの大半が博士号持ちの研究会を見つけた。その研究会は、非常に私に合っていた。

    MLの研究は面白いが、すべての研究がインパクトのあるものとは限らない。そのことを数字で見てみよう。

    arXivに掲載されたAI関連の論文数は、2015年の5,478件から2020年には34,736件と6倍以上に増加している(※訳註1)。量は確実に増えているが、質についても同じだろうか。

    以下にNeurlPSの論文被引用数の年間推移グラフを引用した。論文数の増加に伴い、論文の平均被引用数は年々減少している。つまり、2017年にNeurlPSで論文を発表していた場合、平均被引用数、つまり論文を利用している人数は4.6ということになる。この数字は、私にはかなり厳しいものに見える。

    例外的な論文があることは承知しているし、平均被引用数は論文の価値を測る最大の尺度ではないが、少なくとも論文の影響力に関するおおよその評価にはなる。

    私が書いた論文のなかには(実際に分野を牽引するような)例外的に貢献したものがあるが、そうした論文に私が貢献したと思われる要因はたくさんある(そのうちのいくつかは指導教官、私が所属する研究室、研究分野、そして博士号取得に向かっていた当時の精神状態といったものがある)。

    (※訳註1)AI関連論文数は、論文に関する統計情報の調査を目的に作成されたウェブサイト「Microsoft Academic」を利用して算出されたと推測される。同サイトを使えば、記事本文に引用された論文の被引用数の推移のほか、以下のような最近5年における人工知能分野で発表された論文において引用されたトピックトップ5に関する推移をグラフ化できる。最近5年における人工知能分野で発表された論文のトップ5トピックの被引用数推移

    実業界の変化

    2019年には、北米のAI分野の博士号取得者のうち65%が実業界に進出し、2010年の44.4%から上昇して、AI開発において実業界が果たす役割が大きくなり始めていることが浮き彫りとなった(※訳註2)。

    私がAmazonで応用科学者として働いていたとき、私のチームにいた人たちは皆、博士号を持っていた。彼らとの交流が深まるにつれ、私は修士課程の学生でも同じような仕事ができることに気づいた。

    ここ数年のAI開発のブームは驚異的なものだった。優れた製品を作るためには多くのエンジニアリングが必要だが、それには論文を読み、その内容を適用するユースケースを考えるスキル、あるいはまずユースケースがすでにあって、そのユースケースが抱える問題を解決する論文を読むスキルが必要だ。

    実のところ、機械学習の博士号を取得しても、博士号取得者の全員が研究職に進んだわけではない。

    もし、私が博士号を取得した後に今いるグループと似たようなところで働いていたら、どうなっていただろうか。(博士号を取得するまでの)全過程にあまり意義を見出さなかっただろう。

    (※訳註2)記事本文で引用された北米のAI業界における博士号取得者の割合は、アメリカ・スタンフォード大学が発表したレポート「2021 AI INDEX REPORT」を出典としている。同レポートの「4.2 北米におけるAIとコンピュータサイエンス学位取得者」によると、AIに関する博士号取得者の進路は、2011年頃までは学界と実業界が40%程度で拮抗していたのだが、2012年以降は実業界の就職が多くなり、2019年には65.7%となった(下のグラフ参照)。北米におけるAI博士号取得者の進路

    さらにAIに関する新規博士号取得者のうち北米以外からの留学生の占める割合が増えており、2019年には64.3%に達した(下のグラフ参照)。北米における新規AI博士号取得者に占める留学生の割合推移

    また、AIに関する博士号を取得した北米以外からの留学生のうち、北米以外で就職したのは8.6%なのに対して、北米に留まって就職したのは81.8%であった(下のグラフ参照)。この報告は、北米に世界のAIに関する博士号取得者が集結しつつあることを示唆している。北米における博士号を取得した留学生の就職先

    学界は難しい

    正直に言うと、学界で生きるのは難しい。そうした難点は、以下の通り。

    しかし、以上のような要因があるにもかかわらず、アカデミックな世界で働いている人々を私は高く評価している。研究者が斬新なアイデアを求め、基本的な問題に取り組くんでいることを私は理解している。問題の真相を突き止めたときに頭にめぐっている知的シミュレーションにも共感できる!

    学界の長所

    日々の業務でとりわけ平凡な作業をしなければならない時(実業界にようこそ)、私は今でも学界に戻ることを考える。博士としての仕事には、以下のような多くの利点がある。

    結論

    結局のところ、エキサイティングなテーマに取り組むことが大事なのだ。そのテーマが関わるのが製品であっても、研究であってもどちらでもよい。私が今後博士号を取得するかどうかはわからない。しかし、もしそうなったとしても、より良い準備ができることは間違いないだろう。実業界での経験は、何が重要で、何が重要な問題なのかについて、必要な視点を私に加えてくれるだろう。


    原文『Industry vs Academia in Machine Learning』

    MediumIndustry vs Academia in Machine LearningHow I took a decision

    著者Purvanshi Mehta

    翻訳吉本幸記(フリーライター、JDLA Deep Learning for GENERAL 2019 #1取得)

    編集おざけん