Netflix、データサイエンスフレームワークの GUIツールをオープンソースとして公開

投稿: 2021年10月28日
タグ: 
  Analytics/ML  クラウド  ニュースネタ

Netflix は自社開発した「データサイエンス フルスタックフレームワーク」の Metaflow を GUI で参照できる 「Metaflow UI」を GitHub で公開したと発表しました。

GUI for Metaflow, Netflix’s ML Platform
https://netflixtechblog.com/open-sourcing-a-monitoring-gui-for-metaflow-75ff465f0d60open_in_new
  • Netflix がデータサイエンスフレームワーク Metaflow の GUIツールを公開
  • Metaflow のワークフローの実行状況の参照などをブラウザで可能
  • モデル開発から学習ジョブ実行までを支える Metaflow

    Netflix は Metaflow のことを「a full-stack framework for data science (フルスタックのデータサイエンスフレームワーク)」と表現しています。

    実体としては Python(と一部 R) で書かれたライブラリで、機械学習のモデル作成のよくあるフローを比較的 簡単な API呼び出しで実装できるようになっています。 Tensorflow や PyTorch、scikit-learn といった鉄板フレームワークも合わせて利用できるようになっています。

    また、複数の AWS のサービスと連携するように実装されており、Metaflow で実装したワークフローをコマンド 1つで AWS Step Functions にエクスポート・デプロイする機能などが備わっています。

    『データ分析担当者やデータサイエンティストがインフラのことを極力気にせず機械学習のみにフォーカスできるようにする』ことは多くの企業が望んでいることだと思います。 大手企業だと 自前のデータ分析環境を作っている(そして、それほどうまくいかない) ところも多いと思いますが、 Metaflow は Netflix が自社の試行錯誤の結果を公開してくれている例かと思います。

    Metaflow の進捗や実行履歴がブラウザ(GUI) で参照可能な Metaflow UI

    Metaflow は IDE かコマンドラインでの利用が前提となりますが、 今回 Metaflow で実行しているワークフローをブラウザ上で参照できる Metaflow UI が GitHub で公開されました。

    実際に Metaflow UI がデプロイされた環境がデモ環境として公開されているので、以下リンクから触ってみるのが早いと思います。

    Metaflow UI デモ環境
    https://demo.public.outerbounds.xyz/open_in_new

    実際に触ってみたスクリーンショットを貼り付けます。
    以下は Metaflow の 1つのワークフローの時系列での実行状況です。

    画像_metaflow_1.jpg

    以下は Metaflow のフローの DAG を表示した画面です。

    画像_metaflow_2.jpg

    Metaflow UI を使うには前提として Metaflow 本体(サービス部分) が必要になります。 また、Metaflow UI は読み取り専用でジョブの展開や変更などは引き続き IDE かコマンドライン実行が必要です。

    Metaflow、Metaflow UI の GitHub リポジトリはそれぞれ以下です。

    Metaflow
    https://github.com/Netflix/metaflowopen_in_new

    Metaflow UI
    https://github.com/Netflix/metaflow-uiopen_in_new
    AWS を使った機械学習の基盤だと Amazon SageMaker がありますし、 殆どのユーザーにとっては SageMaker の方が (より簡単という理由で) フィットすると思います。

    それでも この分野のユーザー企業として Leading 企業である Netflix が社内の成果物をこうやって見える形にしてくれるのは本当にありがたいところです。 もちろん、エンジニア採用などでプラスになる等のメリットはあるからやっているという点はあるにしても、どんどんプロダクトを公開していく姿勢はすばらしいな、と。