DVC

DVCは、Gitが想定していなかった問題、つまり大きなデータファイルを扱います。データサイエンティストはDVCでデータセットとモデルファイルを追跡します。Gitには小さなポインタのファイルを置き、実データはS3やGoogle Cloud Storageなどのクラウド、またはローカルのストレージに置きます。古いコミットをチェックアウトすると、対応するデータが戻ってきます。

再現できるパイプラインにも対応しています。利用者は、データとコードを入力として出力を出すステージを定義し、DVCは変わった部分だけを再実行します。実験は追跡して比較でき、指標とプロットはリポジトリと一緒に保存されます。このプロジェクトは、現在lakeFSの下で維持されています。

DVCは無料のオープンソースです。Gitとコマンドラインに慣れている必要があります。代替にはlakeFS、より単純な場合のGit LFS、MLflow、Weights & Biases Artifacts、Pachydermがあります。DVCは、データのバージョン管理が欲しいデータサイエンティストに向いています。