DVC

DVC löst ein Problem, für das Git nicht ausgelegt ist: große Datendateien. Datenwissenschaftler:innen verwalten Datensätze und Modelldateien mit DVC. Kleine Verweisdateien liegen in Git, während die eigentlichen Daten lokal oder in Speichern wie S3 und Google Cloud Storage abgelegt werden. Beim Wechsel zu einem älteren Commit werden die zugehörigen Daten abgerufen.

DVC unterstützt außerdem reproduzierbare Pipelines. Nutzer:innen definieren Schritte mit Eingabedaten und Code sowie den daraus erzeugten Ausgaben; DVC führt nur geänderte Schritte erneut aus. Experimente lassen sich verfolgen und vergleichen, Kennzahlen und Diagramme werden im Repository gespeichert. Das Projekt wird inzwischen unter lakeFS gepflegt.

DVC ist kostenlos und quelloffen. Die Nutzung setzt Vertrautheit mit Git und der Kommandozeile voraus. Alternativen sind lakeFS, Git LFS für einfachere Fälle, MLflow, Weights & Biases Artifacts und Pachyderm. DVC eignet sich für Datenwissenschaftler:innen, die Daten versionieren möchten.