Reproduzierbare Testdaten für CI/CD: was du fixieren und prüfen musst

Redaktionell geprüft: 2026-10-11 · Quellen und Geltungsbereich unten

Was genau muss reproduzierbar sein?

Szenariogleichheit bedeutet, dass die benötigten Fälle weiter enthalten sind. Wertegleichheit bedeutet dieselben Datensätze samt Häufigkeiten. Byte-Gleichheit hängt zusätzlich von Reihenfolge, Serialisierung und Formatierung ab. Zwei JSON-Dateien können dieselben Werte mit anderem Whitespace enthalten; zwei identisch falsche Dateien können denselben Hash haben. Halte fachliche Assertions vom Replay-Test getrennt.

Welche Eingaben gehören in den Laufnachweis?

Dokumentiere Generator- und Abhängigkeitsversionen, Modell-Commit, referenzierte Dateien, expliziten Seed, Referenzdatum, Locale und Zeitzone. Erfasse bei veränderlichen Daten den ausgewählten Snapshot und eine stabile Lesereihenfolge. Dokumentiere Ausführungstopologie und Exporter-Konfiguration, sofern sie das verlangte Ergebnis beeinflussen. Halte dies beim Testergebnis, damit ein späterer Engineer den Lauf rekonstruieren kann.

Welche Stellschrauben bietet der Generator tatsächlich?

Faker dokumentiert Seed-Ergebnisse für gleiche Aufrufe und Versionen. GenRocket dokumentiert Seeds für unterstützte, konfigurierte Generatoren; den Seed anbinden statt seine Nutzung pauschal anzunehmen. SDV reset_sampling betrifft das Sampling eines bereits angepassten Modells. MOSTLY AI unterscheidet konditionierende Zeilen von random_state. Lege die benötigte Eigenschaft fest und prüfe den konkreten Ausführungsweg. Diese Stellschrauben belegen keine identische Ausgabe bei veränderter Software oder anderen Betriebssystemen.

Wie prüfst du eine Pipeline vor der Skalierung?

Erzeuge zuerst ein kleines Fixture und prüfe Schlüssel, Beziehungen und das exakte fachliche Ergebnis. Führe zweimal mit fixierten Eingaben aus und vergleiche die zugesagte Eigenschaft. Verändere dann gezielt eine Eingabe und prüfe den Unterschied. Unterbrich zuletzt einen Lauf und wiederhole ihn in einem isolierten Ziel. Zähle Duplikate, Teilschreibvorgänge und verbliebene Daten. Miss Einrichtungs- und Wiederherstellungsaufwand getrennt von der Generierungszeit.

Was beweist ein Replay-Ergebnis nicht?

Ein erfolgreicher Replay-Test für eine Laufzeit und einen Exporter belegt nicht alle Konnektoren, Worker-Anzahlen oder Betriebssysteme. Er sagt allein auch nichts über Datenschutz, realistische Verteilungen oder Fachabdeckung aus. Gelernte Generierung braucht eine separat definierte Qualitätsprüfung. Halte ungetestete Eigenschaften ausdrücklich unbestätigt und erweitere den Nachweis erst, wenn der benötigte Pfad geprüft wurde.

Was ist mit statistischer Wiederholbarkeit?

Bei gelernten Daten kann der benötigte Vertrag stabile Aufgabenleistung oder begrenzte Verteilungsunterschiede statt identischer Zeilen sein. Definiere Holdout, Metriken und Toleranzen vor dem Training und wiederhole das vollständige Experiment. Identische Samples können trotzdem unbrauchbar sein oder Quellinformationen offenlegen. Prüfe fachlichen Nutzen und Offenlegungsrisiko getrennt vom Sampling-Seed.

Ausgeführtes Fixture für Kundenlabels

Der lokale Prüf-Harness führte Faker, DATAMIMIC CE und SDV am 11. Oktober 2026 unter Linux mit Python 3.12 aus. Jedes Produkt liefert vier Kundenlabels. Der gemeinsame Python-Adapter setzt IDs und die sechs festen Zahlungszeilen. SQLite prüft dieses zusammengesetzte Fixture. Die Produkte bauen dessen Beziehungen nicht selbst.

Faker nutzt seed_instance(42); CE person/v1 erhält Seed 42 und eine feste Uhr. SDV trainiert einen GaussianCopulaSynthesizer mit 256 rein synthetischen Label-/Score-Zeilen. Nur die Label-Spalte gelangt ins Fixture. Es gibt keine Produktionsdaten, Datenschutzkennzahl oder Verteilungsbewertung. Das neutrale SQLite-Skript prüft Bereinigung und Rollback.

MOSTLY AI SDK 6.1.5 mit LOCAL-Abhängigkeiten wurde ohne Account installiert. Der tatsächliche Trainingsversuch wurde blockiert, weil die Umgebung AF_UNIX-Sockets verweigert (Operation not permitted). Dem Produkt wird weder generierte Ausgabe noch ein fehlgeschlagenes fachliches Ergebnis zugeschrieben.

Dies prüft keine vom Produkt verwalteten Beziehungen, Enterprise-Editionen, Datenbank-Konnektoren, Subsetting, Datenschutz, Durchsatz oder Portabilität. Geprüfte Versionen werden nicht als neueste Releases bezeichnet.

Skripte, Abhängigkeits-Lock und Ergebnisse herunterladen (.zip) · Laufnachweis lesen (.json)

python run_fixture.py
python3.12 -m venv .venv
.venv/bin/python -m pip install -r requirements-poc.lock
.venv/bin/python compare_generators.py --model-dir .fixture-model --output results-local.json

Beispielszenarien und redaktionelle Abnahmekriterien; keine gemessenen Produkt-Benchmarks.

Quellen und Vertiefung

• Faker: seeded replay and version boundaries
• DATAMIMIC CE: local model execution
• DATAMIMIC Platform: scheduled execution and shared projects
• DATAMIMIC Platform: task logs and output artifacts
• GenRocket: configured Generator seeds
• SDV: reset_sampling of a fitted model
• MOSTLY AI: random_state and conditioning seed rows

Wähle den nächsten Schritt

• Testdaten-Tool-PoC: eine wiederverwendbare Abnahme-Checkliste
• Open-Source-Testdaten-Tools: Faker, DATAMIMIC CE und Alternativen
• Anforderungen und Proof of Concept festlegen
• CE- und Platform-Verantwortlichkeiten vergleichen