MariaDB 5.5 und Load Data Infile vs. Python3 und executemany

[WLemmy]

Hallo,
ich muss aktuell ein Pythonscript bauen, das div. CSV Dateien aufbereitet und in eine MariaDB in eine handvoll Tabellen schubst. Das ganze habe ich aktuell mit executemany in Python umgesetzt und heute, weil lt. div. Einträgen Load Data Infille schneller sein soll, darauf auch umgebaut. Und bin jetzt überrascht, dass executemany um den Faktor 4 schneller ist.
Ich kann jetzt leider nicht sagen, ob die Datenmenge die ich da reinschubse noch zu klein ist und daher das Ergebnis raus kommt. Hat da jemand bessere Erfahrungswerte?

die größte Datenmenge lade ich in eine Tabelle die am Ende 800 Einträge hat.

 

[WLemmy]

ok, hat sich erledigt, nachdem ich etwas mehr Daten verarbeite wird executeMany deutlich langsamer....

 

[Walter]

@WLemmy Dir ist aber schon klar, dass MariaDB 5.5 eine alte Version ist deren Support abgelaufen ist? Aktuell ist 10.6

 

[WLemmy]

ja, OS ist aber CentOS 7, da ist MariaDB 5.5. dabei. Beides ist so vorgegeben.

 

[Walter]

Ich hab hier ein CentOS 7 mit aktuellem MariaDB laufen - daran ist also nichts vorgegeben.

 

[WLemmy]

doch, vom Auftraggeber.

edit: Aber danke für den Hinweis, dass es einfach möglich ist auf CentOS7 auch die 10er einzusetzen...