Sorry für meine späte Rückmeldung, ich war in der Zwischenzeit im Sommerurlaub.
Danke für eure Antworten und ja das Problem ist noch relevant.
[USER=4146]@dabadepdu[/USER]
Ja es sind alles unsere Anlagen. Da es jedoch teilweise auch 20 Jahre alte Anlagen sind und in der Zwischenzeit viel herumexperimentiert wurde oder aufgrund Liefer- und Preisbedingungen mal auf andere Systeme gewechselt wurde haben wir einen MischMasch aus Steuerungen.
Einzelne Fälle läufen noch über ftp, der Rest über sftp.
Auch wie die Daten geschrieben werden ist unterschiedlich. Manchmal wird für jeden Tag eine neue csv angelegt, manche Anlagen haben einen rotierenden Speicher und schreiben alles in eine csv, welche dann irgendwann wieder von vorne an überschrieben wird, wenn der Speicher voll ist.
Ein wichtiger Punkt ist noch, dass jede Anlage über VPN erreichbar ist aber wir unterschiedliche Netzwerkbereiche und auch VPN-Anbieter im Einsatz haben. Um also einen Download per FTP/SFTP machen zu können muss erst mal eine VPN Verbindung hergestellt werden.
Das könnte auch eventuell ein Grund gewesen sein, dass man den Daten Download auf zwei virtuelle Systeme getrennt hat, weil man auf jedem Rechner dann einfach per OpenVPN dauerhaft die VPN-Verbindung am laufen hat und dann dort alle Anlagen abruft die in diesem Netzwerk verbunden sind.
Wäre jetzt noch weniger ein Problem zwei virtuelle Maschinen hierfür einzusetzen. Mir ist nur wichtig, dass wir den ganzen Vorgang einfacher und zuverlässiger gestalten mit Prüfung des Datendownloads und einem moderneren und einfacheren Frontend, dass unsere Kollegen hiermit gut zurecht kommen.
Ein einfacherer Aufbau des Ganzen soll dann auch helfen, dass man es besser nachvollziehen kann und ggf. selbst Änderungen machen kann. Momentan blickt hier nämlich tatsächlich keiner durch, weil die aktuelle Struktur vor langer Zeit von einem ehemaligen Kollegen aufgebaut wurde, der schon seit Ewigkeiten nicht mehr in der Firma ist.
So wie es jetzt aber rausgehört habe, gibt es keine fertigen Programme für den ganzen ETL Vorgang und es sind zusätzliche Programmierarbeiten notwendig?
Welche Möglichkeiten gibt es denn aktuell für das Frontend, um alle transformierten Daten sich anzeigen zu lassen?
