NAS-Raid-Verwendung, Backup

[Kampfgummibaerlie]

Ich habe mir vor kurzem einen weiteren NAS bestellt, wird voraussichtlich bis Februar bei mir sein, jedenfalls wollte ich fragen, ob hier jemand eine Ahnung mit Raid-Systemen hat, beziehungsweise mit den Festplatten.

Meine Überlegung wäre:
Der neue NAS wird 8 Festplatten einsetzbar haben.
Ich nutze 4 für meinen Datenbanken/Homepages-Server
Ich nutze 4 für meinen Medien-Server (Videos, Musik, Bilder)

Meine Überlegung jetzt wäre:
Sollte ich die 8 Festplatten irgendwie anders aufteilen, als in 2 mal 4 Festplatten?
Kann man realistisch davon ausgehen, dass man die 4-Fache Leistung hat, wenn man 4 Festplatten mittels Raid 1 laufen lässt?
Ich meine, mir ist klar, dass die Kapazität im Gegensatz zu Raid-X deutlich abnimmt, nämlich um 1/4 der gesamten Kapazität (Ich weiß nicht, ob mein bei Netgear jeweils 4 Festplatten untereinander auf Raid-X laufen lassen kann), aber ich denke, mit 20 Terabyte sollte ich eine Weile auskommen können.
Mir ist klar, dass die Festplatten für den Video-Server andere sein sollten, als für den Datenbank-Server, aber ich persönlich fühle mich mit dieser Überlegung auf der sicheren Seite (?).

Des weiteren würde mich interessieren:
Der neue NAS wird in Summe 4 Lan-Anschlüsse haben, und ich frage mich, ob der NAS selbst richtig handelt, und falls die eine Verbindung voll ausgeschöpft wird, auf die nächste "springt", und dort Daten überträgt.

Meine Vorstellung, warum ich die Festplattenanzahl durch 2 tele wäre auch, weil ich gerne hätte, dass meine Familienmitglieder eben auf den Medien-Server zugreifen können, und dort vl. hübsche Familienfotos oder so anschauen könnten.

Danke für eure Meinungen, und so weiter

ANHANG:
Habe mich über die Raid-Systeme nur schnell über Wikipedia informiert, und fand Raid 1 als die beste Alternative für mich.
Ich hoffe, eine solche Diskussion ist hier auch erlaubt :/

 

[Walter]

Was willst Du denn genau erreichen? Davon hängt die Auswahl des passenden Raid-Levels ab. Und bedenke: Raid ersetzt kein Backup.
Ich würde mir auch überlegen, ob ich wirklich alle 8 Slots jetzt schon mit Festplatten befülle.. Die Festplattenpreis sind aktuell so gestaltet, dass der Preis pro GB ziemlich konstant ist. Ich würde eher z.B. 4 von 8 Slots befüllen und dafür grössere Festplatten nehmen, damit ich bei späteren Platzproblemen das Raid noch erweitern kann.

 

[Kampfgummibaerlie]

Was willst Du denn genau erreichen? Davon hängt die Auswahl des passenden Raid-Levels ab. Und bedenke: Raid ersetzt kein Backup.
Ich würde mir auch überlegen, ob ich wirklich alle 8 Slots jetzt schon mit Festplatten befülle.. Die Festplattenpreis sind aktuell so gestaltet, dass der Preis pro GB ziemlich konstant ist. Ich würde eher z.B. 4 von 8 Slots befüllen und dafür grössere Festplatten nehmen, damit ich bei späteren Platzproblemen das Raid noch erweitern kann.

Was ich genau erreichen möchte:
Am Ende bis zu 60 Terabyte Medien-Server (ja, mir ist klar, dass man kleiner anfangen kann, habe zurzeit 3 Festplatten, 2 6er und 1 8er Festplatte, lauft auf Raid 5)
Die anderen 4 Slots, wo ich aktuell 2 Festplatten im ältesten NAS habe, die wiederum als Datenbankserver/Homepageserver dienen.

Mich würde interessieren, wieviel brauche ich >ernsthaft< bei einem kleinem lokalem Cafe, welches nicht expandieren wird, und einer relativ kleinen Seite für ein Computerspiel brauchen?
Mir ist klar, dass Medien deutlich mehr brauchen, als mal eben eine dynamische Homepage, ich habe auch nicht vor, alle 8 von Anfang an zu füllen, ich möchte die im Moment verfügbaren (In Besitz) vorhandenen Festplatten einsetzen.
Ich frage mich nur, ob ich ernsthaft mit der 4 fachen Leistung rechnen kann(!), wenn ich sie im 1:1 nebeneinander laufen lasse, und er halt von beiden Festplatten lesen kann, und so weiter.

Ich bräuchte Daten, wieviel zum Beispiel Amazon (im Verhältniss von mir aus) nutzt für die Homepage und Verkaufsdatenbank, und wieviel für ihren Mediaserver.
Mir ist klar, dass die nicht nur einen einsetzen werden, für das Ganze, aber ich habe nicht allzuviele finanzielle Möglichkeiten, um auf Amazon-Niveau nachzurüsten ^^

Sollte ich also den NAS mit einem Raid, auf welchen 6 Festplatten laufen, wobei jeweils 1 das Spiegelbild darstellt (30 Terabyte in Summe (zurzeit)), oder eben eher mehr Kapazität für die Datenbank und die Homepage bereithalten?

EDIT: 6*10 = 20 -> keine Logik dahinter, grundlegend falsch, ausgebessert ^^

EDIT2: Also, ich würde gerne auf dem NAS mehrere "Volumes" einsetzen, eien eben als Medienserver, die andere als Daten-Server, damit "mal eben" 2 Festplatten kaputt gehen könnten (jeweils eine), bevor ich in der Lage war, mir eine weitere Festplatte zu organisieren.

EDIT3: Ich will eine Sicherung haben, dass wenn eine Festplatte kaputt geht, die Daten nicht verloren gehen können.
Anbei habe ich das mit Raid-Zeug nur kurz überflogen, was wäre denn die beste Alternative für meine Idee?

 

[Walter]

Ich will eine Sicherung haben, dass wenn eine Festplatte kaputt geht, die Daten nicht verloren gehen können.

Äh, eine Sicherung soll ja nicht nur den Defekt einer Festplatte abfangen können - genauso kann ja vorkommen dass versehentlich Daten gelöscht/geändert werden, ein Virus/Scamware/Ransomware Deine Dateien verschlüsselt, das Mainboard/Controller oder irgendein anderes Hardwareteil kaputt geht und dabei Daten in den Abgrund reisst, etc etc.

Ein Raid alleine erhöht nur die Verfügbarkeit. Du brauchst zusätzlich eine Datensicherung, erst recht wenn nicht nur private Daten davon betroffen sind sondern Firmendaten!

 

[Kampfgummibaerlie]

wie mache ich das mit der Datensicherung am besten?

EDIT: Als Beiwort bleibt natürlich, dass ich nach Möglichkeit bei diesem einem NAS bleiben möchte.

EDIT2: sind für sowas die event-trigger von postgresql gut?

Also, ich würde das Problem lösen, indem ich einfach die neuen Daten in einem "neuen" Datensatz speichere.

Tut mir ehrlich leid, wenn ich nicht viel Ahnung von solchen Themen habe
Aber, es gab noch keinen, der nie ein Anfänger war.

EDIT3: Eine Sicherung entspricht einem Backup?
Ich glaube, sowas ist bei Netgear sogar einprogrammierbar. (regelmäßige Backups halt).

 

[Kampfgummibaerlie]

Vielleicht stelle ich mir das gerade ein wenig >zu< enorm vor.

Reicht ein Backup am Tag (als Beispiel), oder sollte es tatsächlich ununterbrochen gemacht werden?

ein Backup pro Interval kann ich einrichten, den anderen Punkt war ich gerade, aber mir würde nicht einfallen, wer das ehrlich macht, beziehungsweise, wie das gehen sollte.
(Habe noch nie erlebt, glaube ich, eine Art wo man einen vorigen Datensatz "wiederherstellen" kann), ich denke aber, dass du nicht soetwas meinst.

Also sollte ich möglichst regelmäßig ein Backup machen. Ich denke an täglich, aber ich weiß ja nicht, was wie sein sollte.

 

[Kampfgummibaerlie]

Soda, ich habe mir ein YouTube-Video über Backups angesehen, und komme auf die Tatsache, dass ich auf ein externes Speichergerät speichern soll.

Meine Überlegung hierbei wiederum:
Wie regelmäßig, wurde bei dem Video auch kurz angesprochen, und um ehrlich zu sein, frage ich mich doch noch das eine oder andere.

Braucht das externe Speichermedium genausoviel Speicherkapazität wie mein eingesetztes bisher verbrauchtes Volume?
Oder kopiert er in dieser Hinsicht halt nur die relevanten Daten, und erwartet, dass das Gerät, an dem er angesteckt ist, dies und das zur Verfügung stellt?

Deshalb sollte man externe Speichermedien immer größer kaufen (wenn sie zwecks eines Backups dienen), als man eigentlich bräuchte, glaube ich mal gehört zu haben.

Des weiteren frage ich mich, weil ja auch die regelmäßigkeit keinen Sinn hat, falls der NAS einen Virus nicht als Virus erkennt, und das Backup wiederum mit Virus, oder was auch immer, auf das externe Speiechermedium überträgt.

Sprich, sowas macht richtig Lust, Laune und Spaß
Mein Einsatzgebiet wäre in etwa so:
Ich kaufe mir eine relativ große externe Festplatte (nur für den Datebanken- und Homepage-Server), und setze entsprechend die vorhandenen Festplatten ein, die ich bisher habe.

(Sprich, ich bräuchte eine 3 Terabyte Festplatte, die ich glaube irgendwann mal gekauft zu haben, weil ich mir eingebildet habe, ich nehme was mit dem PC auf (was bisher nie der Fall war))

Meine Überlegung wäre auch, ob es nicht Sinn machen würde, mehrere solche externe Festplatten zu haben, weil ja doch auch der Fall auftreten könnte, dass man den Virus mit aufs Speichermedium schmeißt, und dann wiederum nicht das Backup von vor 2 Tagen holen kann. (Ich persönlich würde sogar zu 3 solcher Festplatten greifen, und die Backup-Zeiten nicht kontinuirlich jeden Tag zur selben Zeit durchführen, sondern ab und zu auch mal in der früh). Sprich in Summe im 16 Stunden-Takt.

Der ältere Herr im Youtube Video hat einen Netgear-RN102 eingesetzt, und die bisherigen haben irgendwie die gleiche funktionalität.

Ist man offiziell vor solchen Angriffen (in Österreich) gesetzlich geschützt?
Sprich, falls herr Huber der Hacker Pro 2.0 ist, und 14 Jahre alt ist, und halt gerade auf mutters Nähstube trifft, und seine Fähigkeiten an dieser perfektionieren will, und "wir" als das Opfer eines solchen Angriffs, Aufgrund des Fehlstarts, und so weiter am nächsten Morgen entsprechend vl. einige Bestellungen nicht mitbekommen haben, die in der Zeit "eingetragen" wurden, wo der NAS lahm gelegt war.

Es ist irgendwie wirklich ein spannendes Thema.
Beziehungsweise werde ich auch regergieren, was alles kaputt gehen, bzw. fehlplatziert sein/werden könnte, und ich mache nur Backups, wenn all diese Punkte noch einwandfrei funktionieren (natürlich im 16 Stunden-Takt)

Ich glaube, meine Großmütter sind ansteckend, die trauen sich beide nicht, sich mit dem Internet anzufreunden, weil sie immer so brutale und enorm teure Anklagen sehen, dass sie sich nicht trauen, und ich will irgendwie ohne Fehler arbeiten.

Des weiteren würde ich mich freuen, wenn ich klare Erklärungen bekomme, für Begriffe wie:
Bereinigen
Defragmentieren
Ausgleichen
Datenträgertest

Was genau wird bei diesen 4 Vorgängen gemacht? (Ja, Google, aber vl. interessiert es auch andere hier ^^)

EDIT01: Hier ein Link zum Video von Youtube, welches ich mir angesehen habe:

 

[Kampfgummibaerlie]

Ich hätte eine neue Frage:
Soll ein solches Backup auch die einzelnen Datensätze der Datenbank retten können?
Weil es gelingt mir bisher nur, ein Backup von den gegebenen Homepages auf dem NAS abzusichern.

Falls das Ganze aber am Ende die Datenbank angreift (?), kann ich den NAS neu einrichten, und es wären keine "alten" Datensätze mehr vorhanden (Und die Datenbank wäre ebenfalls futsch).

Soll heißen, ich sollte auch physisch arbeiten, und vorhandene Datensätze aufs Papier übertragen (Drucken) ?

Ich meine, Alternativ könnte ich mir 2 mal soviele Festplatten kaufen, wie ich eigentlich einsetzen will, und das 2. Set Festplatten, sobald auf ihnen ein Backup ist, woanders hinlegen.
Oder sollte ich eher mit einem 2. NAS arbeiten, auf welchen ich regelmäßig eine Sicherung speichere? (Ein Spiegelbild des eigentlichen NAS, glaube ich, ist mir auch schonmal gelungen)

 

[Kampfgummibaerlie]

Also, ich denke das mit der Erweiterung der Kapazität/Raid-Einstellungen habe ich soweit erstmal aktzeptabel geregelt/geplant:

Der Datenbank/Homepage-Server hat zurzeit 2 Festplatten drin (eine 3 Terabyte Platte, eine 8 Terabyte Platte)
3x8 = 3 Terabyte verwendbar (Mirroring und so)

Diesen würde ich (maximal 3 Festplatten) erweitern mit der maximal möglichen Kapazität von der Summe her, wenn ich eine Warnmeldung bekomme (also die 3 Terabyte voll sind). (Also im Moment 10 Terabyte-Platte, denke ich, wird aber noch erweitert werden)
3x8x10 = 5 Terabyte verwendbar (Raid 5)

Wenn die Kapazität dann mal voll wird, bzw. ich eine Warnmeldung bekomme, ersetze ich die 3 Terabyte Platte ebenfalls durch eine 10 Terabyte Festplatte.

10x10x8 bei Raid 5 bedeutet geschätzte 5,5 Terabyte verwendbar.

Wies weitergeht, hoffe ich, kann man sich denken

Auf der anderen Seite muss ich mir 1 mal 2 Festplatten kaufen bei meiner 5-Festplatten-Partion, weil sonst die Kapazität nicht erweitert werden würde.

Anbei würde ich auch so handeln, weil ich davon ausgehe, dass ich nicht aufstucken muss, einzeln die Terabyte.

Aber danke jedenfalls, dass ihr mir den Antrieb gegeben habt, damit ich ein wenig nach neuem regergiert habe

 

[akretschmer]

Ich hätte eine neue Frage:
Soll ein solches Backup auch die einzelnen Datensätze der Datenbank retten können?

Datenbank-Backups sind ein spezielles Thema. In PostgreSQL kannst Du 2 unterschiedliche Backups machen: logische und physische. Um logische zu erstellen, benötigst Du pg_dump und/oder pg_dumpall. Damit kannst Du logische Dumps machen, die man wieder (mit psql oder pg_restore) einspielen kann. Diese Dumps können im Plain-ASCII-Format sein oder in Custom-Format oder auch im Directory-Format. Die Doku erklärt gern alle Vor- und Nachteile.

Die andere Art der Backups sind phyische Backups. Hier kannst Du (mittels pg_basebackup) einen Filesystem - basierten Snapshot machen, zusammen mit den archivierten WAL (Write Ahead Log) kannst Du damit ein Point-In-Time-Recovery machen.

Also, wenn Du nachts um 2 einen Dump machst, der bis um 4 braucht und Du am nächsten Tag um 16 Uhr einen Crash hast, kannst Du aus dem Dump den Status der DB von 2 Uhr wiederherstellen, alles zwischen 2 Uhr und 16 Uhr ist dann halt futsch.

Mittels physischen Backup + WAL's kannst Du ein kontinuierliches Backup machen, und zu einem beliebigen Zeitpunkt (Point-In-Time) ein Recovery machen, in diesem Fall Punkt 16 Uhr aber nicht 16 Uhr inklusive, Dir geht keine einzige mit COMMIT bestätigte Transaktion verloren. Das richtig aufzusetzen ist etwas komplizierter, mit unserem BARMAN-Tool aber durchaus machbar.

Alle restlichen Klarheiten damit beseitigt?


Grüße aus Zürich.

 

[Kampfgummibaerlie]

Ja, also ich würde gerne mit der 2. Methode arbeiten, aber, auch aufgrund der anderen Basis arbeiten.

Ich denke, auch das wäre keine Unmöglichkeit (?)

Sprich so nach der Art:
Jede Woche ein pg_dump, und aber "ständig" den pg_basebackup aktiv haben.

Wieviel könnte den Schief gehen, wenn ich beide Modelle in einem Raid-Basiertem System (sprich, wo eine Festplatte mal ausfallen darf), und wöchentlich ein Backup mache, sprich, falls irgendwas den Geist aufgibt, das ganze auf die schnellste Device wiederherstellen kann.

Momentan wäre ich auf dem Lösungsweg, dass ich jede Woche einen Zettel ausdrucke, von allen Vermietungen der vergangenen Woche, und mich in der Art weiterschlängl.

Kann ich das Basebackup, bzw. den pg_dump am selben NAS platzieren?
Weil, vl. liege ich auch falsch, aber es sollte doch möglich sein, weil ich vorhabe, bei Netgear-NAS-Systemen zu bleiben, die Festplatten von einem System mit dem gleichen Basis-Betriebssystem erkennt werden sollte.

Der NAS bietet selbst (von Netgear einprogrammeirt) auch die Möglichkeit an, dass man Snapshots einprogrammiert, die er anlegen soll.

Ich habe mich jedoch noch nie damit auseinandergesetzt.

Danke aber auch für die Erläuterung, woher ich nähere Informationen bekommen kann

Neue Themen für mich, wo auch hier was geschrieben werden darf, wären jetzt:
1.: pg_dump
2.: pg_basebackup
3.: Das Snapshot-Programm, welches in Netgear vorhanden ist (Google und so für hier, der Rest aber aus Doku)

 

[akretschmer]

Ja, also ich würde gerne mit der 2. Methode arbeiten, aber, auch aufgrund der anderen Basis arbeiten.

Ich denke, auch das wäre keine Unmöglichkeit (?)

Natürlich nicht, schon gar nicht für Dich!

Also, lies Dir die Grundlagen an, PostgreSQL: Documentation: 10: Chapter 25. Backup and Restore , und für das kontinuierliche Backup empfehle ich Barman: Barman Backup & recovery for PostgreSQL

 

[Kampfgummibaerlie]

Lieber mr Elephant, wie könnte das Ganze aussehen?

Muss ich barman extra am NAS installeren? (denke, ja)

Und, weil du so schön sagst, mit dem ist es bestimmt möglich, frage ich mich, ob das ähnlich ist wie der PG-Admin, was ich mir aber nicht vorstellen kann, weil der Barman am NAS laufen sollte, denke ich.

Wäre dir sehr dankbar für den einen oder anderen Ruck, der mich weiter auf meinem Weg voranbringt.

 

[akretschmer]

Muss ich barman extra am NAS installeren? (denke, ja)

Ein Backup installiert man normalerweise auf einem extra System. Und ja: das ist keine graphische Anwendung, und das setzt auch einiges an Wissen über die Arbeitsweise von PostgreSQL voraus (sagt Dir WAL etwas?) Ich denke, das ist für Dich und Deine Zwecke etwa um den Faktor 1000 oversized, ein 'normales' pg_dump(all) reicht bei Dir völlig.

 

[Kampfgummibaerlie]

Ich habe bisher auch noch nie mt pg_dump gearbeitet ^^

Könnte ich diesen Befehl in PGAdmin anwenden, oder nur im SSH-Connect (Putty)?

Des weiteren würde mich interessieren, ob das pg_dump(all) automatisierbar ist, sprich im Sinne von "Einmal die Woche", oder auch "Einmal am Tag".

Ich meine, ich hatte schon vor, jeden Abend alle neuen Datensätze auszudrucken, und auf diese Art wiederum die Datensätze auf physische Art vorhanden zu haben, was aber auch nicht das wahre ist, denke ich, weil sobald der NAS ausfällt, ich am neuen NAS alle Datensätze nachtragen müsste.

Ich glaube, die Netgear NAS konnte man einmal pro Woche "automatisch" per einem Job, oder sowas, ein 100% Backup auf einen anderen NAS kopieren.
Das Thema Replication wäre hier falsch, oder auch einsetzbar?