rsnapshot und hardlinks auf dem zu sichernden Medium

[Alex Winzer]

Hallo,

dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.
Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt
und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich
z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster
und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen,
hardlinks erstellen und fertig. Die reinen Daten nehmen auf der HDD 50
GB ein auf dem Rechner werden mir aber 80 GB angezeigt. So weit, so gut.
Dasselbe mit Videos, die noch viel mehr Platz wegnehmen würden.

Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum
Platzsparen für sich selbst verwenden, sondern auch andere hardlinks
erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich
gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand
dann heraus, dass rsnapshot die von mir hard verlinkten Dateien doppelt
oder dreifach speichert. Innerhalb der Sicherungen legt er zwar wieder
hardlinks an; aber auf der Original-HDD vorhandene hardlinks ignoriert
rsnapshot beharrlich.
Natürlich habe ich im www schon nachgesehen, ob es dazu etwas gibt. Aber
entweder stelle ich mich zum Suchen zu dumm an oder es geht nicht. Auch
in /etc/rsnapshot.conf habe ich nichts gefunden, was darauf hinweisen würde.

Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann,
bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die
Sicherung zu übernehmen?
Falls ja, wie?
Das würde ja abermals Platz sparen.

Gruß und Dank fürs Mitdenken

Alex

[Manfred Kreisl]

Hallo Alex,

Post by Alex Winzer
Hallo,

[...]

Post by Alex Winzer
Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum
Platzsparen für sich selbst verwenden, sondern auch andere hardlinks
erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich
gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand
dann heraus, dass rsnapshot die von mir hard verlinkten Dateien doppelt
oder dreifach speichert. Innerhalb der Sicherungen legt er zwar wieder
hardlinks an; aber auf der Original-HDD vorhandene hardlinks ignoriert
rsnapshot beharrlich.
Natürlich habe ich im www schon nachgesehen, ob es dazu etwas gibt. Aber
entweder stelle ich mich zum Suchen zu dumm an oder es geht nicht. Auch
in /etc/rsnapshot.conf habe ich nichts gefunden, was darauf hinweisen würde.
Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann,
bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die
Sicherung zu übernehmen?
Falls ja, wie?

Überprüfe mal in der rsnapshot.conf, ob das -H Flag bei rsync_short_args
gesetzt ist. So wie ich das lese sollte das aber Default sein. Falls es
gesetzt ist, weiß ich leider auch nicht weiter

Gruß Manfred

[Martin Hofius]

Hallo Alex,

Post by Alex Winzer
Hallo,
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.

...

Post by Alex Winzer
Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum
Platzsparen für sich selbst verwenden, sondern auch andere hardlinks
erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich
gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand

...

Post by Alex Winzer
Daher frage ich mal in der Liste, ob man rsnapshot dazu bringen kann,
bereits vorhandene hardlinks auf dem zu sichernden Medium 1:1 in die
Sicherung zu übernehmen?
Falls ja, wie?
Das würde ja abermals Platz sparen.
Gruß und Dank fürs Mitdenken
Alex

Mit rsnapshot habe ich das noch nicht probiert - mit rsync und der Option -link-dest (oder so ähnlich) geht das problemlos.

Gruß
Martin

[Tobias Crefeld]

Am Sat, 21 Jun 2014 17:59:32 +0200

Post by Alex Winzer
Jetzt dachte ich immer, rsnapshot würde die hardlinks nicht nur zum
Platzsparen für sich selbst verwenden, sondern auch andere hardlinks
erkennen und übernehmen. Dem ist aber nicht so. Ich hatte mich
gewundert, warum meine Backup-HDD langsam immer voller wird. Ich fand
dann heraus, dass rsnapshot die von mir hard verlinkten Dateien
doppelt oder dreifach speichert.

Ich kenne rsnapshot nicht, aber ich denke, dass dies ein prinzipielles
Problem von hardlinks ist: Nach Erstellung eines hardlink hast Du zwei
Verzeichniseinträge, die auf dieselbe Datei zeigen und die beiden sind
"gleichberechtigt", man kann also nach Erstellung eines hardlink nicht
mehr unterscheiden, welches der ursprüngliche und welches der
hardlink-Eintrag ist.

Das rsnapshot seine eigenen hardlinks erkennt, wie Du anführst, lässt
vermuten, dass es eine Tabelle seiner selbsterstellten hardlinks
mitführt. Andernfalls müsste es dasselbe Problem haben.
--
Mit freundlichen Grüßen,
Tobias Crefeld.


Vogelweide 2a
D-85375 Neufahrn bei Freising
Tel.: [phone]

xmpp (no email): ***@xabber.de

[Martin Schröder]

Post by Tobias Crefeld
Ich kenne rsnapshot nicht, aber ich denke, dass dies ein prinzipielles
Problem von hardlinks ist: Nach Erstellung eines hardlink hast Du zwei
Verzeichniseinträge, die auf dieselbe Datei zeigen und die beiden sind
"gleichberechtigt", man kann also nach Erstellung eines hardlink nicht
mehr unterscheiden, welches der ursprüngliche und welches der
hardlink-Eintrag ist.

Das macht alles rsync. Und die man-page sagt:

"Note that rsync can only detect hard links between files that are
inside the transfer set. If rsync updates a file that has extra
hard-link connections to files outside the transfer, that linkage will
be broken."

Von daher wird's mit Hardlinks prinzipiell nicht funktionieren,
fürchte ich.

Gruß
Martin

[mararm]

Hallo Alex,

Post by Alex Winzer
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.
Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt
und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich
z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster
und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen,
hardlinks erstellen und fertig.

Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du
gezielt Hard- statt Soft-Links dafür und wenn ja, warum?

Gruß
mararm

[Alex Winzer]

Hallo,

Post by Manfred Kreisl
Hallo Alex,

Post by Alex Winzer
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.
Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt
und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich
z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster
und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen,
hardlinks erstellen und fertig.

Danke zunächst erstmal für Eure zahlreichen Hinweise.

Dass rsync symlinks grundsätzlich übertragen kann, war/ist mir bekannt.
Ich nutze das bereits für mein 12stündliches Backup an eine anderen
Standort. Und soweit ich das sehe führt rsnapshot auch keine Liste der
hardlinks, sondern prüft die Dateien "einfach" der Reihe nach durch und
wenn es Identität feststellt, wird ein Hardlink erstellt.

Leider hatte ich dieses Wochenende kein Vollbackup gemacht. Ich werde
aber - hoffentlich - nächstes Wochende mal mein Glück mit dem Schalter
-H bei rsync_short_args probieren und dann berichten. Ich frage mich
auch schon seit längerem, wie rsnapshot die Identität prüft. Bei meinen
Backups per rsync benutze ich den Schalter -c bzw. --checksum, damit
explizit nicht nur Datum etc. geprüft wird, sondern der gesamte Inhalt.

Post by Manfred Kreisl
Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du
gezielt Hard- statt Soft-Links dafür und wenn ja, warum?

Die entsprechenden Partitionen sind sämtlichst mittels samba als
Fileserver freigegeben. Die Benutzer dürfen und sollen auch bestimmte
Dateien, Verzeichnisse etc. umbenennen.
In der Vergangenheit hatte ich es tatsächlich mit symlinks probiert.
Wenn aber z.B. jemand den Namen eines Originalverzeichnisses ändert, ist
der gesamte Inhalt des/der darauf verweisenden symlinks plötzlich
verschwunden. Und samba zeigt die "defekten" symlinks - anders als auf
dem System direkt - auch nicht mehr an, so dass man stutzig werden
könnte, sondern sie gänzlich unsichtbar und manchmal merkt man später
erst, dass etwas nicht stimmt.
Hardlinks kann ich problemlos umbenennen, denn es gibt kein Original und
keinen "Zeiger". Nur ein weiterer Vorteil ist, dass beim Löschen die
andere Datei erhalten bleibt. Mir würden sicher noch mehr Gründe
einfallen, was hier aber auch nicht das Thema ist.

Dass rsnapshot symlinks als solche sichert und damit Platz spart, ist
mir bekannt. Diese Variante scheidet aber aus den genannten Gründen aus.

Gruß, Alex

[Alex Winzer]

Hallo,

Post by Alex Winzer

Post by mararm

Post by Alex Winzer
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.
Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt
und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich
z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster
und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen,
hardlinks erstellen und fertig.

Danke zunächst erstmal für Eure zahlreichen Hinweise.
Dass rsync symlinks grundsätzlich übertragen kann, war/ist mir
bekannt. Ich nutze das bereits für mein 12stündliches Backup an eine
anderen Standort. Und soweit ich das sehe führt rsnapshot auch keine
Liste der hardlinks, sondern prüft die Dateien "einfach" der Reihe
nach durch und wenn es Identität feststellt, wird ein Hardlink erstellt.
Leider hatte ich dieses Wochenende kein Vollbackup gemacht. Ich werde
aber - hoffentlich - nächstes Wochende mal mein Glück mit dem Schalter
-H bei rsync_short_args probieren und dann berichten. Ich frage mich
auch schon seit längerem, wie rsnapshot die Identität prüft. Bei
meinen Backups per rsync benutze ich den Schalter -c bzw. --checksum,
damit explizit nicht nur Datum etc. geprüft wird, sondern der gesamte
Inhalt.

Heute konnte ich es probieren. Leider hat es nicht geklappt. Folgende
Fehlermeldung(en) kommt:
[29/Jun/2014:18:01:31] /usr/bin/rsync -Hv --delete --numeric-ids
--relative --delete-excluded --link-dest=/mnt/backup/weekly.1/.snapsh
ots/ /srv /mnt/backup/weekly.0/.snapshots/
[29/Jun/2014:18:01:31] /usr/bin/rsnapshot weekly: ERROR: /usr/bin/rsync
syntax or usage error. Does this version of rsync support --li
nk-dest?

Das geht schon einmal nicht. Leider kann ich das Backup heute nicht
nochmal fahren. Mein Kollege mault schon rum, wegen der offline Zeit
ABER: Ich habe gesehen, dass als Parameter folgendes mitgegeben wird:
[25/Aug/2013:12:53:14] /usr/bin/rsync -av --delete --numeric-ids
--relative --delete-excluded --link-dest=/mnt/backup/weekly.1/.snapsh
ots/ /opt /mnt/backup/weekly.0/.snapshots/

Es fehlt also das -a. Ob es wirklich daran liegt, kann ich also leider
erst nächste Woche probieren und werde dann der Vollständigkeit halber
wieder berichten.

Post by Alex Winzer

Post by mararm
Leider habe ich keine Hilfe bei deinem Problem, aber eine Frage. Benutzt du
gezielt Hard- statt Soft-Links dafür und wenn ja, warum?

[...]
Dass rsnapshot symlinks als solche sichert und damit Platz spart, ist
mir bekannt. Diese Variante scheidet aber aus den genannten Gründen aus.

Ich habe natürlich weiter gesucht. rsnapshot scheint irgendwie mit samba
zu tun tu haben.
Wie auch immer gibt es jedenfalls seit mehr als 2 Jahren einen Request
für genau die von mir gewünschte Funktion. Es steht immer noch auf open.

Gruß, Alex

[Alex Winzer]

Hallo,

Post by Alex Winzer

Post by Alex Winzer
dass rsnapshot für das Backup hardlinks nutzt und damit_Platz spart_,
ist mir seit langem bekannt.
Allerdings habe ich seit einiger Zeit selbst hardlinks für mich entdeckt
und nutze sie gern_und ausgiebig_ auf meinem Mediaserver. So kann ich
z.B. mp3-Dateien mit klassischer Musik einmal nach Album, nach Künster
und nach Interpreten einordnen. Einfach eine neues Verzeichnis anlegen,
hardlinks erstellen und fertig.

Danke zunächst erstmal für Eure zahlreichen Hinweise.
[...]

Wie versprochen, hier nun das Update:
Der Schalter -H hat mich auf die richtige Fährte geführt.
/etc/rsnapshot.conf sieht so aus:
# Default rsync args. All rsync commands have at least these options set.
#
#rsync_short_args -a
#rsync_long_args --delete --numeric-ids --relative
--delete-excluded

Da muss man auch erstmal darauf kommen, dass man das -a mit setzen muss,
damit es klappt. Ich hätte erwartet, dass das rsnapshot von allein
macht. Mit folgendem setting habe ich jetzt rsnapshot beigebracht aus 82
GB noch 61 GB zu machen bzw. zu nutzen:
rsync_short_args -aH

Ich freu mich! Danke für Eure Hinweise.
Gruß, Alex