helpstoreBackup - Support: sr #108785, import/reuse (older only rsynced)...

 
 

sr #108785: import/reuse (older only rsynced) copy as first backup version

Submitted by:  None
Submitted on:  Sat 04 Apr 2015 11:50:44 PM UTC  
 
Category:  None Priority:  5 - Normal
Severity:  3 - Normal Status:  None
Privacy:  Public Assigned to:  None
Originator Email:  -email is unavailable- Open/Closed:  Open
Operating System:  None

Add a New Comment (Rich Markup)
   

You are not logged in

Please log in, so followups can be emailed to you.

 

Sun 05 Apr 2015 07:02:38 AM UTC, comment #1: 

Hallo, ich versuch's mal :-) .

Ich vermute jetzt mal, dass Du Dich in Linux ein wenig einarbeiten willst, um generell ein besseres Verständnis davon zu bekommen. Dazu sollte auch die Kommandozeile gehören - ein grundlegendes Verständnis der Kommandos pwd, ls, rm, mkdir, cd, su (bzw. sudo), nano (oder ein besserer, aber komplexerer Editor) schadet da ganz bestimmt nicht. Natürlich gibt es noch alles mögliche andere, aber das wäre ein Anfang. Du wärst nicht der erste, der über dieses Backuptool eine (steile) Lernkurve des Verständnisses für sein System bekommt. Und verwende nie ein Backup, bei dem Du nicht einigermaßen verstehst, was passiert und wie Du wieder an die Daten kommst. Das Backup ist das einzige, was Dich vom Datenverlust schützt. Daher ist es auch wichtig, eine möglichst lange Historie vorhalten zu können. Wenn Du (oder ein Programm) versehentlich etwas löscht, merkst Du das eventuell erst Monate später.

Es geht wahrscheinlich auch ohne Kommandozeile, ist aber sicherlich letztendlich komplizierter, insbesondere, da für das Backup eventuell root-Rechte erforderlich sind (da Du nur dein Home-Verzeichnis sichern willst, sollte es eventuell auch ganz ohne root-Rechte gehen).

Installiere storeBackup (aktuelle Version 3.5) irgendwo hin (siehe Anleitung "Installation" in der Doku) und mach ein paar Backups (mit Grundeinstellungen) von ein paar Dateien in einem Verzeichnis in ein anderes Verzeichnis. in dem gesicherten Verzeichnis sollte mindestens eine Datei doppelt vorkommen. Wie das geht, steht in "Erste Schritte". Lies Dir auch - falls nicht schon erfolgt - das Kapitel über Hard-Links (am Besten das ganze Kapitel "Wie storeBackup arbeitet") durch. Verwende die Optionen --sourceDir, --backupDir und --checkCompr.

Das Verständnis von Hard-Links ist fundamental wichtig.

StoreBackup funktioniert sehr anders als rsync. Rsync ist dazu gedacht - wie schon der Name sagt - Dateien zu synchronisieren (Offline Spiegelung). Darin ist es - vor allem über miese Leitungen - hervorragend. Als einfaches Backup-Tool ist dann das "Hard-Link" Feature hinzugekommen, um Historien erzeugen zu können. Das basiert aber nach wie vor auf dem synchronisation-Feature.

Bei storeBackup wird von jeder Datei erst mal eine Prüfsumme berechnet, anschließend (bei Verwendung --checkCompr) abgeschätzt, ob es lohnt die Datei zu komprimieren, dh. die Datei wird ggf. komprimiert. Falls eine Datei gleichen Inhalts in Deinem sourceDir schon existiert (das passiert öfter, als man glaubt), wird sie nicht neu angelegt, sondern per Hard Link auf sie verwiesen (das nennt man Deduplikation). Die Deduplikation erfolgt übrigens direkt während des Backups - die Daten werden nicht erst kopiert und dann dedupliziert. Für Dich bedeutet das, dass Du wahrscheinlich (hängt von den Dateitypen ab) deutlich weniger Plattenplatz als bei rsync benötigst. Es bedeutet aber auch, dass die erste Sicherung ziemlich lange dauert (Prüfsummen berechnen, ggf. Komprimieren). Da Du eine usb-2 Platte verwendest (habe ich auch), ist die (erste) Sicherung eventuell schneller als mit rsync, da Dateien komprimiert werden und Doubletten direkt gefunden werden, müssen weniger Daten über usb-2 übertragen werden. Das hängt aber - wie schon erwähnt, u.a. von den zu sichernden Daten ab.

Ab dem zweiten Backup passiert das nicht mehr. StoreBackup überprüft anhand des Datums (ctime, mtime) sowie der Dateigröße, ob eine Datei schon im vorigen Backup ist. Wenn ja, wird ein Hard Link auf die schon im Backup befindliche Datei gesetzt. Das ist so ähnlich, wie bei rsync (außer, dass rsync Kompression nicht berücksichtigt und nur die mtime verwendet). Falls genau diese Datei (gleicher Pfad, Name + Zeitstempel) nicht existiert, wird bei storeBackup die Prüfsumme berechnet und die Datei ggf. per hard Link verlinkt oder neu angelegt (ggf. komprimiert). Rsync würde die Datei nur kopieren. Ab dem zweiten Backup ist storeBackup also sehr schnell und die usb-2 Platte bremst nur noch sehr wenig (bei wirklich neuen Dateien - Dateien in z.B. unbenannten Verzeichnisse werden "wiedererkannt").

Vielleicht ist die jetzt klar geworden, dass rsync und storeBackup ein grundsätzlich sehr anderes Vorgehen haben. Daher ist es auch nicht möglich, eine von rsync erstellte Kopie in ein storeBackup-Backup zu überführen (Deduplikation + Kompression + Meta-Daten). (Falls Du irgendwann mal "blocked files" verwenden solltest, sind die Unterschiede noch größer.) Das Ändern des Verzeichnisnamens für das Backup ist da keineswegs ausreichend. Die Massnahmen von storeBackup müssen ja irgendwie durchgeführt werden. Falls Du storeBackup verwenden willst, musst Du das Backup neu durchführen und die alte Kopie löschen.

Du schreibst, dass die externe Platte mit der Kopie bereits 2/3 des Platzes einnimmt. Wenn du noch eine Historie dazu bekommst, wird es relativ schnell eng werden. Es macht also sehr viel Sinn, nicht nur die Deduplikation zu nutzen (was über die Zeit sehr viel bringt), sondern auch die Kompression eingeschaltet zu lassen. (Ich weiß allerdings nicht, inwieweit die Daten komprimierbar sind.) Für die Rücksicherung einzelnen Dateien ist es (auch über GUI) kein Problem, sie zu entpacken und für die Rücksicherung von (Teil-)Verzeichnisbäumen macht storeBackupRecover.pl alles für Dich.)

Ich hoffe, das erklärt erst mal einiges. Falls Dir Teile davon sowieso schon klar waren - sorry.

Grüße, Heinz-Josef

Heinz-Josef Claes <hjclaes>
Project Administrator
Sat 04 Apr 2015 11:50:44 PM UTC, original submission:  

Hi,
I want to start to use storeBackup. On my external drive I have a folder "backup" that contains a copy of all the folders from my home-directory that I want to backup (I only recently became aware of the difference between a copy and a true backup). This copy is a couple of months old and was made with rsync. I'd like to "import" this copy into storeBackup so that when I run storeBackup for the first time only the changed files will be copied. This would be much better for me than copying all files and then deduplicating them because this would save much time because I have a lot of data (which takes up about two thirds of my external hdd) and I only have a usb2-connection.
I think my situation is somewhat analog to a situation when one accidently deleted all the hidden, special files generated and used by storeBackup(?)
I guess my need is not too uncommon but I really can't find a solution in the manual. None of the options for storeBackup.pl or storeBackupUpdateBackup.pl seem to help. In the support forum there is thread 108338 (about merging different storeBackup series) which seems relevant. Heinz-Josef pointed to the option "otherBackupSeries". But as far as I understand this option only works with folders from a storeBackup series. 
Unfortunatly my knowledge of the cli is very limited so that I cannot create those files manually.
I ran out of ideas after renaming my folder "backup" to "2014.12.01_20.00.00" and moving it to storeBackup_path/default/ . Then I tried running storeBackup but it doesn't work because the hidden folder .storeBackupLinks is missing. So I created it manually. At least storeBackup runs now but I only get a full copy.... In my config file I have the option comprRule=0 . 
Any Help?

PS replies in German are much appreciated, too. Thanks a lot for storeBackup. its combination of options seems unique.

Anonymous

 

(Note: upload size limit is set to 16384 kB, after insertion of the required escape characters.)

Attach Files:
   
   
Comment:
   

No files currently attached

 

Depends on the following items: None found

Items that depend on this one: None found

 

Carbon-Copy List
  • -email is unavailable- added by hjclaes (Posted a comment)
  •  

    Do you think this task is very important?
    If so, you can add your encouragement to it.
    This task has 0 encouragements so far.

    Only logged-in users can vote.

     

     

     

    No changes have been made to this item

    Back to the top


    Powered by Savane 3.7