Transparentes Dateisystem in 2GB-Dateien?

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Transparentes Dateisystem in 2GB-Dateien?

Beitrag von Cae » 14.03.2012 12:29:35

Hallo zusammen,

das ist etwas kompliziert zu erklären: Nehmen wir einmal an, ein tar-ähnliches Archiv könnte transparent gemountet werden, zum Beispiel über FUSE. Dieses Archiv soll aber selbst transparent auf mehrere Dateien verteilt sein, welche wiederum in unterschiedlichen Pfaden liegen.

Visualisiert:

Code: Alles auswählen

                 /media/foo/                     
                      |                         
                    FUSE                        
                      |                         
                    "tar"                       
     _________________|________________     
    /        |        |        |       \      
[ file ] [ file ] [ file ] [ file ] [ file ]
Wobei die Dateien letztendlich auf USB-Sticks verteilt werden, die sind hier einfach gemountet und deswegen nicht aufgeführt.

Gibt's sowas?

Gruß Cae
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
peschmae
Beiträge: 4844
Registriert: 07.01.2003 12:50:33
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: nirgendwo im irgendwo

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von peschmae » 14.03.2012 15:15:13

Du willst ein Raid(0/1/5) auf USB-Sticks aufbauen? Natürlich geht das - mit LVM oder md. Da kannst du dann auch ein Tar-File drauf speichern. Allerdings fällst du damit natürlich auf die Nase sobald einer kommt und anfängt USB Sticks auszustecken :D

MfG Peschmä
"er hätte nicht in die usa ziehen dürfen - die versauen alles" -- Snoopy

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von Cae » 14.03.2012 15:43:49

peschmae hat geschrieben:Du willst ein Raid(0/1/5) auf USB-Sticks aufbauen? Natürlich geht das - mit LVM oder md.
Klar geht das, das möchte ich bloß nicht. Die "Dateisystem-Dateien" liegen selbst auf einem Dateisystem, nicht als LVM auf dem physikalischen Datenträger.
Das USB-Stick-RAID ist ein anderes Spielfeld, an dem ich mich auch mal versuchen will, bisher habe ich mich mit RAID und LVM auf Festplatten mit Scheibe(n) beschränkt.

Gruß Cae
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
hikaru
Moderator
Beiträge: 13954
Registriert: 09.04.2008 12:48:59

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von hikaru » 14.03.2012 16:16:36

Cae hat geschrieben:Klar geht das, das möchte ich bloß nicht.
Was spricht denn dagegen eine Hand voll 2GB-Dateien mit dd aus /dev/zero zu ziehen, auf diese Dateien ein LVM zu setzen und die Dateien wiederum auf den Dateisystemen von USB-Sticks zu speichern?

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von Cae » 14.03.2012 16:19:24

hikaru hat geschrieben:Was spricht denn dagegen eine Hand voll 2GB-Dateien mit dd aus /dev/zero zu ziehen, auf diese Dateien ein LVM zu setzen und die Dateien wiederum auf den Dateisystemen von USB-Sticks zu speichern?
(pv|vg|lv)create benötigen root-Rechte, und ich war da noch nicht experimentierfreundlich genug. Aber dafür gibt's VMs, ich probier das mal.

Gruß Cae

--Edit: Das kommt bei raus:

Code: Alles auswählen

# for $dev in a b c d; do dd if=/dev/zero bs=1M count=16 of=sd${dev}; done
# ls
sda sdb sdc sdd
# pvcreate sda
  Device sda not found (or ignored by filtering).
Ist abgetippt, sollte aber stimmen. Bei pvcreate -f kommt dasselbe raus. In die Dateien wird nix geschrieben. Jetzt müsste ich bloß dem Teil beibringen, dass diese Datei als ein Device zu verstehen ist, mount --loop gibt's ja, ist nur eine Ebene höher
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
peschmae
Beiträge: 4844
Registriert: 07.01.2003 12:50:33
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: nirgendwo im irgendwo

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von peschmae » 15.03.2012 08:41:59

Cae hat geschrieben:Ist abgetippt, sollte aber stimmen. Bei pvcreate -f kommt dasselbe raus. In die Dateien wird nix geschrieben. Jetzt müsste ich bloß dem Teil beibringen, dass diese Datei als ein Device zu verstehen ist, mount --loop gibt's ja, ist nur eine Ebene höher
losetup /dev/loop0 /pfad/zu/image.img sollte eigentlich genau das tun. Das mount -o loop ist eigentlich nur eine Abkürzung für losetup+mount...

Dass man dafür Root-Rechte benötigt ist natürlich ein Punkt und eher unschön. Allerdings fällt mir im Userspace jetzt auch gerade nichts ein - in FUSE gibts nur ein Mirror-Raid, damit könnte man eventuell was anfangen. Allerdings wird das, wie sichs für ein FUSE-Dateisystem gehört, schon eine Weile nicht mehr weiterentwickelt....

MfG Peschmä
"er hätte nicht in die usa ziehen dürfen - die versauen alles" -- Snoopy

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von Cae » 15.03.2012 10:06:42

Mit losetup funktioniert das sogar, script-Log unter [1]. Schöner wäre natürlich noch eine Variante ohne root-Bedarf, aber so ist's auch schon ganz geil. Danke!

Gruß Cae

[1] pastebin.php?mode=view&s=36336
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von Cae » 18.03.2012 20:41:47

In dem Zusammenhang wäre auch Debians3ql interessant, allerdings ist es erst in Wheezy. Mal ausprobieren.

Gruß Cae
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
peschmae
Beiträge: 4844
Registriert: 07.01.2003 12:50:33
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: nirgendwo im irgendwo

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von peschmae » 21.03.2012 16:01:22

Eventuell könntest du auch was mit ZFS-Fuse basteln, siehe http://zfs-fuse.net/ und http://www.pro-linux.de/artikel/2/1181/ ... linux.html.

Wobei ich mir das jetzt nicht genug gut überlegt habe um zu wissen ob man damit das Loopback device basteln umgehen kann...

MfG Peschmä
"er hätte nicht in die usa ziehen dürfen - die versauen alles" -- Snoopy

uname
Beiträge: 12474
Registriert: 03.06.2008 09:33:02

Re: Transparentes Dateisystem in 2GB-Dateien?

Beitrag von uname » 21.03.2012 16:04:15

Wie die Implementierung dann aussieht kann man hier anschauen: http://www.youtube.com/watch?v=1zw8V8g5eT0

Antworten