Kernel oops ausgelöst durch userspace Anwendung?

[scus]

Hallo,
ich hoffe ich bin an der richtigen Stelle mit meinem Anliegen. Hier die Situation:
Ich betreibe zwei NAS Boxen, die mit Debian (jessie) laufen (QNAP TS-110 (3.12-1-kirkwood, armv5tel, aus dem Repository); D-Link DNS-320L (3.12.11, armv5tel, selbst kompiliert)). Auf beiden liegt "/" auf einer ext4 Partition und die Daten auf einer btrfs Partition. Außerdem läuft auf beiden BitTorrent Sync.

Ich bekomme nun auf beiden Maschinen einen Kernel OOPS. Nun stellt sich mir die Frage, woher kommt genau der Kernel OOPS?

syslog sagt mir dazu "Process btsync (pid: 2713, stack limit = 0xc1cb21c0)". Ich dachte aber bisher, dass userspace Anwendungen, falls etwas passiert, nur einen segfault produzieren und nicht den Kernel derart stören!? Könnte es evtl. an btrfs liegen? Mir ist bewusst, dass hier kein Support für BitTorrent Sync geleistet wird/werden kann. Ich bin z.Z. erstmal auf der Suche nach der richtigen Stelle, um den Fehler zu melden und den syslog Auszug zu verstehen.


Kompletter Auszug aus dem syslog (sieht auf beiden Maschinen gleich aus, bis auf abweichende Zahlenwerte):

Code: Alles auswählen

Mar 24 12:18:14 turing kernel: [54281.731665] Unable to handle kernel paging request at virtual address 92100000
Mar 24 12:18:15 turing kernel: [54281.739021] pgd = cd014000
Mar 24 12:18:15 turing kernel: [54281.741763] [92100000] *pgd=00000000
Mar 24 12:18:15 turing kernel: [54281.745366] Internal error: Oops: 5 [#1] ARM
Mar 24 12:18:15 turing kernel: [54281.749657] Modules linked in: nls_utf8 ntfs nfsd auth_rpcgss oid_registry nfs_acl nfs lockd fscache sunrpc sg usb_storage btrfs raid6_pq crc32c libcrc32c xor evdev ehci_orion ehci_hcd orion_wdt marvell hmac mvmdio sha1_generic usbcore usb_common sha1_arm mv643xx_eth of_mdio mv_cesa libphy loop gpio_keys autofs4 ext4 mbcache jbd2 sd_mod crc_t10dif crct10dif_common sata_mv libata scsi_mod
Mar 24 12:18:15 turing kernel: [54281.784510] CPU: 0 PID: 2713 Comm: btsync Not tainted 3.12-1-kirkwood #1 Debian 3.12.9-1
Mar 24 12:18:15 turing kernel: [54281.792642] task: c8e4a4c0 ti: c1cb2000 task.ti: c1cb2000
Mar 24 12:18:15 turing kernel: [54281.798073] PC is at memcpy+0x108/0x3a4
Mar 24 12:18:15 turing kernel: [54281.802308] LR is at read_extent_buffer+0xd0/0xf8 [btrfs]
Mar 24 12:18:15 turing kernel: [54281.807741] pc : [<c01cdee8>]    lr : [<bf2858b8>]    psr: 60000013
Mar 24 12:18:15 turing kernel: [54281.807741] sp : c1cb3b5c  ip : 00000002  fp : c0513500
Mar 24 12:18:15 turing kernel: [54281.819272] r10: c05adf10  r9 : 000003f8  r8 : cf757f14
Mar 24 12:18:15 turing kernel: [54281.824522] r7 : 00000000  r6 : c609b952  r5 : 000003f8  r4 : 00000004
Mar 24 12:18:15 turing kernel: [54281.831080] r3 : 00000000  r2 : 000003f4  r1 : 92100000  r0 : c609b55a
Mar 24 12:18:15 turing kernel: [54281.837637] Flags: nZCv  IRQs on  FIQs on  Mode SVC_32  ISA ARM  Segment user
Mar 24 12:18:15 turing kernel: [54281.844805] Control: 0005397f  Table: 0d014000  DAC: 00000015
Mar 24 12:18:15 turing kernel: [54281.850577] Process btsync (pid: 2713, stack limit = 0xc1cb21c0)
Mar 24 12:18:15 turing kernel: [54281.856611] Stack: (0xc1cb3b5c to 0xc1cb4000)
Mar 24 12:18:15 turing kernel: [54281.860990] 3b40:                                                                c609b55a
Mar 24 12:18:15 turing kernel: [54281.869212] 3b60: 00000004 bf2858b8 00000952 00000952 00001000 00003a2c c609b000 cf74f498
Mar 24 12:18:15 turing kernel: [54281.877434] 3b80: 00000000 c4e8ee38 c1a7e000 bf268978 0000366a 00000000 00000000 00000000
Mar 24 12:18:15 turing kernel: [54281.885657] 3ba0: 00000000 00001008 c067f360 ffffffff 00000952 00000000 00000000 00000000
Mar 24 12:18:15 turing kernel: [54281.893880] 3bc0: 00000000 00000000 00001000 00000000 00000000 00000000 c6c83648 c6c83540
Mar 24 12:18:15 turing kernel: [54281.902103] 3be0: 00000000 00003a2c bf27f9a4 6a27e6ac 00000036 6c000000 00000000 00000000
Mar 24 12:18:15 turing kernel: [54281.910327] 3c00: c6c83550 c067f360 00000000 00001000 bf268210 0000055a 00000000 00000000
Mar 24 12:18:15 turing kernel: [54281.918548] 3c20: 00000000 bf282844 00000000 00000000 00001000 00000000 00000000 00000fff
Mar 24 12:18:15 turing kernel: [54281.926773] 3c40: 00000000 c1cb3c8c c6c83550 c1cb3c98 00000000 bf2808f0 00000fff 00000000
Mar 24 12:18:15 turing kernel: [54281.934995] 3c60: 00001000 00000000 0000055a 00000000 c6c83550 00000000 00000fff 00000000
Mar 24 12:18:15 turing kernel: [54281.943218] 3c80: c1cb3d74 00000000 cef01800 cee75018 c6c83648 00000000 c6c835b8 c6c83550
Mar 24 12:18:15 turing kernel: [54281.951441] 3ca0: 00001000 00000000 c6c83648 bf268210 00001000 00000000 00000001 00000000
Mar 24 12:18:15 turing kernel: [54281.959663] 3cc0: 00000000 00000000 00000000 c1cb3d7c c6c83550 c1cb3d70 00000001 00000000
Mar 24 12:18:15 turing kernel: [54281.967887] 3ce0: 00000000 bf2830fc c1cb3d6c 00000000 c1cb3d70 00000000 000213da c055287c
Mar 24 12:18:15 turing kernel: [54281.976110] 3d00: 00001000 00000000 c6c8370c 00000000 00000001 bf268210 00000001 c6c8370c
Mar 24 12:18:15 turing kernel: [54281.984333] 3d20: 00200200 c00992b8 00000050 00000001 c067f360 c1cb3e04 00000001 c6c83550
Mar 24 12:18:15 turing kernel: [54281.992557] 3d40: 00000001 c6c8370c 00200200 bf284024 c1cb3d74 c1cb3d6c c1cb3d70 00000002
Mar 24 12:18:15 turing kernel: [54282.000778] 3d60: cee73800 00000000 cd014000 00000000 00000000 00000000 c067f360 00000002
Mar 24 12:18:15 turing kernel: [54282.009001] 3d80: 00000000 c0552878 c1cb2010 00000000 00000000 00000000 00000001 00000002
Mar 24 12:18:15 turing kernel: [54282.017226] 3da0: cefedc00 c1cb2000 c1cb2030 c1cb3eb8 c1cb3ddc 00000000 c0552328 00000001
Mar 24 12:18:15 turing kernel: [54282.025448] 3dc0: c6c8370c c1cb3e04 bf26729c cbc338c0 00000400 00000001 00000200 bf2672b4
Mar 24 12:18:15 turing kernel: [54282.033671] 3de0: bf268210 c6c8370c c1cb3e04 c00a1fb0 af7ff000 00000000 00000000 c6c83710
Mar 24 12:18:15 turing kernel: [54282.041895] 3e00: cee73800 c1cb3e04 c1cb3e04 91827364 c1cb3e10 c1cb3e10 c1cb3e18 c1cb3e18
Mar 24 12:18:15 turing kernel: [54282.050117] 3e20: b4625086 c6c8370c 0000001d 00000000 ffffffff cbc338c0 00000000 00000000
Mar 24 12:18:15 turing kernel: [54282.058340] 3e40: 00000200 c00a229c 00000200 c6c8370c cbc338c0 c00a24fc 00000000 00000200
Mar 24 12:18:15 turing kernel: [54282.066562] 3e60: cbc338c0 00000000 c6c8370c c009a01c 00000200 00000000 c87d7680 c00bb34c
Mar 24 12:18:15 turing kernel: [54282.074786] 3e80: af7ff004 00000000 00000fff c1cb3f08 c1cb3f00 00000000 af7ff000 cee73800
Mar 24 12:18:15 turing kernel: [54282.083009] 3ea0: 00000000 c87d7680 c6c83648 cbc33908 00000200 00000001 ccef81b0 00000000
Mar 24 12:18:15 turing kernel: [54282.091231] 3ec0: 00000000 00200000 af7ff008 00000000 cbc338c8 00000000 00000000 c1cb3f80
Mar 24 12:18:15 turing kernel: [54282.099454] 3ee0: cbc338c0 00200000 00200000 00000000 b36fb898 c00d59f0 00000000 00000000
Mar 24 12:18:15 turing kernel: [54282.107677] 3f00: af7ff008 00200000 cbc338c0 00000000 00000000 00000000 c8e4a4c0 00000000
Mar 24 12:18:15 turing kernel: [54282.115898] 3f20: 00000000 00000000 00000000 00000000 00200000 00000000 00000000 00000000
Mar 24 12:18:15 turing kernel: [54282.124125] 3f40: cbc338c0 af7ff008 cbc338c0 c1cb2018 c1cb3f80 c00d5f64 cbc338c0 af7ff008
Mar 24 12:18:15 turing kernel: [54282.132346] 3f60: 00000000 00000000 cbc338c0 00000001 af7ff008 00200000 00000000 c00d66bc
Mar 24 12:18:15 turing kernel: [54282.140568] 3f80: 00000000 00000000 00200000 00200000 af7ff008 00000019 00000003 c000e168
Mar 24 12:18:15 turing kernel: [54282.148794] 3fa0: c1cb2000 c000dfe0 00200000 af7ff008 00000019 af7ff008 00200000 b36fb898
Mar 24 12:18:15 turing kernel: [54282.157015] 3fc0: 00200000 af7ff008 00000019 00000003 b36fb7c4 00000001 00000000 b36fb898
Mar 24 12:18:15 turing kernel: [54282.165239] 3fe0: 00000000 b36fb3c0 b6e8acd4 b6e8ace4 80000010 00000019 fc4e23a2 6b3e4846
Mar 24 12:18:15 turing kernel: [54282.173462] Code: e8bd8011 e26cc004 e35c0002 c4d13001 (a4d14001) 
Mar 24 12:18:15 turing kernel: [54282.179687] ---[ end trace ee921ad6dfe19d33 ]---

Beste Grüße
scus

[rendegast]

QNAP has released its TS-110 NAS that will come with a 800MHz Marvell processor alongside 256MB of DDR2 RAM,

Baugleich zu D-Link DNS-320, mit folgenden Verbesserungen:
Doppelter Memory (256MB statt 128MB)
Mehr CPU Power (1Ghz statt 800Mhz)

Das dürfte für btrfs zu wenig sein.

Eventuell kannst du mit bonnie auch einen solchen Fehler hervorrufen.

[scus]

Hallo,
vielen Dank für den Tipp. Ich werde heute mal bei einem NAS die Daten auf eine ext4 Partition verfrachten. Mit bonnie++ konnte ich das Problem nicht reproduzieren (gibt es spezielle Parameterkonfigurationen, die ich probieren sollte?). Nur als allgemeine Frage: Kann es sein, dass der Fehler aus einem Userspace Programm kommt, oder muss ein Kernelmodul den Fehler produzieren?

Ich habe außerdem bemerkt, dass die Zeile

Code: Alles auswählen

Code: e8bd8011 e26cc004 e35c0002 c4d13001 (a4d14001) 

auf beiden Maschinen, bei allen Meldungen gleich ist. Die Adresse in

Code: Alles auswählen

Unable to handle kernel paging request at virtual address 92100000

ist auf jedem NAS jeweils gleichbleibend.

Viele Grüße
scus

[scus]

Beim runterkopieren meiner Daten habe ich nun das hier bekommen:

Code: Alles auswählen

[17933.282517] Unable to handle kernel paging request at virtual address 92100000
[17933.289830] pgd = c0834000
[17933.292554] [92100000] *pgd=00000000
[17933.296178] Internal error: Oops: 5 [#1] ARM
[17933.300461] Modules linked in: nls_utf8 ntfs nfsd auth_rpcgss oid_registry nfs_acl nfs lockd fscache sunrpc sg usb_storage btrfs raid6_pq crc32c libcrc32c xor ehci_orion marvell ehci_hcd hmac evdev sha1_generic orion_wdt sha1_arm mvmdio usbcore mv_cesa mv643xx_eth of_mdio usb_common libphy loop gpio_keys autofs4 ext4 mbcache jbd2 sd_mod crc_t10dif crct10dif_common sata_mv libata scsi_mod
[17933.335314] CPU: 0 PID: 1284 Comm: rsync Not tainted 3.12-1-kirkwood #1 Debian 3.12.9-1
[17933.343359] task: cf2014c0 ti: cd3fc000 task.ti: cd3fc000
[17933.348788] PC is at memcpy+0x108/0x3a4
[17933.353018] LR is at read_extent_buffer+0xd0/0xf8 [btrfs]
[17933.358448] pc : [<c01cdee8>]    lr : [<bf29f8b8>]    psr: 60000013
[17933.358448] sp : cd3fdb5c  ip : 00000002  fp : c0513500
[17933.369979] r10: c05adf10  r9 : 000003f8  r8 : cf71916c
[17933.375229] r7 : 00000000  r6 : c9132952  r5 : 000003f8  r4 : 00000004
[17933.381787] r3 : 00000000  r2 : 000003f4  r1 : 92100000  r0 : c913255a
[17933.388345] Flags: nZCv  IRQs on  FIQs on  Mode SVC_32  ISA ARM  Segment user
[17933.395512] Control: 0005397f  Table: 00834000  DAC: 00000015
[17933.401283] Process rsync (pid: 1284, stack limit = 0xcd3fc1c0)
[17933.407230] Stack: (0xcd3fdb5c to 0xcd3fe000)
[17933.411610] db40:                                                                c913255a
[17933.419832] db60: 00000004 bf29f8b8 00000952 00000952 00001000 00003a2c c9132000 c3479f18
[17933.428054] db80: 00000000 c2463498 cf979800 bf282978 0000366a 00000000 00000000 00000000
[17933.436277] dba0: 00000000 00001008 c06e0640 ffffffff 00000952 00000000 00000000 00000000
[17933.444500] dbc0: 00000000 00000000 00001000 00000000 00000000 00000000 c29eb708 c29eb600
[17933.452723] dbe0: 00000000 00003a2c bf2999a4 6a2986ac 00000036 6c000000 00000000 00000000
[17933.460945] dc00: c29eb610 c06e0640 00000000 00001000 bf282210 0000055a 00000000 00000000
[17933.469169] dc20: 00000000 bf29c844 00000000 00000000 00001000 00000000 00000000 00000fff
[17933.477393] dc40: 00000000 cd3fdc8c c29eb610 cd3fdc98 00000000 bf29a8f0 00000fff 00000000
[17933.485614] dc60: 00001000 00000000 0000055a 00000000 c29eb610 00000000 00000fff 00000000
[17933.493838] dc80: cd3fdd74 00000000 0000004a bf2564cc c29eb708 00000000 c29eb678 c29eb610
[17933.502061] dca0: 00001000 00000000 c29eb708 bf282210 00001000 00000000 00000001 00000000
[17933.510283] dcc0: 00000000 00000000 00000000 cd3fdd7c c29eb610 cd3fdd70 00000001 00000000
[17933.518507] dce0: 00000000 bf29d0fc cd3fdd6c 00000000 cd3fdd70 00000000 000213da c055287c
[17933.526730] dd00: 00001000 00000000 c29eb7cc 00000000 00000001 bf282210 00000001 c29eb7cc
[17933.534953] dd20: 00200200 c00992b8 00000050 00000001 c06e0640 cd3fde04 00000001 c29eb610
[17933.543177] dd40: 00000001 c29eb7cc 00200200 bf29e024 cd3fdd74 cd3fdd6c cd3fdd70 00000002
[17933.551398] dd60: 00000000 00000000 ced8a1a0 00000000 00000000 00000000 c06e0640 00000002
[17933.559622] dd80: c3479f24 c0552878 cd3fc010 cf8253e0 00000001 00000000 0000104f cf825410
[17933.567846] dda0: 6ae98481 cd3fc000 0000104f cf825410 6ae98481 c0045314 c0552328 00000001
[17933.576068] ddc0: c29eb7cc cd3fde04 bf28129c cf0efe00 00000004 00000001 00000001 bf2812b4
[17933.584290] dde0: bf282210 c29eb7cc cd3fde04 c00a1fb0 00000001 00000000 00000000 c29eb7d0
[17933.592515] de00: 00000000 cd3fde04 cd3fde04 91827364 cd3fde10 cd3fde10 cd3fde18 cd3fde18
[17933.600737] de20: c0376514 c29eb7cc 0000001d 00000000 ffffffff cf0efe00 00000000 00000000
[17933.608959] de40: 00000001 c00a229c 00000003 c29eb7cc cf0efe00 c00a24fc 00000000 00000001
[17933.617183] de60: cf0efe00 00000000 c29eb7cc c009a01c 00000001 c0032a44 00000001 cf80c200
[17933.625407] de80: ccaee824 60000013 00000fff cd3fdf08 cd3fdf00 00000000 cadb5bc0 c0032aec
[17933.633628] dea0: c051007c c4e8e000 c29eb708 cf0efe48 00000001 00000001 00000001 00000000
[17933.641851] dec0: 00000000 0000055a 024701e0 00000000 d1237264 00000000 00000000 cd3fdf80
[17933.650074] dee0: cf0efe00 0000055a 0000055a 00000000 0000055a c00d59f0 00000000 00000000
[17933.658297] df00: 024701e0 0000055a cf0efe00 00000000 00000000 00000000 cf2014c0 00000000
[17933.666518] df20: 00000000 00000000 00000000 00000000 0000055a 00000000 00000000 00000000
[17933.674745] df40: cf0efe00 024701e0 cf0efe00 cd3fc018 cd3fdf80 c00d5f64 cf0efe00 024701e0
[17933.682966] df60: 00000000 00000000 cf0efe00 00000000 024701e0 0000055a 00000000 c00d66bc
[17933.691188] df80: 00000000 00000000 0000055a 00000000 00000000 00000000 00000003 c000e168
[17933.699411] dfa0: cd3fc000 c000dfe0 00000000 00000000 00000003 024701e0 0000055a 00000000
[17933.707633] dfc0: 00000000 00000000 00000000 00000003 02aea250 00000000 0000055a 0000055a
[17933.715859] dfe0: 00000000 bee95524 0003e598 b6e8d04c 60000010 00000003 16fc67ee 4b5c68c8
[17933.724082] Code: e8bd8011 e26cc004 e35c0002 c4d13001 (a4d14001) 
[17933.730808] ---[ end trace 5b7de4406c391cf7 ]---

Das heißt dann wohl das es mit sehr großer Wahrscheinlichkeit an btrfs liegt!? Kann es sein, dass das Dateisystem beschädigt ist, und dies den btrfs Treiber aus dem Tritt bringt? Edit: Eventuell ein tiefer liegender Fehler im Treiber?

Grüße
scus

[rendegast]

Kann es sein, dass das Dateisystem beschädigt ist, und dies den btrfs Treiber aus dem Tritt bringt?

Das ließe sich prüfen,
wenn die Platte an einem Desktop-System (mit genügend RAM) ähnlich reagiert.
Auf dem Desktop sollte dann wohl auch ein neuerer Kernel (btrfs=work-in-progress) dafür eingesetzt werden.

Eventuell gibt auch usb den Fehler, dann die Platte direkt an einen sata-Controller hängen.
-> SMART-Fehler?

[storm]

Ich dachte aber bisher, dass userspace Anwendungen, falls etwas passiert, nur einen segfault produzieren und nicht den Kernel derart stören!?

Naja, diese strikte Trennung existiert so nicht. Eine Anwendung im userspace braucht für die Arbeit bestimmte Befehle, zB. lesen oder schreiben einer Datei von einem Speichermedium (read/write), und ein Aufruf eines solchen Befehls landet letztlich bei einem syscall, welcher im kernel space oder Ring 0 ausgeführt wird (->Kontextwechsel). Die Durchführung des syscalls kann ein gewünschtes oder unerwünschtes Ergebnis zur Folge haben und trotzdem in den user space zurück führen; oder es tritt eine Fehlersituation im kernel space auf, zB. ein oops. Das oops ist "weniger schlimm" (kernel ist weiter funktionsfähig, aber als kompromittiert zu betrachten) als eine panic (kernel stellt den Betrieb quasi ein). Im Zweifelsfall ist eine Anwendung so geschrieben, dass sie nur den Normalfall (gewünschtes oder ungewünschtes Ergebnis) behandelt, aber eben keinen kernel-Fehler erwartet. Die Situation ist also irgendwie verfahren.