[gelöst] Performance Problem mit Firebird Datenbank

[gnude]

Hallo,
ich habe ein grosses Problem mit einer Firebird Datenbank.

In der Firma arbeitet ein Warenwirtschaftssystem welches auf eine Firebird Datenbank aufsetzt.
Diese Datenbank läuft im Moment auf einen Windows 2003 Server mit folgender Ausstattung:
CPU: Athlon64X2
RAM: 4GB
Gigabit Netzwerkanschluss
Der Rechner schafft die Datenbank quasie nebenbei und ist nicht start ausgelastet.

Im Zuge der Linuxumstellung in der Firma soll dieser Rechner nun gegen einen Debian Server ausgetauscht werden.
Der neue Rechner verfügt übe folgende Ausstattung:
CPU: 2x XEON DualCore = 4 Cores
RAM: 4GB
Gigabitz Netzwerkanschluss
Als Software habe ich mich für Debian 5.0.7 mit Firebird 2.1 Classic entschieden.
(den Superserver habe ich auch probiert, aber noch schlechtere Ergebnisse damit erzielt).

Ich habe die Datenbank mit gfix -shut korrekt abgeschlossen und mit gbak -backup auf den neuen Server übertragen.
Anschliessend habe ich Testweise einen Client auf den neuen Server umgestellt und das Warenwirtschaftsprogramm gestartet. Die Kunden und Artikelverwaltung lief einwandfrei. Bei den Lieferscheinen ist beim ersten Zugriff eine Pause von einigen Minuten entstanden, dann klappte es.
Der Benutzer konnte arbeiten. Testweise wurden noch 2 Clients angeschlossen, und es klappte auch.

Dann habe ich Testweise die ganze Firma an die Datenbank angebunden, es handelt sich um 12 Clients/Mitarbeiter.
Die Performance der Datenbank ist bis zur Unbenutzbarkeit zusammengebrochen.
Das Arbeiten im Bereich der Kundenverwaltung ging grade so noch, aber im (volleren ) Bereich mit den Lieferscheinen und Angeboten ging gar nichts mehr.
Zu diesem Zeitpunkt habe ich einen Screenshot mit htop gemacht und beobachtet, das alle 3 Kerne um die 55% belastet waren. Beim Speicher waren 1,5 GB benutzt.

Die Datenbank Datei selbser ist ca. 550 MB gross.

Ich verstehe nicht, wie der Windows Rechner die tätigkeit nebenbei ohne Probleme schafft, aber der Linux Rechner komplett versagt. Im prinzipt greift das Warenwirtschaftsprogramm ja nur auf die Firebird Funktionen zu und dem ist es herzlich egal, ob am anderen Ende jetzt Linux oder Windows ist.
Dazu kommt das eine Benutzeranzahl von 15 Clients und einer 550MB Datenbank ja eigentlich ein Klacks ist aus Datenbanksicht.

Dem Hersteller der Software fällt auch nichts weiteres ein, vermutlich bin ich der einzigste mit diese Problem.

Ich bin über jeden Tipp dankbar, der mich der Linux Umstellung näher bringt,
und beantworte auch gern noch weitergehende Fragen, wenn irgendwas offen ist.

Gruss

[whisper]

Hat die Datenbank keine Configurationsfiles?
Wahrscheinlich ist unter Linux jetzt nur nicht die Einstellung für eure Umgebung eingestellt. Leider kenne ich die DB nicht,
wie die Dateien so im Package aussehen, scheint es keine conf zu geben, sondern wird mit den tools gemacht.
Hilft denn /usr/bin/fbstat nicht bei der Lokalisierung des Engpasses?

[gnude]

Hallo
hmm fbstat hilft grad wenig weil die Mitarbeiter wieder auf dem alten Server arbeiten...
Es wird eine firebird.conf Datei erzeugt, die aber mit den Standart-Einstellungen belegt ist.
Die gleiche Datei gibt es auch unter Windows, und sie sind identisch, auch bei Windows laufen die default Einstellungen.

[whisper]

Kennst du diesen Fred? http://www.administrator.de/article/det ... ?nr=150523
vielleicht ist er sogar von dir?
Jedenfalls sind da etliche Denkanstöße, die wohl Sinn machen

[Colttt]

ja ist von ihm..

[gnude]

So
ich möchte dieses Thema nochmal aufwärmen, weil ich nen interessanten Tipp bekommen habe,
den Wert der Semaphores und Shared Memory soll ich ändern,
das würde viel bringen.

in /proc/sys/kernel/sem
sollte folgendes stehen: 250 32000 288 128

und shmmax sollte auch gut dimensioniert sein,
nun habe ich diese Werte noch nie verändert, noch wusste ich das sie relevant sind.

Da die Lage sehr dringlich ist.... klammer ich mich an jedem Strohhalm!!!


Kann mir jemand was dazu sagen, wie ich die vieleicht ändere und was es realistisch bringt ????

[whisper]

Was hindert dich daran das auszuprobieren?
z.b. cat /proc/sys/kernel/shmmax
zeigt, was dein Kernel eben konfiguriert hat.
und echo "neuer wert" > /proc/sys/kernel/shmmax
sollte ihn ändern.
Dauerhaft in /etc/sysctl.conf eintragen.

Passendes Commando zur besseren Analyse: ipcs
Ohne Parameter zeigt die Übersicht über die momentane Ausnutzung
z.b. ipcs -l zeigt die Konfig

[whisper]

Was hindert dich daran das auszuprobieren?
z.b. cat /proc/sys/kernel/shmmax
zeigt, was dein Kernel eben konfiguriert hat.
und echo "neuer wert" > /proc/sys/kernel/shmmax
sollte ihn ändern.
Dauerhaft in /etc/sysctl.conf eintragen.

Passendes Commando zur besseren Analyse: ipcs
Ohne Parameter zeigt die Übersicht über die momentane Ausnutzung
z.b. ipcs -l zeigt die Konfig

Ps: Wenn das allerdings die Lösung ist, dann solltet ihr die Beratungsfirma wechseln. Wenn man Spezialist für eine bestimmte Datenbank Engine ist, sollte man nämlich schon wissen, was für spezielle Anforderungen an shm und semaphoren gestellt werden

[gnude]

Hallo,
da ich diese Werte nicht interpretieren kann,
und daher im Moment auch nicht weiss, was ich da rein schreiben sollte.....
hier mal die Ausgabe von ipcs -l

Code: Alles auswählen

------ Shared Memory Limits --------
max number of segments = 4096
max seg size (kbytes) = 32768
max total shared memory (kbytes) = 8388608
min seg size (bytes) = 1

------ Semaphore Limits --------
max number of arrays = 128
max semaphores per array = 250
max semaphores system wide = 32000
max ops per semop call = 32
semaphore max value = 32767

------ Messages: Limits --------
max queues system wide = 1718
max size of message (bytes) = 8192
default max size of queue (bytes) = 16384

[whisper]

Ok, das sind deine Settings... und die Usage? (ipcs)

[gnude]

Mom.
ich lasse grad das Backup der DAtenbank einlesen und mit dem Befehl "Time" messen,
um danach nen vergleichswert zu haben...
zum leeren des caches reicht da nen sync
oder lieber dd if=/Dev/zero of=/irgendeinedatei

[whisper]

Ein Backup wird nicht der typische Anwenungsfall sein, sehalb glaube ich nicht, das das wirklich eine Aussagekraft hat.
Bevor die Datenbank gestartet wird mach mal ipcs ohne Parameter und wenn sie läuft, auch.
Dann haben wir die Daten, dann sehen wir weiter.

[Colttt]

etwas OT:

was bedeuten diese Parameter?? ist mehr oder weniger besser?!

[whisper]

Zur Bedeutung:
Semaphoren sind Bereiche vom Arbeitsspeicher, mit denen Prozesse kommunizieren können. Manche Datenbanke wie Oracle benutzen das ausgiebig, ander wie mysql gar nicht. Jedenjalls nicht die myisam.
Mehr als nötig braucht man nicht, zu wenig geht nicht, dann klemmts irgendwo.
für Oracle: (via http://www.planetmy.com/blog/how-to-mod ... arameters/)
in /etc/sysctl.conf

kernel.sem = 4096 512000 1600 9000

# sysctl -p /etc/sysctl.conf

[whisper]

...und? Problem gefixt?

[gnude]

ich habe mit diesen werten gearbeitet
aber ohne erfolg.

nun habe ich die datenbank mit sinatica beobachtet
und mir ist aufgefallen, das dort sehr viele warunungen angezeigt werden...

es scheint irgendwas mit abfragen falsch zu laufen, und unter windows stört das nicht,
aber bei linux schlägt es voll durch....

[gnude]

Wenn es Sinn macht,
kann ich die Meldungen hier posten!

[rendegast]

Als Software habe ich mich für Debian 5.0.7 mit Firebird 2.1 Classic entschieden.

http://packages.debian.org/firebird2.1
so nicht für lenny gedacht? (libfbembed2.1, libicu44)

Was läuft denn auf dem windows-server?

[gnude]

Hallo
ich habe nun mal 2.5 superclassic probiert und was die Performance angeht sehr gute Erfahrungen gemacht.
Allerdings nur im "kleinen Kreis".
Nun ist aber 2.5 vom Hersteller noch nicht offiziell Freigegeben.
Und ... wenn ich die Datenbank damit bearbeite kann ich die mit 2.1 nicht mehr lesen,
und auch ein Backup/Restore klappt nicht mehr, weil gbak aus 2.1 nicht die Datei von 2.5 lesen kann.

[rendegast]

Nun ist aber 2.5 vom Hersteller noch nicht offiziell Freigegeben.

Was erzählst Du da?
http://www.firebirdsql.org/index.php?op=files : "Unsupported releases, still available: 1.5.6 1.0.3"
und in squeeze als normale Alternative.

[gnude]

Nun ist aber 2.5 vom Hersteller noch nicht offiziell Freigegeben.

Was erzählst Du da?
http://www.firebirdsql.org/index.php?op=files : "Unsupported releases, still available: 1.5.6 1.0.3"
und in squeeze als normale Alternative.

ich meinte vom hersteller des warenwirtschaftssystem für die zusammenarbeit der beiden produkte....

[gnude]

So
ein genauer Blick auf den alten Windows Server brachte folgendes zu Tage:

Das Laufwerk, auf dem die Datenbank liegt wurde aus zwei Festplatten per RAID 0 gebildet.

Dazu kommt, das die Verwendeten Platten nach der SATA Spezifikation sind, die 300MB/s übertragen können,
auf dem Linux Server kommt kein RAID zum einsatz, und die Platte ist für 150MB/s gebaut. Wobei dies natürlich theroretische Werte sind. ICh denk mal ohne Schraubenzieher in die Hand zu n ehmen, das es sich um SATA1 und SATA2 handelt.

Kann ein Raid, bzw. die Performance der Platte allgemein einen so grossen Einfluss auf die DAtenbank haben???

Einen anderen Unterschied finde ich im Moment nicht,
und das würde heissen, das Debian um ein Vielfaches schlechter für die DAtenbank geeignet währe, als Windows. Und ... das kann ja wohl nicht sein.

[pferdefreund]

Na ja, wenn man Äpfel mit Pferdeäpfeln vergleicht, kann ja wohl nix gleiches
rauskommen - Vergleiche machen nur auf identischer Hardware mit identischer
Plattenaufteilung Sinnn (z. B Datenbank auf anderer Platte, Raid oder was auch immer) wie das Betriebssystem selber.
Das hatten wir schon soooo oft - Man nehme Steinzeit-Hardware, installiere Linux und vergleiche die Performance mit den ach so tollen brandneuen Windows-Rechner und dann schimpft man auf das ach so böse langsame Linux).
Wie oft lese ich "hab gerade meine alten xxx zum Probieren ... aber uws usw).
Es werden nicht so ganz ohne Grund sehr viele Linux-Maschinen für richtig resourcenfressende Anwendungen (z. B bei uns ca 6.000.0000 Mitglieder inclusive Kontenführung unter SAP (als Resourcenfresser bekannt) problemlos mit Linux-Servern abgewickelt - und die BS-Kosten spiele dabei die geringste Rolle) Hier geht es um Terabytes an Oracle-Datenbanken...)

[Colttt]

nunja.. der rechner mit Linux hat weit mehr performance bis auf die Platten

[gnude]

Das Problem ist, das der Windows Rechner die Datenbank kaum bemerkt,
während der (eigentlich performantere) Linux Rechner kein produktives Arbeiten zulässt.

Sicherlich gibt es einen Geschwindigkeitunterschied ... es könnte Windows oder Linux schneller sein,
aber so gravierende Unterschiede bei einer so kleinen Datenbank...