cronjob für shopsoftware

[gnude]

hallo
ich möchte bei einem shop per cronjob einen automatischen export
durchführen.
der shop unterstützt das durch den aufruf einer url, die dann
den export vornimmt, aber eine längere laufzeit hat.
wenn ich die url per wget aufrufe, wird nicht wie beim aufruf im browser eine 8mb grosse,
sondern nur eine 190kb grosse datei erzeugt, also nur der anfang.
der inhalt passt aber.
wie bekomm ich wget dazu die komplette datei erzeugen zu lassen?

[gnude]

das script durchläuft immer nur einen teil der artikel,
damit die laufzeit wohl nicht überschritten wird.
wenn ich z.b. sage nimm 400 artikel statt 200 wird die datei
die erzeugt wird doppelt so gross. aber der nächste schritt, also die
nächsten artikel werden nicht mehr ausgeführt.
im browser klappt das. per wget nicht.

jetzt könnte ich sagen, bearbeite alle 10000 artikel auf einmal, das führt aber dazu
das wget mit einem fehler abbricht. wohl weil die php laufzeit überschritten wird.
ich könnte
a) die laufzeit erhöhen
b) wget dazu bringen doch weiterzumachen

hat jemand eine idee???

[uname]

Ich gehe davon aus, dass der Shop eine MySQL-Datenbank nutzt. Wäre es nicht besser einen Dump der Datenbank selbst herzustellen und diesen dann irgendwie zu exportieren, sichern usw. Wofür soll der Export gut sein. Hoffentlich nicht als Backup.

[gnude]

hallo
nein das script erzeugt eine datei die von google merchant gelesen wird.
ein reiner dump hilft mir nicht weiter, weil die datei nur einen kleinen teil der shopdaten enthält,
und dazu noch als xml formatiert ist.
das script das die datei erstellt ist php-compiliert und nicht einsehbar. (sonst währe es ja auch zu einfach)

[Cae]

Man kann wget auch so confen, dass es zumindest von den Headern wie ein normaler Browser aussieht. Auch kann da POST im Spiel sein, das erkennt man nicht auf Anhieb. Ganz übel wäre es, falls das obfuszierte PHP-Skript Javascript drinne hat, was wget natürlich nicht auswertet.

Gruß Cae

[gnude]

Man kann wget auch so confen, dass es zumindest von den Headern wie ein normaler Browser aussieht. Auch kann da POST im Spiel sein, das erkennt man nicht auf Anhieb. Ganz übel wäre es, falls das obfuszierte PHP-Skript Javascript drinne hat, was wget natürlich nicht auswertet.

Gruß Cae

wenn ich im firefox javascript deaktiviere klappt der export trotzdem.
also kein javascript da drin.

[uname]

Ich gehe davon aus, dass du auf irgendeiner HTML-Seite eine Button betätigst. Schau dir den Quellcode an, nehm alles was zwischen

Code: Alles auswählen

<form>
</form>

und schau es dir an. Könnte wirklich sein, dass du irgendwelche Parameter (meist POST nicht GET) vergessen hast beim Aufruf mit "wget". Wenn die Shop-Software sowieso frei ist kann du ja mal den entsprechenden Auszug hier posten incl. deines wget-Aufrufs.

[gnude]

ich habe nur eine url die ich aufrufen kann.

[TRex]

das script durchläuft immer nur einen teil der artikel,
damit die laufzeit wohl nicht überschritten wird.
wenn ich z.b. sage nimm 400 artikel statt 200 wird die datei
die erzeugt wird doppelt so gross. aber der nächste schritt, also die
nächsten artikel werden nicht mehr ausgeführt.
im browser klappt das. per wget nicht.

Wie machst du das denn im browser? Ich hab mal einen ähnlichen Anwendungsfall (webshop Datenexport) mit firebug betrachtet und das dann mit curl nachgestellt. Da der Browser im Prinzip das gleiche macht wie wget, hast du höchstwahrscheinlich einen Fehler im Parameter oder die Art des Requests.

Edit: und du hast mehr als eine url, wenn du die etappenweise abrufst - wie sonst soll der Server wissen, welchen Bereich du haben willst.

[Cae]

Schmeiß' einfach tcpdump an, einmal mit dem Browser, einmal mit wget, exportiere beide Dumps als ASCII und betrachte sie mit vimdiff oder einem ähnlichen Diff-Werkzeug. Da wird schon auffallen, wo sich etwas tut.

Gruß Cae