Unterforenstatistiken

[ralli]

Nee, es zeigt eindeutig, wie wichtig den Forenteilnhmern "Tratsch und Klatsch ist" Nur Technik ist ja langweilig.

Gruß ralli

[ernohl]

Was genau bedeutet der Wert an der y-Achse. Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

[feltel]

Was genau bedeutet der Wert an der y-Achse. Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

das ist leider nicht wenig verwunderlich. Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

[Meillo]

Was genau bedeutet der Wert an der y-Achse. Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

Auf der y-Achse sind die Anzahl von Themen/Threads und Beitraegen/Posts als Balken aufgetragen (linke Skala). D.h. man kann sehen wie viele Themen bzw. Beitraege es in den verschiedenen Unterforen gibt.

Als rote Linie (rechte Skala) ist der Faktor Beitraege pro Thema aufgetragen. Da sieht man in welchen Unterforen es lange Threads gibt und wo kurze.

Alle Werte sind immer Summen seit Beginn des Forums in 2001.

Fuer meine Analyse der Veraenderungen in den letzten zehn Jahren habe die die Diagramme von 2015 und jetzt optisch miteinander verglichen, welche Balken relativ zu den anderen gewachsen oder gefallen sind. Das sind nur relative Vergleiche.

Ob im Forum insgesamt von Jahr zu Jahr mehr oder weniger los ist, koennen diese Diagramme nicht sagen. Fuer die Zukunft koennte ich jetzt beginnen, diese Werte zu erfassen, um dann in zehn Jahren eine Auswertung dafuer machen zu koennen, aber in die Vergangenheit geht das mit der von mir verwendeten Technit nicht. Sowas koennte man direkt in der DB machen, aber wir wollen Sebastian ja nicht zusaetzliche Arbeit aufhalsen.

Mein Script war damals sowieso nur ein Abfallprodukt einer anderen Auswertung, die ich dann mit wenig Aufwand fuer das DFDE anpassen konnte. Dass ich nochmal darauf zurueckkommen wuerde und dass ggf. auch noch weiteres Statistikinteresse darueber hinaus bestehen koennte, hatte ich damals gar nicht gedacht.

[GregorS]

Alle Werte sind immer Summen seit Beginn des Forums in 2001.

D.h. es gibt Einzelwerte, mit denen auch der Aktivitätsverlauf einzelner Bereiche möglich wäre?

... Dass ich nochmal darauf zurueckkommen wuerde und dass ggf. auch noch weiteres Statistikinteresse darueber hinaus bestehen koennte, hatte ich damals gar nicht gedacht.

Tja, selber schuld

Ich hätte noch vor 10 Jahren nicht gedacht, dass mir das Spielen mit Gnuplot so viel Spaß machen würde. Angefangen hat's, als ich mit Arduino den Ladezustand eines Akkus überwacht habe.

[TRex]

Was genau bedeutet der Wert an der y-Achse. Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

das ist leider nicht wenig verwunderlich. Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

Wann machst deinen tiktok-Kanal auf? 30s debian-config mit Pop-Musik der 90er im Hintergrund?

[Meillo]

Alle Werte sind immer Summen seit Beginn des Forums in 2001.

D.h. es gibt Einzelwerte, mit denen auch der Aktivitätsverlauf einzelner Bereiche möglich wäre?

Nein, mir liegen keine Einzelwerte vor. Die Summen stammen direkt von der Uebersicht auf der Startseite des Forums.

Einzelwerte haette man nur in der DB direkt oder wenn man das Forum uebermaessig belasten wuerde, indem man Suchanfragen stellt oder allerlei Seiten crawlt. Das waere nicht mehr angemessen. Man muss bei sowas schon auch verantwortungsvoll handeln und keine uebermaessige Last auf dem Forenserver erzeugen ... sonst wird man ganz schnell ausgesperrt ... wie dieser Microsoft-User, der vielleicht auch nur Statistiken ueber die Entwicklung des Forums anstellen wollte ... einmal zu viel gecrawlt und schon geblockt.

[heisenberg]

Na auf der Startseite bekommt man schon sehr viele Informationen. Wenn man die 1 Mal pro Stunde abruft, dann kann man da schon sehr viel daraus ableiten:

• Wie viele Beiträge und Themen pro SubForum und gesamt werden jeweils (pro Stunde/Tag/Monat) geschrieben?
• Wie viele Benutzer / Gäste / Bots sind online?
• Wie viele Benutzer existieren?

Daraus kann man sich dann Verlaufsgraphen basteln.

Das dürfte die Monster-Maschine für das Debianforum (Hetzner AX41) noch nicht mal bemerken.

[Meillo]

Das waere schon interessant. Ich dachte eher daran, nur einmal pro Tag abzufragen, aber eine Auswertung der Aktivitaet ueber den Tag verteilt waere vielleicht auch interessant. Bloss bitte jetzt nicht alle minuetlich das Forum crawlen!

Wer gedenkt, in der Richtung etwas zu machen, am besten hier ankuendigen.

[chrbr]

Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

Da bin ich mir nicht 100% sicher. Ich habe die Tage eine Frage in de.comp.editoren gestellt und wider Erwarten praktisch sofort eine Antwort bekommen. In dieser Gruppe ist ansonsten praktisch nichts los. Das S/N ist damit praktisch unendlich. Aber andererseits könnten es auch gerne etwas mehr Quantität sein.

[Meillo]

Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

Da bin ich mir nicht 100% sicher. Ich habe die Tage eine Frage in de.comp.editoren gestellt und wider Erwarten praktisch sofort eine Antwort bekommen. In dieser Gruppe ist ansonsten praktisch nichts los. Das S/N ist damit praktisch unendlich. Aber andererseits könnten es auch gerne etwas mehr Quantität sein.

Dein Post liest sich wie ein Widerspruch, dabei stimmst du doch zu, dass die Quantitaet abnimmt und das findest du auch etwas schade.

Nun gut, das Signal-Noise-Verhaeltnis koennte hier auch manchmal besser sein. Insofern sind wir ja auf dem richtigen Weg. ... allerdings noch ein, zwei Jahrzehnte vor dem heutigen Usenet-Zustand. Also kein Grund fuer Panik.


Btw: Arbeitest du zufaellig zusammen mit mn77de an dem revolutionaeren neuen Editor, der uns am 6. Dezember praesentiert wird? Ach nein, vermutlich nicht, wenn du im Usenet nachgefragt hast, wo nur noch baertige alte Leute rumlurken. Oder wolltest du nur sicherstellen, dass der revolutionaere neue Editor auch wirklich revolutionaer und nicht nur wieder eine neu aufgewaermte alte Idee ist? Besser sicherheitshalber mal im Usenet fragen, bevor man das revolutionaere neue Ding praesentiert und gleich gesagt bekommt, dass das ein alter Hut sei und die Idee vor vierzig Jahren schon im Usenet gepostet worden ist -- waere ja nicht das erste Mal.

[GregorS]

... Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

das ist leider nicht wenig verwunderlich. Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

Worauf stützt Du diese Annahme?
Meiner Wahrnehmung nach ist es im Usenet größtenteils still geworden, als Webforen aufkamen. Welche Entwicklung sollte einem Webforum wie dem DF denn Konkurrenz machen?

[heisenberg]

Ich habe mal ein Script gebastelt:

Statistikdatenextraktion von debianforum.de: 42244

Das Script läuft auf meiner VM und erzeugt JSON-Daten:

https://data.megabert.de/dfde_statistics.json (Als JSON-Pretty-Print).

Ich könnte das stündlich laufen lassen. Da kann jeder, der möchte, die Daten nutzen.

[feltel]

Welche Entwicklung sollte einem Webforum wie dem DF denn Konkurrenz machen?

Discord z.B.. Das Kommunikationsverhalten der nachwachsenden Generationen hat sich doch deutlich verändert im Vergleich z.b. von meinem. Die jüngeren kennen oftmals nicht mal das Konzept der E-Mail. Schlimmstenfalls wird da der Nachrichtentext im Subject geschrieben. Da wird ja idr über Messenger kommuniziert oder bei der gerade aktuell angesagten sozialen Plattform, egal ob die dafür eigentlich ausgelegt ist oder nicht.

[Meillo]

Ich habe mal ein Script gebastelt:

Statistikdatenextraktion von debianforum.de: 42244

Das Script läuft auf meiner VM und erzeugt JSON-Daten:

https://data.megabert.de/dfde_statistics.json (Als JSON-Pretty-Print).

Ich könnte das stündlich laufen lassen. Da kann jeder, der möchte, die Daten nutzen.

Sieht gut aus. Ich freue mich schon auf nette Diagramme des Zuwachses nach:
- Zuwachs von Jahr zu Jahr
- Zuwachs nach Monat im Jahr (Sommerloch?)
- Zuwachs je Wochentag
- Zuwachs nach Stunde des Tages (Nachtaktivitaet? Mittagspause? ...)
- Wann ist Smalltalk besonders aktiv und weicht das vom Rest des Forums ab
- ...

Wenn du das Script stuendlich laufen laesst, erzeugt es rund 20MB an Daten pro Jahr:

Code: Alles auswählen

:-/ wget -q https://data.megabert.de/dfde_statistics.json

:-/ ls -l dfde_statistics.json                           
-rw-r--r--  1 meillo  meillo  2208 23 Okt. 18:56 dfde_statistics.json

:-/ bc -ql
24*365*2208
19342080
^D

Diese Datenmenge kann man dann auch mit ein paar Jahren Inhalt noch verarbeiten ohne dass es Big Data wird.


Ich bin dafuer, dass du den Cronjob anlegst.

@all: Ihr koennt euch schon mal darauf vorbereiten, dass irgendjemand die Daten dann auch visualisieren muss. Am besten eine Live-View ... so 'ne Management-Ansicht, damit Sebastian aus seinem Sessel zuschauen kann wie das Forum waechst.

... und wenn die Zahlen runtergehen muessen sie natuerlich vollautomatisch geschoent werden ...

[GregorS]

... Ich bin dafuer, dass du den Cronjob anlegst.

Ich auch.

@all: Ihr koennt euch schon mal darauf vorbereiten, dass irgendjemand die Daten dann auch visualisieren muss.

Wenn das ansteht, helfe ich gerne mit.

[Livingston]

Welche Entwicklung sollte einem Webforum wie dem DF denn Konkurrenz machen?

Vielleicht keine ebenbürtige Konkurrenz aber möglicherweise ein stetiger Niedergang, weil sich viele zunehmend an stackoverflow, reddit u.a. wenden.

Ob das aber wirklich so fatal verläuft, muss sich zeigen. Immerhin liefert ein Forum - und ich denke insbesondere dieses - eine geballte Ladung an Kompetenz. Wir sind hier bei wichtigen Themen im Google-Ranking immer weit vorne, wenn nicht sogar auf Platz 1 (zumindest im deutschsprachigen Bereich).

Da fällt mir z.B. der Kernel-Bug ein, der in manchen Konstellationen drohte, ein ext-Dateisystem zu schreddern. Wir waren damals echt angesagt.
Das gilt auch für eine Menge andere Themen.

[TRex]

eine geballte Ladung an Kompetenz

Aber auch alle Probleme, die ein Forum mit sich bringt (weil jeder glaubt, er hätte besagte Kompetenz mit dem Löffel gefressen):

How many online forum members does it take to change a light bulb?

1 to change the light bulb and to post that the light bulb has been changed.
14 to share similar experiences of changing light bulbs and how the light bulb could have been changed differently.
7 to caution about the dangers of changing light bulbs.
27 to point out spelling/grammar errors in posts about changing light bulbs.
53 to flame the spell checkers.
41 to correct spelling/grammar flames.
6 to argue over whether it's "lightbulb" or "light bulb"...another 6 to condemn those 6 as anal-retentive
2 industry professionals to inform the group that the proper term is "lamp".
15 know-it-alls who claim *they* were in the industry, and that "light bulb" is perfectly correct.
156 to email the participant's ISPs complaining that they are in violation of their "acceptable use policy".
109 to post that this group is not about light bulbs and to please take this discussion to a lightbulb group
203 to demand that cross posting to hardware forum, off-topic forum, and lightbulb group about changing light bulbs be stopped.
111 to defend the posting to this group saying that we all use light bulbs and therefore the posts *are* relevant to this group.
306 to debate which method of changing light bulbs is superior, where to buy the best light bulbs, what brand of light bulbs work best for this technique, and what brands are faulty.
27 to post URL's where one can see examples of different light bulbs.
14 to post that the URL's were posted incorrectly and then post the corrected URL's.
3 to post about links they found from the URL's that are relevant to this group which makes light bulbs relevant to this group.
33 to link all posts to date, quote them in their entirety including all headers and signatures, and add "Me too".
12 to post to the group that they will no longer post because they cannot handle the light bulb controversy.
19 to quote the "Me too's" to say "Me three".
4 to suggest that posters request the light bulb FAQ.
44 to ask what is a "FAQ".
4 to say "didn't we go through this already a short time ago?"
143 to say "do a Google search on light bulbs before posting questions about light bulbs".
1 forum lurker to respond to the original post 6 months from now and start it all over again....

[Meillo]

[...]

Hehe, kommt mir bekannt vor.

[GregorS]

eine geballte Ladung an Kompetenz

Aber auch alle Probleme, die ein Forum mit sich bringt (weil jeder glaubt, er hätte besagte Kompetenz mit dem Löffel gefressen):
...

Naja nu ... für Ordnung ist die Moderation zuständig :--P Ich finde, dass das hier sehr gut funktioniert.

[Liffi]

... Gefühlt ist jedenfalls von Jahr zu Jahr weniger los - besonders wenn ich an meine Anfangsjahre kurz nach 2000 zurück blicke.

das ist leider nicht wenig verwunderlich. Die Zeit in der Webforen das Mittel der Wahl für den Informationsaustausch waren, ist leider vorbei. Dieser Technik wird es wie einst dem Usenet gehen. Leider.

Worauf stützt Du diese Annahme?
Meiner Wahrnehmung nach ist es im Usenet größtenteils still geworden, als Webforen aufkamen. Welche Entwicklung sollte einem Webforum wie dem DF denn Konkurrenz machen?

Und auch LLMs werden ihres dazu beitragen. Viele Standardfragen können die schon jetzt in akzeptabler Qualität beantworten. Und man bekommt halt direkt eine Rückmeldung.

[chrbr]

Dein Post liest sich wie ein Widerspruch, dabei stimmst du doch zu, dass die Quantitaet abnimmt und das findest du auch etwas schade.

Da hast Du recht. Ich habe auch immer gerne von Fragen anderer beziehungsweise den darauffolgenden Diskussionen und Antworten gelernt. Das funktioniert natürlich nur, wenn es auch eine gewisse Menge an Diskussionen gibt. Ohne Quantität gibt es also auch keine Qualität.

Btw: Arbeitest du zufaellig zusammen mit mn77de an dem revolutionaeren neuen Editor, der uns am 6. Dezember praesentiert wird?

Das sagt mir überhaupt nichts, da bin ich mal gespannt. Aber ansonsten hast Du schon recht, ich bin nicht mehr der jüngste .

[Meillo]

Btw: Arbeitest du zufaellig zusammen mit mn77de an dem revolutionaeren neuen Editor, der uns am 6. Dezember praesentiert wird?

Das sagt mir überhaupt nichts, da bin ich mal gespannt.

Der User mn77de hat beim Adventskalender das Tuerchen 6 mit dem Thema ``Revolutionärer neuer Editor'' reserviert und da du eine Frage auf de.comp.editoren gestellt hast, war meine Ueberlegung, ob das zusammenhaengt. War als Witz gemeint. ... wahrscheinlich ein bisschen zu weit hergeholt.

[heisenberg]

Ich lasse das Script jetzt stündlich laufen. (Aktuell sorge ich mit meiner persönlichen Nutzung ein Vielfaches an Anfragen im Vergleich dazu.) Meine Abfragen sind mit einem individuellen User-Agent benannt, der meine Requests anhand nicht öffentlicher Daten aus meinem Benutzerprofil identifiziert (dfde-statistics-extractor/version-1-$IDENTIFIER), so dass man meine Requests im Logfile filtern kann.

Ich habe auch noch ein DB-Import-Script geschrieben, dass die Daten in eine SQLite-DB schreibt.

Hier nochmal die Zusammenfassung aller notwendigen Information:

• Download JSON-Datei: https://data.megabert.de/dfde_statistics.json
• Download Sqlite3-DB: https://data.megabert.de/dfde_statistics.sqlite3.xz
• Code der Scripte: https://codeberg.org/megabert/phpbb-stat-collector

Nachtrag 30.10. 18:04 Uhr

Die sqlite-Datei wird täglich aktualisiert und ist jetzt per xz -9 komprimiert. Die URL hat jetzt die Endung .xz.

[Meillo]

Vorbildlich.