[Realtime stats] huidige status

Post by **madman** » 29 Oct 2003, 11:33

Zoals wel bekend zal zijn ben ik bezig met het maken van een realtime versie van ppstats.

Om diverse preformance reden heb ik een nieuwe database ontwikkeld en ben nu al een aardig eind gevorderd met de bij behoordende PHP.

Het resultaat: http://www.aarjan.com/psqlstats Dit zijn de stats van proxy80.dsmarty.com

Niet alle pagina's doen het, en het zou ook best kunnen zijn dat sommige pagina's rare zooi geven, maar dat komt omdat ik er nog mee bezig ben

Het opbouwen van de byhost pagina duurt vrij lang, maar daarvoor verwijs ik jullie graag naar dit draadje:

http://gathering.tweakers.net/forum/lis ... ges/828262

Enkele nieuwe features die er al in zitten te opzichte van ppstats: je kan straks per host of per email ook een klein plaatje er voor krijgen!

Volgende pagina de gefixed zal worden is full detail

HitmanWVU · Post by **HitmanWVU** » 29 Oct 2003, 14:09

LOL:

Last Updated UTC:
NOW

Post by **madman** » 29 Oct 2003, 14:30

hehe... Sorry, kon het niet laten

Post by **DSmarty** » 29 Oct 2003, 20:09

Seems nice

Wat heb je nu aan db tables gewijzigd ? Minder joins etc

Post by **madman** » 29 Oct 2003, 20:46

Een aantal van de berekeningen wordt is nu al gedaan, wat een hoop tijd scheelt. (bijv. totaal aantal blocks per host)

[update] Het snelheids probleem van de byhost pagina lag hem niet aan de sql/database, maar bleek een prob in PHP te zijn (een functie werd 4x aantal hosts aangeroepen, en iedere keer koste ong 0,1 sec) [/update]

Post by **madman** » 30 Oct 2003, 13:50

[update] Een kleine aanpassing gedaan in de functie voor het invoeren van een dupe in de database (het hostid kon niet bestaan en dan kreeg je een NULL value)[/update]
[update2] Er is nu ook een pagina voor de dupes, zo kan met zelf zien wie dupes produceerd[/update]
[todo] Doorklik mogelijkheid maken om te zien vanaf welk IP een dupe komt, om precies na te kunnen gaan welke machine een dupe produceerd[/todo]

seiko · Post by **seiko** » 30 Oct 2003, 14:06

ziet er allemaal goed uit

Kan niet w8en totdat ie ook voor teambvd gaat draaien

[BVD]Webgnome · Post by **[BVD]Webgnome** » 30 Oct 2003, 15:01

euhm.. misschien stomme vraag maar hoe weet je of het een dupe is of niet?

seiko · Post by **seiko** » 30 Oct 2003, 15:39

Webkabouter wrote:euhm.. misschien stomme vraag maar hoe weet je of het een dupe is of niet?

Ik gok dat elk blokje een eigen nummer heeft... en de server waar het op terecht komt.. die streept zeg maar dat nummer weg als die binnen is gekomen.. en als die dan nog een keer binnen komt dan zegt hij heeey die heb ik al dus een dupe

[BVD]Webgnome · Post by **[BVD]Webgnome** » 30 Oct 2003, 15:53

ja ok zoiets dahct ik al.. maar ik moest het ff zeker weten

Post by **madman** » 30 Oct 2003, 21:03

Idd ieder blokje heeft een uniek nummer. En dan is het gewoon een kwestie van kijken of het blokje al eerder op die server geflushed is. Maar het is dus ook alleen een dupe op de server. Het kan zou zijn dat een blokje die bij mij wordt aangezien als zijnde een 'goed' blokje later bij dnet toch nog als dupe wordt gezien.

Een voordeel is wel, dubbel flushen op de zelfde proxy heeft geen zin meer, je komt er maar 1 keer me in de stats!

seiko · Post by **seiko** » 30 Oct 2003, 21:47

das wel beter

Maar op dat probleem bij D-net te voorkomen.. hoelang zijn je blokjes geldig ???

Post by **DSmarty** » 31 Oct 2003, 10:25

60 Dagen, maar aangezien de retentie in de proxies etc houd maar 50 dagen aan.

seiko · Post by **seiko** » 31 Oct 2003, 10:27

maar bij vorige project was het toch 30 ???

Post by **madman** » 31 Oct 2003, 10:34

Nee ook 60. Maar het is voor de Master proxy beter om gewoon gelijk te flushen, die megaflushes vertragen de boel daar..

Post by **madman** » 31 Oct 2003, 19:25

[update] De full detail pagina is nu ook helemaal af. [/update]
[update2] Die mooie pijltjes zitten er nu ook in (als je een plaats bent gestegen/gezakt][/update2]

Post by **madman** » 01 Nov 2003, 21:17

Er is een probleem met het domein... Ik heb geen idee wat er precies aan de hand is:

> aarjan.com
Server: dns-3.ladot.com
Address: 217.22.66.90

*** dns-3.ladot.com can't find aarjan.com: Server failed
> alsidnfaleinfliesn.com
Server: dns-3.ladot.com
Address: 217.22.66.90

*** dns-3.ladot.com can't find alsidnfaleinfliesn.com: Non-existent domain
>

Domein staat ook bij ladot, op die DNS servers.. iemand een idee?

seiko · Post by **seiko** » 01 Nov 2003, 21:27

misschien ligt de server waarop jou domein staat eruit.. en daarom kan ie hem niet vinden

Post by **madman** » 02 Nov 2003, 13:18

dns-3.ladot.com is een van de servers waarom hij staat...

Ik denk dat ze hem gewoon verwijderd hebben..

Tot ik het gefixed heb, kan je ook deze link gebruiken:

http://212.187.100.99:8080/stats of
http://212.197.100.99:8080/psqlstats

Post by **madman** » 26 Nov 2003, 18:55

Ok, het is al weer een poosje geleden, maar hier weer een update:

* het domein aarjan.nl is gefixed: de stats zijn te vinden op stats.aarjan.nl
* Mijn eigen stats heb ik nu overgezet naar de nieuwe versie, de postgresql versie
* Door deze overzetting loopt nog niet alles goed (site die er niet uit zien of niet te vinden zijn), dit is het volgende waar ik mee bezig ga.
* Na een paar dagen puzzelen heb ik een mooie stored procedure kunnen maken waarmee ik hosts ip's naar hosts kunnen worden gefixed. (Ook complete rages zijn mogelijk, dus bijv 192.168.0.0/24)

Mijn realtime-scritp had wat probs met de overzetting, deze zijn nu als het goed is gefixed en vanaf donderdag 01:02 uur hoort dat ook weer te werken

Als ik die prob die kwamen door de overzetting heb gefixed ga ik verder met de hitparade- pagina's..

Post by **madman** » 04 Dec 2003, 17:37

Hier weer ff een update status:

* Alle links uit het menu doen het nu (op 3 na: 'Team Summary','ProxyPer Summary','By Domain').
* Nog wat database aanpassingen gedaan o.a. een functie gemaakt om een komplete IP-range aan iemand toe te kennen. Dus bijv 192.168.0.0./24, hij gaat dan gelijk ook een database compressie doen, dus nog meer preformance!
* Bij de Dag/week/maand hitparades en bij 'Dupes','By Email',By Host','By OS','By CPU','By Client ver','By Full Detail' zijn de groene en rode pijltje (om te zien of je gestegen/gezakt bent) geimplementeerd

[BVD]Webgnome · Post by **[BVD]Webgnome** » 04 Dec 2003, 20:40

Hier weer ff een update status:

* Alle links uit het menu doen het nu (op 3 na: 'Team Summary','ProxyPer Summary','By Domain').

> oftewel dus niet alle links in het menu doen het nu

* Nog wat database aanpassingen gedaan o.a. een functie gemaakt om een komplete IP-range aan iemand toe te kennen. Dus bijv 192.168.0.0./24, hij gaat dan gelijk ook een database compressie doen, dus nog meer preformance!

> woei

* Bij de Dag/week/maand hitparades en bij 'Dupes','By Email',By Host','By OS','By CPU','By Client ver','By Full Detail' zijn de groene en rode pijltje (om te zien of je gestegen/gezakt bent) geimplementeerd

> woei

Post by **madman** » 12 Dec 2003, 01:18

De volgende pagina's zijn nu ook toegevoegd:
* "ProxyPer Summary": Ook deze pagina is 'realtime', hij volgt het screen log, dus net als dat je op de proxy kijkt, dus om de 30 sec een update. Daarnaast staan er ook wat meer INI instellingen (minkeysdone, maxkeysdone, etc). En is ook de systeemuptime te zien. Er zit nog een klein bugje in: hij laat de tijd van de laatste uplink nog niet zien. Als het goed is die verholpen en zou dat na 01:00 uur ook zichtbaar moeten zijn.

* De detail pagina van een host of van een emailadres zijn ook klaar. incl de mogelijkheid om de grafiek te bekijken.

Volgen pagina's die verwacht kunnen worden: 'Team Summary' en de andere link op de detailpagina's ("Participants working for this Hostname" en "Hostnames working for this Participant")

ReMSie · Post by **ReMSie** » 12 Dec 2003, 10:49

Mijn complimenten meneer madman!! ziet erg goed uit allemaal, ben benieuwd wanneer het "final" wordt

[BVD]Webgnome · Post by **[BVD]Webgnome** » 12 Dec 2003, 10:56

madman.,.. Good WORK