Page 1 of 2

DupeCheck

Posted: 11 Mar 2004, 13:38
by Floppus
Het is weer rampzalig hoe weinig er aankomt op het moment; kunnen we over de afgelopen dagen nog een dupecheck uitvoeren?

Posted: 11 Mar 2004, 13:48
by madman
Verkeerde email's van deze maand:

Code: Select all

     orgip       |        email        | blockdate  | sum
-----------------+---------------------+------------+-----
 62.238.24.141/32 | rc5@distributed.net | 2004-03-02 |  10
 62.238.24.141/32 | rc5@distributed.net | 2004-03-03 |   4
 192.168.0.246/32 | lizard@teambvd.com  | 2004-03-03 |   2
 192.168.0.237/32 | teambvd@hotmail.com | 2004-03-06 | 150
Dupes van deze maand:

Code: Select all

      orgip        | blockdate  | sum
-------------------+------------+------
 62.212.76.218/32   | 2004-03-01 |   11
 62.238.24.141/32   | 2004-03-01 |   82
 62.238.24.141/32   | 2004-03-02 |   20
 62.238.24.141/32   | 2004-03-03 |    3
 62.238.24.141/32   | 2004-03-05 |    8
 62.238.24.141/32   | 2004-03-07 |    6
 62.238.24.141/32   | 2004-03-09 |    2
 62.238.77.41/32    | 2004-03-06 |    1
 82.161.5.129/32    | 2004-03-02 |   19
 82.161.5.129/32    | 2004-03-03 |    1
 82.197.208.192/32  | 2004-03-04 |    1
 129.125.44.160/32  | 2004-03-02 |    1
 129.125.44.160/32  | 2004-03-03 |    1
 129.125.44.160/32  | 2004-03-05 |    1
 192.168.0.231/32   | 2004-03-03 |    4
 192.168.0.231/32   | 2004-03-06 |    9
 192.168.0.232/32   | 2004-03-08 |   11
 192.168.0.232/32   | 2004-03-09 |   11
 192.168.0.233/32   | 2004-03-02 |   10
 192.168.0.233/32   | 2004-03-03 |    3
 192.168.0.233/32   | 2004-03-05 |    1
 192.168.0.233/32   | 2004-03-08 |   69
 192.168.0.233/32   | 2004-03-09 |   96
 192.168.0.234/32   | 2004-03-03 |   37
 192.168.0.234/32   | 2004-03-06 | 1052
 192.168.0.238/32   | 2004-03-05 |    1
 192.168.0.238/32   | 2004-03-07 |    1
 192.168.0.240/32   | 2004-03-02 |    1
 192.168.0.240/32   | 2004-03-05 |    2
 192.168.0.241/32   | 2004-03-02 |    9
 192.168.0.242/32   | 2004-03-06 |  149
 192.168.0.242/32   | 2004-03-09 |    1
 195.173.226.199/32 | 2004-03-02 |    1
 212.187.100.99/32  | 2004-03-02 |   15

Posted: 11 Mar 2004, 14:07
by Hemz
Ik had 1000 randoms --> dupes.
Was tijdens vakantie dus heb pc niet kunnen flushen.

Posted: 11 Mar 2004, 14:25
by madman
Was jij 6 maart net terug van vakantie dan??

Posted: 11 Mar 2004, 14:44
by Floppus
Gezien de flushverhoudingen van 6-3 van CC, zouden ze eigenlijk alleen echt bij Iwab vandaan kunnen komen (ca. 3K van de 4K)

En sowieso; 1000 randoms zullen nooit tot 1000 dupes leiden, zeker op dit moment nog niet. (1 of 2 hooguit)

Posted: 11 Mar 2004, 14:45
by iisschots
Kun je die e-mail adressen niet blokeren? Dat die niet meer op de proxy kunnen flushen?

Posted: 11 Mar 2004, 14:46
by madman
Das idd wel het meest waarschijnlijke...

@iisschots: Waarom zou je dat willen? Die blokjes zijn al verwerkt, dus dan zou je alleen maar cpu cycles weggooien. Das zonde... Jammer idd dat ze niet voor BVD tellen, maar ze tellen wel voor het project.

Posted: 11 Mar 2004, 17:09
by Libido78
maar dan is er meer over voor ons ;)

Posted: 11 Mar 2004, 18:04
by blimmel
Volgens mij kwam er ook een bak randoms bij mij vandaan....
De proxy was leeggeraakt omdat ik ziek thuis zat :'(

edit: het waren randoms ipv dupes.... en die zie je niet in dit lijstje
Misschien dat Floppus iets meer weet over de range van de randoms, zodat we die ook in kaart kunnen brengen?

Posted: 12 Mar 2004, 09:00
by therobber
1 dupe van mij. valt mee
heb een pc gehad die 100 randoms had

Posted: 12 Mar 2004, 11:56
by Red Baron
3 dupes van mij. Aan de datum te zien heeft het iets te maken met het switchen naar de nieuwe client ofzo...

Posted: 12 Mar 2004, 12:07
by Floppus
Randoms beginnen met 53:
en daarop volgt meestal een 9, dit schuift na verloop van meer gedraaide randoms vanzelf op zodat ook A voor kan komen op dit moment.

in beginsel zijn er in de 53:9xxxxxxx range al 268.435.455 randoms mogelijk; de kans is op dit moment dus erg klein dat een random ook een dupe is. Het in kaart brengen van randoms is op zich niet zinvol: zodra een random ook een dupe is komt hij er vanzelf uit.

Dit neemt niet weg dat er zo veel mogelijk geprobeerd moet worden niet-randoms te draaien. (ik weet dat ik vanwege de offline-machines waar ik niet vaak bijkan / leeftijd blokjes zelf nogal eens randoms genereer, maar goed)

Posted: 12 Mar 2004, 14:28
by iWaB
Ik flush vrij veel random ,, heb 10 p4 pc's zonder internet verbinding

Posted: 12 Mar 2004, 15:10
by Floppus
Dan zou ik aanraden een centrale "buffer-pool" aan te leggen (indien ze aan het netwerk zitten), zodat ze niet veel randoms doen.

b.v.

[buffers]
alternate-buffer-directory=\\koeserver\buffer

waar op koeserver een map met full-access is gedeeld
! Doe in dit geval géén frequent buffer update (ieder blokjes flushen) aangezien de buffer dan te vaak gelocked wordt.
Laat op de PC die als buffer dient dus ook de koe in een andere directory staan dan de buffer (en laat hem gewoon naar hetzelfde pad zijn alt-buffer zetten)

Fetch thuis een berg WU's, en importeer die op je buffer station steeds; de andere werkstations zullen uit deze berg steeds blokjes pakken en ook naar deze directory flushen.

Uiteraard kan je ook met een proxy gaan werken, maar dan moet je wat meer oppassen met buffers / dubbelen.

Posted: 13 Mar 2004, 11:30
by iWaB
Goed Plan ,, :)

Ga ik Maandag meteen doen :) :)

Posted: 16 Mar 2004, 12:25
by Pjosch
Ehhm, is het misschien mogelijk om de ip's aan een naam te koppelen?

Dan kan ik eventueel binnen mijn kudde checken waarom er geduped word.

Posted: 16 Mar 2004, 12:40
by madman
Ff opgezocht, jou IP zit er niet bij..

Posted: 16 Mar 2004, 12:57
by Pjosch
Thx Madman!

Dat was rap!

Posted: 16 Mar 2004, 13:06
by madman
np. }:O

Posted: 16 Mar 2004, 17:33
by igg
hoe zie ik of ik dupes heb geproduceerd?

Posted: 16 Mar 2004, 17:47
by madman
Ik hou in de database alle blockid's bij die geflushed zijn: Als er een dubbele is komt hij automatisch in een andere tabel :!

Posted: 16 Mar 2004, 20:45
by igg
madman wrote:Ik hou in de database alle blockid's bij die geflushed zijn: Als er een dubbele is komt hij automatisch in een andere tabel :!
Klinkt voor mij als toveren :?

(geef mij maar hardwareprobs ipv software)

Posted: 16 Mar 2004, 21:40
by Z-Rex
Wat is een dupe?

Posted: 16 Mar 2004, 22:47
by madman
dupe = duplicate = blokje dat 2x of meer is geflushed

Posted: 17 Mar 2004, 10:48
by [BVD]Webgnome
vandaag 15000 aangekomen @ dnet terwijl we er 18000 hebben verwerkt?