Mikael Brevik

Etter noen e-post vekslinger med Espen Andersson, en velkjent spambekjemper, startet jeg å videreutvikle noen av hans ideer når det kommer til å bekjempe spam. Jeg har sett meg lei på at all slags reklame for viagra og penisforlengere skal komme inn på alle sider. Dette kan være støtende, og komme inn i helt feil sammenhenger.

Jeg har nå kommet til en klasse som fungerer noenlunde, og greier å luke ut mye spam. Men jeg har fortsatt noen problemer med å skille spam fra ikke-spam på mindre poster. Jeg kommer ikke til å avsløre noen kode enda, det får eventuelt komme når jeg er helt ferdig. Jeg tenkte heller jeg skulle avsløre noe av hvordan jeg nå skal gå frem for å filtrere vekk spam.

Flere av mine kunder blir mer og mer kjent i søkemotorer, som vil resultere til spam. Derfor må jeg komme med bedre spam-filtre. Derfor sitter jeg altså her nå. Men nok om det, her kommer en liten liste over hva jeg tenker på å gjøre:

Først og fremst er det vanlig ip-ban og total ban av ord, som vil føre til at en kommentar ikke slipper igjennom spamfiltret. Dette er vanlige saker, men kan være effektivt i noen tilfeller. Dette forutsetter selvfølgelig litt administrative engasjementer, i å legge til IP-adresser en ikke vil skal kunne poste kommentarer, og hvilke ord som ikke skal kunne være lov, i det hele tatt. Ord som dette kan være; Penis, Viagra, \/|4gRa osv. Kjente strofer som blir brukt i spam-poster. En annen ting som jeg har tenkt å ha i spamfiltret er noe jeg kaller light blocking av ord. Dette er ord, som kanskje ikke er nødvendigvis spam-ord, men som kan bli brukt i spam. Slike ord kan være: sex, penis osv. Vanlige ord som enkelte virkelige personer kan komme til å bruke i en kommentar. Men, light blockingen vil være slik at den regnes med i en relativ prosent og utregning som gjør at forekommer ordene i listen ofte, vil det regnes som spam. Dette er også inblandet med noen regnestykker rundt link-bruk osv. Dette skal jeg ikke gå nærmere innpå, da det er litt “hemmeligholdt” på dette tidspunktet. Ser ingen vits i å eksposere alt, i tilfelle det ikke fungerer slik som jeg vil. (Her er vi også inne på noe av det jeg og Espen Andersson har snakket om.
Som sagt blir dette litt “urettferdig” for små poster som gjør at light ban og det andre ikke vil bli korrekt utregnet. Derfor må det til med noen andre primisser for korte poster. Her tenkte jeg da på å tillate kun X antall linker.
Mange spam-poster bruker også forskjellige måter å linke på. De har både [URL], [url=, og . Så om disse forekommer i samme post, er det et temmelig godt tegn på spam. Dette kommer klassen også til å sjekke.

Dette er litt om teorien bak, og holder dere et øye med bloggen vil de komplette plantegningene og kodene komme når jeg er ferdig.