Over Usarchy & Ruben Timmerman
Dit is de weblog van Ruben Timmerman, met eigen artikelen over usability, online marketing en zoekmachine marketing. Ruben geeft daarnaast advies en training.
12 apr2006
Tweakers.net verwijdert zichzelf uit Google
Update (13-4-2006): Na slechts een paar dagen compleet weg geweest te zijn, is vandaag de hele site weer in een keer terug. Dat moet met de hand gedaan zijn, want zelfs Google zal niet in een keer bijna 4 miljoen pagina’s indexeren. Interessant om dat te zien, maar uiteraard hoor je er van Google niets over…
Altijd genoeg nieuws als het om Google zoekresultaten gaat… Een collega (thanks Niels…) wees me op het feit dat Tweakers.net niet meer in Google te vinden is. Tweakers is een van de grootste Nederlandse websites, met honderdduizenden bezoekers per dag en een zeer fanatieke aanhang van “nerds” (waartoe ik mijzelf ook reken overigens).
Een snelle check van de http://www.tweakers.net/robots.txt geeft dit resultaat:
User-agent: *
Disallow: /
Mocht dat je niet veel zeggen, het betekent dat geen enkele (zoek)robot pagina’s mag bekijken van het complete domein tweakers.net. Dat betekent in de praktijk dat alle zoekresultaten verwijderd zullen worden.
Bij deze de million dollar question: Waarom? Ik zou zeggen, stem in de reacties op je favoriete optie.
- Het is een fout, vergelijkbaar met die van Kieskeurig. Tweakers.net wil niet meer dat mensen www.Tweakers.net intikken, maar gewoon de versie zonder www. Op http://tweakers.net/robots.txt staat namelijk:
User-agent: *
Disallow: /aanbod/beoordeel
Disallow: /aanbod/list_ads/user
Disallow: /aanbod/meldpunt
Disallow: /aanbod/reageer
Disallow: /aanbod/userstats
Disallow: /ext/help
Disallow: /ext/pricewatch
Disallow: /ext/reageer
Disallow: /ext/reg
Disallow: /ext/robot
Disallow: /ext/ssurvey
Disallow: /ext/va
Disallow: /gallery
Disallow: /my.tnet
Disallow: /nieuws/dag
Disallow: /productsurvey/manager
Disallow: /productsurvey/user
Disallow: /reacties
Disallow: /search
Disallow: /stats - Het is een publiciteitsstunt van de nieuwe Tweakers.net eigenaar VNU, om aandacht te trekken van Google-geile weblogs en misschien de occassional nieuws site.
- Tweakers is gehackt door een rancuneuze nerd, die geen nerd genoemd wil worden.
Ik gok toch op het eerste, nu maar afwachten wat er gebeurt… Ik heb ze ook om een reactie gevraagd, so far nog niks gehoord…
Bij deze is wederom bewijs geleverd dat Google zijn directory aanpast op basis van zijn spiders en robots.txt bestanden. Tweakers.net is namelijk niet meer te vinden op http://dir.google.com.
Ik vind dit een slechte gang van zaken, want een directory is iets dat door mensen wordt onderhouden.
Visueel ontwerp 
Wordpress Implementatie 
Reacties (11)
Als ze al iets als
RewriteEngine OnRewriteCond %{HTTP_HOST} ^www.tweakers.net [NC]
RewriteRule ^(.*)$ http://tweakers.net/%{REQUEST_URI} [R=301,L]
gebruiken (ze sturen in ieder geval een 301 header terug, als je http://www.tweakers.net gebruikt), heeft dit toch helemaal geen nut? GoogleBot volgt een 301 toch ook netjes?
http://tweakers.net/plan/319
Tweakers heeft nu ‘al’ (het is al een paar dagen; dit heb ik ook allang doorgegeven..) een reactie geplaatst: http://tweakers.net/plan/319
H?© Niels, goed gekopieerd uit GoogleTalk!
@Niels: ik denk dat het niet helemaal is doorgekomen jouw bericht. Ik heb zelf iets kortere lijnen met Tweakers.net (heb er gewerkt als developer) en naar aanleiding van dit artikel staat nu die .plan op Tweakers.net.
In ieder geval bedankt voor het melden!
Ik heb een aantal berichten @ area61 gedumpt. Daar zitten toch genoeg crewleden ;) Maakt verder ook niet uit. Ben benieuwd hoelang het duurt voordat alles nu weer is geindexeerd.
(edit; ik heb het even nagekeken. Een paar dagen is dus niet waar; ik heb het eerste bericht gisteren @ 20:45 gepost.)
Ik kan je berichtje niet vinden ;).
We staan er al weer in hoor. ;)
Was inderdaad een foutje van tweakers.net zelf. Gelukkig staan ze er nu weer in :-)
Nico, thanks voor de “toevoeging”. De spam links naar je party site mag je voortaan achterwege laten :)
Reageer