• Skip to primary site navigation
  • Skip to secondary site navigation
  • Skip to search
  • Skip to news entries
  • Skip to archives
  • Skip to right sidebar
  • Home
  • Benutzerhinweise ▼
    • Transkription
    • Touristik-Glossar
    • FAQ-Sammlung
    • Kundenbelehrung
  • Über ▼
    • Motive
    • Themen des Blogs
    • Rad privat
    • dieses Blog empfehlen
    • Kundenerfahrungen
    • 2019-Neujahrsrede
  • Ost Impuls ▼
    • Philosophie
    • Leistungsüberblick
    • Partner
    • Programme
    • Marketing
    • Ressourcen
    • Cотрудничество
  • AGB ▼
    • Allgemeine Reisebedingungen
    • Reisevermittlungsbedingungen
    • AGB Reiseberatung
    • AGB Transfers
    • AGB Radreisen in Russland
    • AGB Russland-Visa
    • Übersetzungsvertrag
    • Versandbedingungen
    • Zahlungsarten
  • Blog
  • Kontakt ▼
    • Anfrage stellen
    • Formular Unterkünfte
    • Formular St. Peter Line Fähre
    • Formular Finnlines-Fähre
    • Formular DFDS-Fähre
    • Formular Taxi+Transfers
    • Formular Bootstouren
    • Formular Fremdenführer
    • Formular Fahrradreisen
    • Formular Armenienreise
  • +49.30.96 60 07 97

Robots von Mail.ru scannen mein Blog stundenlang

Berliner Reisespezialist mit Fokus auf Russland, Osteuropa, Verbraucherschutz, Beratung

XML RSS Feed
  • Reiseangebot ▼
    • Flüge suchen
    • Hotel suchen und Preisvergleich
    • Transfer
    • Mietwagen - Meta-Preisvergleich
    • Fremdenführer - Guides
    • Exkursionen in Russland
    • Reisevorschläge
  • Bahnfahrkarte ▼
    • FAQ Russische Bahn
    • Fahrkarten der Russischen Bahn
    • Internationale Fahrkarten Europa
    • Fahrkarten der Finnischen Bahn
  • Busfahrkarte ▼
    • Deutsche Buslinien
    • Flixbus
    • Internationale Buslinien
    • Busse baltische Länder
  • Region ▼
    • Armenien
    • Belarus
    • Moskau
    • St. Petersburg
    • Südrussland - mit Sotschi
    • Sibirien
    • Tatarstan
    • Polen
    • Ukraine
  • Fotos ▼
    • Adygea
    • Armenien
    • Baltikum
    • Baschkortostan
    • Brjansk
    • Finnland
    • Goldener Ring
    • Helsinki
    • Havelradweg
    • Krasnaja Poljana
    • Krasnodar
    • MOE
    • Moskau
    • Radreisen
    • Rostower Gebiet
    • Schwarzmeerregion
    • Sotschi
    • St. Petersburg
    • Tatarstan
    • Ukraine
    • unterwegs
    • Usbekistan
    • Welikij Nowgorod
    • Woronesch
  • Fähre+Schiff ▼
    • DFDS - Ostseefähren
    • Finnlines - Ostseefähren
    • St. Peter Line
    • Stena Line
    • Bootstour St. Petersburg
    • Unlautere Kreuzfahrtgesellschaften
  • Reiseversicherung ▼
    • Versich.-Vergleich
  • Visa ▼
    • faq Visa
    • Einladung für Touristen
    • Einladung Touristvisum bestellen
    • visafreie Exkursion
    • Geschäftsvisum-Einladungen
    • Einladung Geschäftsvisum bestellen
    • Touristvisum bestellen
    • Geschäftsvisum bestellen
    • Ablauf Visumbeschaffung
  • Radreise ▼
    • Radreisekalender
    • Goldener Ring Klassik
    • Moskau - St. Petersburg
    • Silberner Ring
    • Karelien-Radtour
    • Russland-Lite-ra(d)t(o)ur
    • Russland-Radreise-FAQ
    • Armenien-Radreise
  • Flug ▼
    • Russische Fluggesellschaften
    • Preisvergleich Parkplätze bei Flughäfen
    • Gerichtsentscheidungen gegen Airlines
    • Verbraucherrechte für Flugreisende
    • MH17 - false flags (Serie, Teil 1)

Spider von mail.ru durchwühlen mein Blog

Posted in Bloggen
Wednesday, 5. May 2010

Das ist ja unerhört! Seitdem ich vorhin mein Posting veröffentlichte, wird mein Blog von mail.ru-Robot-Invasoren heimgesucht, schon stundenlang. Das sind jetzt schon über 3.000 Seiten-Aufrufe und damit zirka Drei-Viertel des gesamten Traffics heute. Dieser Robot von mail.ru ist neu hier, glaube ich, mir vorher noch nicht aufgefallen. Am meisten besucht haben mich schon in den letzten Monaten robots vom ebenfalls russischen Yandex. Im Serendipity-Forum klagen über den schon einige und wollen den aussperren. Mit der Zeit tauchen immer neue Robots hier auf, auch aus Amerika.

Da die robots aber nicht von neuen Unternehmen oder Diensten geschickt werden, frage ich mich, warum erst jetzt, nach welchen Kriterien werden die losgeschickt? Vielleicht in Abhängigkeit von dem Alter der Website, ablesbar an der History der Wayback-Maschine? Warum wird mein deutschsprachiges Blog von der russischsprachigen mail.ru stundenlang gescannt? Oder ausgekratzt!? XML-Seiten werden heute von Suchdiensten (z.B. Flugbuchungsportale und Reisebuchungsportale, Preisvergleiche) ausgekratzt (Scraping).


Update: Ich hatte dann den Bot mit der robots.txt ausgesperrt. Seit kurzem bekommt mein Blog wieder Besuch vom Mail.ru. Der Bot wurde upgedatet und ist unter Version 2.0 noch nicht auf der schwarzen Liste der robots.txt.

Verwandte Links:

  • Russische Domains jetzt auch mit kyrillischen Buchstaben
  • Russland ist kein sicherer Hafen für Spammer und Cyberkriminelle (von John Leyden, englischer Beitrag)
Trackbacks
Trackback specific URI for this entry
No Trackbacks
Comments
Display comments as (Linear | Threaded)
No comments
Add Comment
E-Mail addresses will not be displayed and will only be used for E-Mail notifications.
To leave a comment you must approve it via e-mail, which will be sent to your address after submission.

To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly.
CAPTCHA

 
   
 
Submitted comments will be subject to moderation before being displayed.
 

Autovermieter weltweit

EconomyBookings 300x250

Calendar

Back February '23
Mo Tu We Th Fr Sa Su
Sat. February 4, 2023
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28          

Kategorien

  • XML als Reisender in RU
  • XML Landwege
  • XML Luftfahrt+Airports
  • XML Wasserwege
  • XML auf eigene Faust
  • XML Auswandern nach RU
  • XML Berlin+Umgebung
  • XML Bewertungen+Tests
  • XML Bloggen
  • XML Checklisten
  • XML Datenschutz
  • XML Delta
  • XML Energie erneuerbar
  • XML Erzählung
  • XML Essen+Trinken
  • XML Events
  • XML Freiwahl
  • XML Glosse
  • XML Hotels+Unterkünfte
  • XML Internet+TK
  • XML Journalisten
  • XML Kunst+Kultur
  • XML Berlinale
  • XML Musik
  • XML Landeskunde RU
  • XML Meldungen
  • XML NWO-Diktatur
  • XML Ökologie
  • XML Politik
  • XML Probelauf
  • XML Radfahren
  • XML Havelradweg
  • XML Rechtliches
  • XML Reiserecht
  • XML Russisches Recht
  • XML Russland-Visum
  • XML Regionen
  • XML Armenien
  • XML Baikalregion
  • XML Baltikum
  • XML Belarus
  • XML Finnland
  • XML Goldener Ring
  • XML Kaliningrad
  • XML Karelien
  • XML Kasachstan
  • XML Krim
  • XML Moskau
  • XML Polen
  • XML Sibirien
  • XML St. Petersburg
  • XML Südrussland
  • XML Tatarstan
  • XML Ukraine
  • XML Usbekistan
  • XML Reise buchen
  • XML Bahnreisen
  • XML Exkursionen
  • XML Radreisen
  • XML Winterreise
  • XML Reise vorbereiten
  • XML Russen+Deutsche
  • XML Sicherheit
  • XML Software
  • XML Sport
  • XML Touristinfo
  • XML Versicherungen
  • XML Wirtschaftsinfos
  • XML Geld+Zahlungsmittel
  • XML Post+Kuriere
  • XML Touristik
  • XML Wissenschaft+Bildung
  • XML XYZ - Schwarzes Brett

Bürgerinitiativen gegen Corona-Unrecht

Nürnberg II - Internationales Strafgericht

https://awakenny.wordpress.com/2021/05/10/nuremberg-trials-2021/

Gestandene Mediziner einig: Covid-Spritzen sind Biowaffen

Mediziner und Wissenschaftler für Gesundheit, Freiheit + Demokratie 

Volksbewegung - Demotermine und -berichte

https://www.mwgfd.de

Ärzte für Aufklärung 

https://www.aerztefueraufklaerung.de

Doktoren für Covid-Ethik

https://doctors4covidethics.org

Außerparlamentari-
scher Corona Untersuchungs-
ausschuss https://acu2020.org/

Pflege für Aufklärung

https://pflegefueraufklaerung.de/

Corona-Ausschuss von Rechtsanwälten https://corona-ausschuss.de/sitzungen/

Wissenschaft steht auf https://www.wissenschaftstehtauf.de/

Hilfe für remonstrierende Beamte https://mutigmacher.org/

Netzwerk kritischer Richter & StAe

https://netzwerkkrista.de/2021/03/11/den-rechtsstaat-verteidigen-netzwerk-kritische-richter-und-staatsanwaelte-gegruendet/

Dr. Wodargs Blog zu Covid-19

https://www.wodarg.com/

Deans Projekt für uns alle zum Mitmachen gegen Corona-Diktatur:

https://rotekartefürcorona.de/

Gesellschaft für Freiheitsrechte e.V.

https://freiheitsrechte.org/corona-und-grundrechte/

Amerikas Frontlinien-Doktoren

https://americasfrontlinedoctors.org/

Coronadok, Blog von Artur Aschmoneit

https://www.corodok.de/

 

Archiv

  • February 2023
  • January 2023
  • December 2022
  • Recent...
  • Older...

Hier wechselt die Zeitrechnung

Reisefreiheit ade!

RSS

  • XML
  • XML Atom Feed

Events

Sotschi-Kaleidoskop

Ost Impuls ist Sotschi-Experte, organisiert für Urlauber in Sotschi Flüge, Hotelzimmer, Ausflüge und Transfers.

Hier eine Übersicht über die Vielfalt der möglichen Aktivitäten - Sotschi-Kaleidoskop

Creative Commons 4.0 (CC BY-NC-ND)

Creative Commons License - Some Rights Reserved
Original content in this work is licensed under a Creative Commons License

Reiserouten-Vergleich - Werbung

DE120x600
  • Reiseangebote
  • Benutzerhinweise
  • Über ...
  • Kontakt
  • Impressum+Datenschutz
  • Produktanfrage
  • AGB
Powered by Serendipity & Optional Necessity • Admin