• Skip to primary site navigation
  • Skip to secondary site navigation
  • Skip to search
  • Skip to news entries
  • Skip to archives
  • Skip to right sidebar
  • Home
  • Benutzerhinweise ▼
    • Transkription
    • Touristik-Glossar
    • FAQ-Sammlung
    • Kundenbelehrung
  • Über ▼
    • Motive
    • Themen des Blogs
    • Rad privat
    • dieses Blog empfehlen
    • Kundenerfahrungen
    • 2019-Neujahrsrede
    • OI-Ge(T)witter
  • Ost Impuls ▼
    • Philosophie
    • Leistungsüberblick
    • Partner
    • Programme
    • Marketing
    • Ressourcen
    • Cотрудничество
  • AGB ▼
    • Allgemeine Reisebedingungen
    • Reisevermittlungsbedingungen
    • AGB Reiseberatung
    • AGB Transfers
    • AGB Radreisen in Russland
    • AGB Russland-Visa
    • Übersetzungsvertrag
    • Versandbedingungen
    • Zahlungsarten
  • Blog
  • Kontakt ▼
    • Anfrage stellen
    • Formular Unterkünfte
    • Formular St. Peter Line Fähre
    • Formular Finnlines-Fähre
    • Formular DFDS-Fähre
    • Formular Taxi+Transfers
    • Formular Bootstouren
    • Formular Fremdenführer
    • Formular Fahrradreisen
    • Formular Armenienreise
  • +49.30.96 60 07 97

Robots von Mail.ru scannen mein Blog stundenlang

Berliner Reisespezialist mit Fokus auf Russland, Osteuropa, Verbraucherschutz, Beratung

XML RSS Feed twitter Twitter
  • Reiseangebot ▼
    • Flüge suchen
    • Hotel suchen und Preisvergleich
    • Transfer
    • Mietwagen - Meta-Preisvergleich
    • Fremdenführer - Guides
    • Exkursionen in Russland
    • Reisevorschläge
  • Bahnfahrkarte ▼
    • FAQ Russische Bahn
    • Fahrkarten der Russischen Bahn
    • Internationale Fahrkarten Europa
    • Fahrkarten der Finnischen Bahn
  • Busfahrkarte ▼
    • Deutsche Buslinien
    • Flixbus
    • Internationale Buslinien
    • Busse baltische Länder
  • Region ▼
    • Armenien
    • Belarus
    • Moskau
    • St. Petersburg
    • Südrussland - mit Sotschi
    • Sibirien
    • Tatarstan
    • Polen
    • Ukraine
  • Fotos ▼
    • Adygea
    • Armenien
    • Baltikum
    • Baschkortostan
    • Brjansk
    • Finnland
    • Goldener Ring
    • Helsinki
    • Havelradweg
    • Krasnaja Poljana
    • Krasnodar
    • MOE
    • Moskau
    • Radreisen
    • Rostower Gebiet
    • Schwarzmeerregion
    • Sotschi
    • St. Petersburg
    • Tatarstan
    • Ukraine
    • unterwegs
    • Usbekistan
    • Welikij Nowgorod
    • Woronesch
  • Fähre+Schiff ▼
    • DFDS - Ostseefähren
    • Finnlines - Ostseefähren
    • St. Peter Line
    • Stena Line
    • Bootstour St. Petersburg
    • Unlautere Kreuzfahrtgesellschaften
  • Reiseversicherung
  • Visa ▼
    • faq Visa
    • Einladung für Touristen
    • Einladung Touristvisum bestellen
    • Einladung für Touristvisum sofort
    • visafreie Exkursion
    • Geschäftsvisum-Einladungen
    • Einladung Geschäftsvisum bestellen
    • Touristvisum bestellen
    • Geschäftsvisum bestellen
    • Ablauf Visumbeschaffung
  • Radreise ▼
    • Radreisekalender
    • Goldener Ring Klassik
    • Moskau - St. Petersburg
    • Silberner Ring
    • Karelien-Radtour
    • Russland-Lite-ra(d)t(o)ur
    • Russland-Radreise-FAQ
    • Armenien-Radreise
  • Flug ▼
    • Russische Fluggesellschaften
    • Preisvergleich Parkplätze bei Flughäfen
    • Gerichtsentscheidungen gegen Airlines
    • Verbraucherrechte für Flugreisende
    • MH17 - false flags (Serie, Teil 1)

Spider von mail.ru durchwühlen mein Blog

Posted in Bloggen
Wednesday, 5. May 2010

Das ist ja unerhört! Seitdem ich vorhin mein Posting veröffentlichte, wird mein Blog von mail.ru-Robot-Invasoren heimgesucht, schon stundenlang. Das sind jetzt schon über 3.000 Seiten-Aufrufe und damit zirka Drei-Viertel des gesamten Traffics heute. Dieser Robot von mail.ru ist neu hier, glaube ich, mir vorher noch nicht aufgefallen. Am meisten besucht haben mich schon in den letzten Monaten robots vom ebenfalls russischen Yandex. Im Serendipity-Forum klagen über den schon einige und wollen den aussperren. Mit der Zeit tauchen immer neue Robots hier auf, auch aus Amerika.

Da die robots aber nicht von neuen Unternehmen oder Diensten geschickt werden, frage ich mich, warum erst jetzt, nach welchen Kriterien werden die losgeschickt? Vielleicht in Abhängigkeit von dem Alter der Website, ablesbar an der History der Wayback-Maschine? Warum wird mein deutschsprachiges Blog von der russischsprachigen mail.ru stundenlang gescannt? Oder ausgekratzt!? XML-Seiten werden heute von Suchdiensten (z.B. Flugbuchungsportale und Reisebuchungsportale, Preisvergleiche) ausgekratzt (Scraping).


Update: Ich hatte dann den Bot mit der robots.txt ausgesperrt. Seit kurzem bekommt mein Blog wieder Besuch vom Mail.ru. Der Bot wurde upgedatet und ist unter Version 2.0 noch nicht auf der schwarzen Liste der robots.txt.

Verwandte Links:

  • Russische Domains jetzt auch mit kyrillischen Buchstaben
  • Russland ist kein sicherer Hafen für Spammer und Cyberkriminelle (von John Leyden, englischer Beitrag)
Trackbacks
Trackback specific URI for this entry
No Trackbacks
Comments
Display comments as (Linear | Threaded)
No comments
Add Comment
E-Mail addresses will not be displayed and will only be used for E-Mail notifications.
To leave a comment you must approve it via e-mail, which will be sent to your address after submission.

To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly.
CAPTCHA

 
   
 
Submitted comments will be subject to moderation before being displayed.
 

Calendar

Back January '21 Forward
Mo Tu We Th Fr Sa Su
Sat. January 23, 2021
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

Kategorien

  • XML als Reisender in RU
  • XML Landwege
  • XML Luftfahrt+Airports
  • XML Wasserwege
  • XML auf eigene Faust
  • XML Berlin+Umgebung
  • XML Bewertungen+Tests
  • XML Bloggen
  • XML Datenschutz
  • XML Delta
  • XML Energie erneuerbar
  • XML Erzählung
  • XML Essen+Trinken
  • XML Events
  • XML Freiwahl
  • XML Glosse
  • XML Hotels+Unterkünfte
  • XML Internet+TK
  • XML Journalisten
  • XML Kunst+Kultur
  • XML Berlinale
  • XML Musik
  • XML Landeskunde RU
  • XML Meldungen
  • XML Ökologie
  • XML Politik
  • XML Probelauf
  • XML Radfahren
  • XML Havelradweg
  • XML Rechtliches
  • XML Reiserecht
  • XML Russisches Recht
  • XML Russland-Visum
  • XML Regionen
  • XML Armenien
  • XML Baikalregion
  • XML Baltikum
  • XML Belarus
  • XML Finnland
  • XML Goldener Ring
  • XML Karelien
  • XML Kasachstan
  • XML Krim
  • XML Moskau
  • XML Polen
  • XML Sibirien
  • XML St. Petersburg
  • XML Südrussland
  • XML Tatarstan
  • XML Ukraine
  • XML Usbekistan
  • XML Reise buchen
  • XML Bahnreisen
  • XML Exkursionen
  • XML Radreisen
  • XML Winterreise
  • XML Reise vorbereiten
  • XML Russen+Deutsche
  • XML Sicherheit
  • XML Software
  • XML Sport
  • XML Touristinfo
  • XML Versicherungen
  • XML Wirtschaftsinfos
  • XML Geld+Zahlungsmittel
  • XML Post+Kuriere
  • XML Touristik
  • XML Wissenschaft+Bildung
  • XML XYZ - Schwarzes Brett

Twitter Timeline

  • Ist SARS-CoV-2 und Covid-x ein Zufall der Natur oder ein Werkzeug für der herrschende Elite zur Beendigung von Demo… linkWednesday, January 20 2021
  • Delta Airlines fliegt auf Chinas Erziehungssystem und verbietet Trump-Fans wegen schlechten Benehmens in der Öffent… linkFriday, January 15 2021
  • König Söder ist überfordert mit der Erklärung des Nutzens von Masken. Aber Masken anzupreisen hilft dem Geschäft se… linkWednesday, January 13 2021
  • Nehmen Sie sich jetzt Zeit für den Spielfilm, der in den USA live gedreht wird. Ein Putsch wird verhindert. Bürgerkrieg droht.Monday, January 11 2021
  • Militärische Bewegung am U.S. Capitol. Viele Soldaten flogen nach Washington ein. Aufgabe: Schützen der Infrastrukt… linkMonday, January 11 2021
  • Wochenendabend in Belarus in der Partystraße. Feiern möglich (Video) linkMonday, January 11 2021
  • Arnold Schwarzenegger erzählt ein Märchen und verspricht einem ungewählten "Fake-"Präsidenten Biden die Treue - gem… linkSunday, January 10 2021
  • Der kleine Heiko ist größenwahnsinnig, glaubt im Ernst, die dt. Kolonie der US mit privatisierter Regierung kann mi… linkSaturday, January 9 2021
  • Spieglein Spieglein an der Wand, wer spricht die Wahrheit im ganzen Land? - Ihr seid es, König ... linkSaturday, January 9 2021

Follow me

Archiv

  • January 2021
  • December 2020
  • November 2020
  • Recent...
  • Older...

RSS

  • XML
  • XML Atom Feed

Events

10.03.21 - 14.03 - Messe: ITB
05.07.21 - 16.07 - Radreise Goldener Ring (163 Days)
XML

Sotschi-Kaleidoskop

Ost Impuls ist Sotschi-Experte, organisiert für Urlauber in Sotschi Flüge, Hotelzimmer, Ausflüge und Transfers.

Hier eine Übersicht über die Vielfalt der möglichen Aktivitäten - Sotschi-Kaleidoskop

Creative Commons 4.0 (CC BY-NC-ND)

Creative Commons License - Some Rights Reserved
Original content in this work is licensed under a Creative Commons License

Empfehlung

Mediziner und Wissenschaftler gegen Coronaunrecht

Bürgerinitiativen gegen Corona-Unrecht

Mediziner und Wissenschaftler für Gesundheit Freiheit und Demokratie  https://www.mwgfd.de

Außerparlamentari-
scher Corona Untersuchungs-
ausschuss https://acu2020.org/

Corona-Ausschuss von Rechtsanwälten https://corona-ausschuss.de/sitzungen/

Dr. Wodargs Blog zu Covid-19 https://www.wodarg.com/

Hilfe für remonstrierende Beamte https://mutigmacher.org/

 

  • Reiseangebote
  • Benutzerhinweise
  • Über ...
  • Kontakt
  • Impressum+Datenschutz
  • Produktanfrage
  • AGB
Powered by Serendipity & Optional Necessity • Admin