Привет всем! Недавно я описывал программу, написанную с помощью Python и призванную собирать значения (парсить Titles) заголовков сайтов, на основании чего и делается вывод — сайт жив, или уже мертв. И да, программа работает, однако — если вдруг вам нужно собрать данные о 10-20-30 тысячах сайтов, созданных на базе он-лайн конструктора, или блогов, расположенных в одном доменном сегменте — после некоторого количества запросов срабатывает система защиты, и вам приходится начинать все с самого начала. Да, в программу можно ввести случайные паузы, да, скорректированный код можно заставить начинать работу после вынужденной паузы с того же места, где работа кода была остановлена (кстати, оптимизированная версия кода доступна тут), но — все это долго, скучно, и не интересно. Что делать? Читать далее 16 человек на сундук мертвеца, или как правильно парсить Titles 🙂 →