Как парсить robots.txt с помощью Google Docs?

Использование Google Docs для пакетного парсинга robots.txt

Иногда, для изучения структуры сайта, или проверки настроек безопасности, или ознакомления с не особо видными разделами сайта нам нужно узнать содержимое файла robots.txt, в котором, как известно, прописываются правила сканирования ресурса для поисковых роботов.

И сегодня мы попробуем разобраться с методикой использования Google Docs для пакетного парсинга данных файла Читать далее Как парсить robots.txt с помощью Google Docs?

Парсим Title, Description, Keywords с помощью Google Docs?

Парсим Title, Description, Keywords с помощью Google Docs

Привет всем!
Google Docs — интересная, и крайне многофункциональная технология, позволяющая работать не только с документами и таблицами.

В сегодняшнем уроке мы рассмотрим возможность использования Google Docs для парсинга Title, Description и Keywords с любого количества сайтов — совершенно бесплатно и достаточно быстро. Да, для этого можно использовать уже готовые разработки, но … почему бы не сделать свой собственный комбайн? 😉 Читать далее Парсим Title, Description, Keywords с помощью Google Docs?