База dle веб-сайтов для постинга новостей на веб-сайты DLE.

База dle веб-сайтов для постинга новостей на веб-сайты DLE.По просьбам трудящихся вчера (6 ноября 2013) собрал то что просили, а просили собрать базу dle веб-сайтов, и вот что из этого вышло.

База dle веб-сайтов собиралась на мой взор самым наилучшим и самым резвым парсером на сегодня, это BabbloPars, было собрано 58 155 дле веб-сайтов, но как понятно, поисковая машина время от времени выдаёт адреса даже не имеющийся на сегодня dle веб-сайтов.

Было решение сделать первую чистку, и проверить на доступность все адреса, это Я делал программкой dle spider которая заходит в рабочий набор программки xrumer. После чистки, которая делает проверку есть ли на dle веб-сайте страничка регистрации осталось всего 30 882 dle веб-сайта.

Дальше Я сделал прогон хрумером и Вышла вот такая картина

База dle веб-сайтов для постинга новостей на веб-сайты DLE.

Видите ли уже хорошо, 20441 dle веб-сайт отлично подойдёт для постинга либо 9286 профилей для любитилей поднять тиц для собственных веб-сайтов.

Чтоб не лить как говорится воду, то скажу, что все эти 9286 профилей Я проверил программкой анализатор ссылок на доступность ссылки в профиле, вот таким образом

База dle веб-сайтов для постинга новостей на веб-сайты DLE.

Естественно можно проверить ещё и другими программками, но Я не стал, ведь моя задачка была собрать база дле веб-сайтов и по способности самую полную базу русских dle веб-сайтов, а не проверить и выложить всё на тарелочке в полном ажуре.

БАЗА DLE обновлена, ноябрь 2013. Всю эту базу dle веб-сайтов забрать тут.

Ну и непременно упомяну то, какие proxy Я использовал при парсинге, чтобы никто не задумывался что всё на халяву.

Смотрите тут, Я использовал socks proxy — они всегда лучше.

---

автор BABLOKOS