Google-подобная архитектура краулера для КазНета / J-network - союз веб-разработчиков Казахстана / Блоги.Казах.ру — блоги Казахстана, РК
rus / eng / kaz


Если у вас уже есть блог в другом месте — можно автоматически транслировать записи из него в нашу блог-платформу Можно ставить записям будущее время. Запись будет в черновиках и в указанную минуту автоматически опубликуется. СМИ могут копировать в свой блог ленту новостей или статей. Дополнительное внимание и комментарии обеспечены. Статья Корпоративные блоги: Как вести? содержит практические советы и примеры
Любой блог можно сделать коллективным. Для этого надо определенным (или всем) пользователям дать права на запись в него.












J-network - союз веб-разработчиков Казахстана



Все о том, как мы встречаемся, общаемся, темы связанные с веб-разработками.

Блог jnetwork
Автор блога
Лента друзей
Войти Регистрация



Google-подобная архитектура краулера для КазНета


На данный момент алгоритм быстрого обхода КазНета я вижу следующим:
1. Список сайтов;
2. Скачиваем главные страницы сайтов. Извлекаем урлы 1 уровня;
3. Скачиваем урлы 2 уровня;
4. Извлекаем сайты из урлов;
5. Обновляем список сайтов.

Читать дальше


Источник: http://jnet.kz/yrnt/2014/06/30/google-podobnaya-arhitektura-kraulera-dlya-kazneta.html