Локальные зеркала Internet-сайтов - интересно ли?

[Ivan.Rybin]

Неоднократно слышал предложения сделать "оффлайн" (точнее - сетевые, доступные без Internet) версии - зеркала - особо популярных сайтов (новости, анекдоты, хайтеч).

Интересно ли это и если да, то какие сайты имеет смысл выкачивать? и с какой регулярностью обновлять? (насколько я знаю, у "сайтосдиральщиков" можно ставить шедулер на автовыдирание в заданном промежутке времени).

[$volach]

Яндекс

А вообще подумай, как ты будешь сдирать новостной сайт? Ежечасно?

Анекдоты можно, а еще я люблю сайты тематики www.hardwareportal.ru

[Midas]

лента.ру

[Ivan.Rybin]

Яндекс

жжёшь, реально жжёшь (тока почему сразу не Google?)

А вообще подумай, как ты будешь сдирать новостной сайт? Ежечасно?

в принципе можно и так (есть там опция докачивать изменившееся) ну или раз в день - сводка за день, так сказать

Анекдоты можно, а еще я люблю сайты тематики www.hardwareportal.ru

В своё время я держал зеркало iXBT.com

[Ivan.Rybin]

лента.ру

и как часто её обновлять?

[Midas]

А черт знает, тут нужен компромисс между оперативностью и дозволенностью (причем по разным параметрам: - загрузка твоего сервера; - чтобы не зажопили и не обрубили). Ясень пень, что каждый час ее скачивать смысла нет, но и раз в сутки - тоже мало. Думаю, раза 4 в сутки вполне. Скачивать, разумеется, не нужно всё, а только то, что идет с главной страницы.

[Ivan.Rybin]

Ну что - тестируем первую версию выдирания Ленты:

mirrors/lenta/lenta.ru/default.htm

Нужно-ли выдирать глубже?

[Midas]

Супер!!!
Глубже точно не надо. По-моему, и так чрезмерно глубоко.

[Ivan.Rybin]

В принципе могу выделить имя типа lenta.big-bossa.com и раз в 6 часов его сдирать.

По понятным причинам, такие зеркала с Internet смотреть будет невозможно

[Ivan.Rybin]

В общем в ближайшем времени замучу страницу со ссылками на Зеркала и там уже будет прописано, что, где и как часто обновляется.

А пока принимаются заявки какие ещё сайты имеет смысл зеркалировать и как часто обновлять.

ЗЫ: по понятным причинам, монстров типа iXBT.com если и буду зеркалировать, то только с обновлением раз в 2-4 недели, т.к. они весят под 3 гигабайта...

[Stun]

может емуль сервер сделаешь? да так чтобы нам хай айди тоже выдавал... а то надоело месяцами качать...

[Ivan.Rybin]

тут увы - он сжирает 100% канала - и это НИКАК не ограничивается (тут же налетают желающие из инета, а средств ограничить это и ширину канала у имеющегося софта я не нашёл).

[$volach]

а средств ограничить это и ширину канала у имеющегося софта я не нашёл).

А ср-вами файрволла? =)

[Ivan.Rybin]

А ср-вами файрволла? =)

покажите хоть один нормальный FW под серверные версии Windows NT - так сразу ограничу (Kerio не предлагать!)

[Ivan.Rybin]

2 All: давайте не будем оффтопить, если есть интерес к Peer2peeR серверам - заведите отдельную тему, а тут поговорим о зеркалировании сайтов с инета.