Желающим скачать сайт (часть сайта) - читать!

Уважаемые обладатели толстых и быстрых!

Убедительная просьба при желании скачать сайт, учитывать, что данное желание нереально для Вас и, к большому сожалению, пока и нас одновремённо. Причина проста - он очень подрос и обурел, объём его из-за гигантской таксономии увеличился на порядок. Например, только один гугл приступил к индексации уже третьей сотни тысяч страниц:
Результаты 1 - 10 из приблизительно 210 000 с www.rom.by. (0,26 секунд)
А ещё на нашу серверную голову постоянно приползают полчища других пауков поисковиков. И если учесть кроме объёма сайта выросшую в последние время в несколько раз его популярность (с одной-двух до более чем пяти тысяч посетителей в день) - даже недавний переход на более современный сервер не спасает, когда вы ещё и начинаете "сосать не всебя".
Потому, ради общего блага - чтобы сайт был доступен для остальных 99.9% процентов пользователей - упомянутый 0.1% будет жёстко баниться (по айпишнику - вся подсеть провайдера качальщика). Понятно, что в результате будут страдать другие, сидящие на этом же провайдере пользователи.

Потому просьба, если Вам так уже нужно почитать в оффлайне какие-то материалы - обратитесь напрямую ко мне, я попытаюсь решить данный вопрос без скачивания сотен тысяч страниц сайта (которые всё равно не будут прочитаны даже на 1%).

Повторюсь: отдача контента из кэша из без него по ресурсоемкости отличаются минимуму на порядок (а то и на два).
Люди почти всегда попадают к кэш, т.к. все вобщем-то мыслят сходно.
Качалки перебирают все возможные варианты и комбинации (с той или иной степенью интеллекта) постоянно попадая на некэшированые ссылки/станицы.

Таким образом, 100 запросов от обычного юзера и 100 запросов от качалки по времени выполнения могут отличаться на порядок, при том, что интенсивность запросов может быть одинаковая, а скорость отдачи данных реальному клиенту будет даже выше (ибо он использует браузер без ограничения скорости). При этом клиент выкачивает "толстый" контетн типа картинок, а у качалки все это давно в кэше.

ex-K9

google писал(-а):
Вынікі 1 - 10 з прыкладна 307 000 з rom.by

Однако, сайт вырос в полтора раза менее чем за год...

ex-K9

Уважаемый админ (если не ошибаюсь это apple_rom)
Если это возможно, делать архивы из базы данных (по тегам конечно) и по мере возможности загружать в обменники. У меня интернета пока нету и приходиться бегать при каждой не понятной проблеме. Или предложите какой ни будь приемлемый вариант.
Жду ответа.

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
  • Разрешённые HTML-теги: <a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd> <img>
  • You can use BBCode tags in the text. URLs will automatically be converted to links.

Подробнее о форматировании текста

Антибот - введите цифру.
Ленты новостей