ANTICHAT — форум по информационной безопасности, OSINT и технологиям

бред

Морда морде рознь, иногда на морду старого тицастого сайта неделями бот не ходит. Лучше всего для ускорения индексации оставлять бэк с частообновляемых площадок, например трастовых новостных сайтов.

я на хосте роботс правлю на свой сайтмап
если таково не имеееться то заливаю
если эти методы не подходят
то скрытые ссылки с морды...примерно 250-500 ссылок на внутряк

и как помогает?

А как это вообще работает?
Я так понял вы файл роботса правите в сайтмап? Если это так, то от этого толку нет, ибо паук читает роботс по соответствующим директивам, вы проверьте свой роботс на валидность, уверен будет много ошибок и это даже тормознет индекс.

От того что вы пропишете 1000 урлов в роботсе аналогично директиве, "разрешено все что не запрещено".

То же самое для сайтмапа, есть определенный формат структуры.

Вот эти слова наводят на мысль, что вы даже не проверяли тот о чем говорите. Это полный бред.

Привет кот
по сабжу
правь robots
и пару трамплинов
допустим с майлру (пр7)
там хаваеться на ура
бывало что аддурл не лезит а там боты гуляют
кстати последний алгоритм не оставил желать лучшего
около 150 (лом0 ) хостов без внимания.....надо чтото менять сам пока в замешательстве
причем пробовал добавлять через панел веб мастера
сайтмапы читает как родное но в индекс **** не лезет (по 7 кило)
раньше и 3 вылезало свободно.....
пока думаю что да как но есть пару тем всетаки не для паблика ...