SMParser II - парсер vesna.yandex.ru
 

SMParser функционал

- парсить рандомные и конкретные тематики
- появились настройки форматирования текста
- использовать прокси
- на ходу синонимизировать текст

Общий вид софтины

http://www.seomazzi.ru/wp-content/up...smparser01.jpg

Настройки


Количество текстов - определяет сколько текстов надо спарсить
Ширина строки - определяет ширину строки текста записываемого в файл
Пробелы после H1 - если стоит галка "Заголовки текстов", можно указать отступы после них
Пробелы после P - дефолтная статья имеет три параграфа, здесь можно указать их отступы
пробелы после текста - пробелы после текста ))
Заголовки текстов - если галка стоит собираются еще и заголовки, если нет текст идет сплошняком
Рандомные темы - для парсинга выбираются случайные темы, иначе есть блок правее где можно указать необходимые
Синонимизировать - синонимизирует текст встроенной базой синонимов
Перезаписывать файл - если задаются рандомные темы или выбранно больше 2-х тем то файл с текстами будет иметь префикс mix_data, если выбрана одна тема файл будет иметь ее название, например: literature_16.01.10.txt. Так вот если вы хотите что бы эти файлы перезаписывались каждый раз при начале парсинга ставьте галку.
Использовать прокси - При каждом запросе программа будет брать случайное прокси из файла. Использует прокси из файла /resurs/proxy.txt . Если хотите указать свои прокси указывайте из в файле proxy_for_chek.txt и нажимайте кнопку проверка прокси.
Потоков для проверки прокси - указывайте количество, если проксей много то лучше по больше, хотя я сознательно ограничил максимальную планку потоков, дабы не получать бан от сайта по которому они проверяются )
Таймаут для прокси - как написанно так и есть
Задержки в запросах - время в секундах, через которое будет производиться следующий запрос.

Скачать

Скачал на вин7, потребовалась вот Эта DLL'ka

Скажите пожалуйста как яндекс относиться к этому тексту? :)

Контент там почти уникальный!

Ммм..... мою прожку выложили :D
Скажите она еще работает?
Кстати если есть что написать и пожелать то вам сюды
Там же и запись на бете тест инвайтера вконтакте :)

у меня был скрипт... ваще нерандомизировал ниче.. когда то доры лезли нормально

toper07 большое спасибо!!! :)

работает, прекрасно парсит

Спасибо вам, добрый человек.
Кстати, нашел там багу-прога не все запроса делает через проксятины, но если она все прекрасно парсит , то это не важно. Важно чтоб парсила...

Мь дело в прокси... кодеин не прокатывает иногда.
А вообще прога ниче так. Тоже на питоне написана ?

Да это питон.
Сейчас вообще модно писать для веба на питоне.