Автор | Тема: парсинг страниц |
((007))
|
1 |
-2 | написано: 16.12.2014 19:47:07 |
допустим мне нужно получить протоколы со своими боями.
разбирать я их смогу только языками высокого уровня.
могу подключиться по telnet, НО
при этом мне нужно отправлять серверу GET запрос данных в котором содержутся мои
cookie и данные браузера(которого нет).
т.е. это будет имитировать работу браузера. при этом никаких команд(делать ходы
или поливать ферму) я отправлять не буду. будут только GET запросы страниц.
какие могут быть последствия?
стоит ли для перестраховки вместо своих данных(cookie) отправлять данные мульта
0 уровня или на сервере стоят достаточно умные алгоритмы, которые не примут меня
за робота?) |
|
Buger_man
|
2 |
1 | написано: 16.12.2014 20:40:20 |
Если ты не будешь ничего делать, кроме как запрашивать страницы то тебе ничего
не будет. А если и будет, то и мульт не спасёт. Главное делай таймаут 2 секунды
между запросами, а то получишь бан по айпи на 30 минут. Проверено на себе ;) |
|
((007))
|
3 |
| написано: 16.12.2014 20:58:51 |
2+ просто только что вспомнил что рики такое делал в маркете еды.
мне вот примерно то же самое нужно делать.
2 секунды? это же медленно... если парсить все бои. их 16к+
это будет 11 с лишним дней без учета пинга |
|
((007))
|
4 |
| написано: 16.12.2014 21:03:53 |
3+ то есть если это не автоматизирует бои, устройство на работу, ферму, то всё
ок?
личной почтой можно можно пользоваться получать\отправлять? в управлении синдом
что-то делать? |
|
Buger_man
|
5 |
| написано: 16.12.2014 21:27:10 |
Можешь попробовать меньше интервал, где-то он просто отсутствует, но на инфу
персонажа точно стоит ограничительные по запросам. Тут все делается методом проб
и ошибок.
В личке таймаут вообще 5 секунд на отправку |
|
signed
|
6 |
| написано: 17.12.2014 01:30:22 |
А надо было дружно плюсить мою несвежую идею про апи статистики для сторонних
разработчиков. |
|