Новости | Об игре | Форум
14:18, 2212 онлайн
Форумы » Техническая поддержка » парсинг страниц 

АвторТема: парсинг страниц
((007))



 1 
 -2   
  написано: 16.12.2014 19:47:07 
допустим мне нужно получить протоколы со своими боями.
разбирать я их смогу только языками высокого уровня.
могу подключиться по telnet, НО
при этом мне нужно отправлять серверу GET запрос данных в котором содержутся мои
cookie и данные браузера(которого нет).
т.е. это будет имитировать работу браузера. при этом никаких команд(делать ходы
или поливать ферму) я отправлять не буду. будут только GET запросы страниц.

какие могут быть последствия?
стоит ли для перестраховки вместо своих данных(cookie) отправлять данные мульта
0 уровня или на сервере стоят достаточно умные алгоритмы, которые не примут меня
за робота?)
Buger_man



 2 
 1   
  написано: 16.12.2014 20:40:20 
Если ты не будешь ничего делать, кроме как запрашивать страницы то тебе ничего
не будет. А если и будет, то и мульт не спасёт. Главное делай таймаут 2 секунды
между запросами, а то получишь бан по айпи на 30 минут. Проверено на себе ;)
((007))



 3 
   
  написано: 16.12.2014 20:58:51 
2+ просто только что вспомнил что рики такое делал в маркете еды.
мне вот примерно то же самое нужно делать.

2 секунды? это же медленно... если парсить все бои. их 16к+
это будет 11 с лишним дней без учета пинга
((007))



 4 
   
  написано: 16.12.2014 21:03:53 
3+ то есть если это не автоматизирует бои, устройство на работу, ферму, то всё
ок?
личной почтой можно можно пользоваться получать\отправлять? в управлении синдом
что-то делать?
Buger_man



 5 
   
  написано: 16.12.2014 21:27:10 
Можешь попробовать меньше интервал, где-то он просто отсутствует, но на инфу
персонажа точно стоит ограничительные по запросам. Тут все делается методом проб
и ошибок.
В личке таймаут вообще 5 секунд на отправку
signed



 6 
   
  написано: 17.12.2014 01:30:22 
А надо было дружно плюсить мою несвежую идею про апи статистики для сторонних
разработчиков.

К списку тем