PC端机票价格案例
每个OTA网站都是不欢迎爬虫软件来采集他们的机票价格,所以都有一套反采集策略。我们的系统有效的避规这些策略并采集到机票价格及航班信息。
OTA网站反采集策略归类主要如下:
IP限制--同一个IP不允许多次连续访问网站(IP访问频率);
信息动态加密--机票价格及机票信息每次显示采用不同的算法进行加密及解密;
手机验证--通过手机短信认证,查看航班信息时必须录入接收到的短信验证码;
网站语言--各国家的OTA网站用各自国家的语言也是采集的障碍,有英语,俄语,德语,芬兰语,法语,意大利语,挪威语等等。
抓取案例
中国大陆 www.ctrip.com(携程)
www.kuxun.com(酷讯)
www.qunar.com(去哪儿)
中国台湾 www.expedia.com.tw
www.liontravel.com
中国香港 www.expedia.com,hk
www.zuji.com.hk
北美洲 www.expedia.com
www.orbitz.com
www.priceline.com
俄罗斯 www.anywayanyday.com
www.ozon.travel
欧洲 www.ebookers.com
www.expedia.de
www.opodo.de
www.vliegwinkel.nl
www.budgetair.nl
www.budgetair.be
www.cheaptickets.nl
www.cheaptickets.be
www.vliegtickets.nl
www.mrjet.dk
www.mrjet.se
www.edreams.fr
www.edreams.de
www.edreams.it
www.edreams.es