Webアプリケーション、Webサービスを開発/運用する
エンジニアは、HTML/HTTPやWebサーバなどWeb技術の
仕組みや基礎的な知識をおさえておかなければなりません。
本書では、実サービスでの大規模なWebクローラーの
開発/運用経験をもとに、Webクローラーを支える、HTTP、
文字コード、HTML、認証、Ajax/JSONなど、Webエンジニアが
おさえておくべきポイントやテクニックを学びます。
クローラーから見たWebサイトの仕組みとその実情に加えて、
現実に即した実践的かつ効率的なクローリングの方法論に
ついても解説します。
○実例をもとにHTTPやHTMLなどWebの仕組みを深く知ることができる
○大規模なWebクローラーの開発/運用ノウハウを知ることができる
○Webサイトの運営者(クロールされる側)もクローラーに関する知見を得ることができる