将围绕"市场竞争数据调研”这一项目需求进行讲解,开篇将该需求拆解为潜在客户需求市场调研、PC京东市场数据调研、淘宝APP市场数据调研等几部分。文稿除开篇外分六个模块。模块一以调研潜在客户画像为例讲解线下调研,重点阐述抽样调查问卷设计方法。模块二至四章将讲解网络爬虫相关理论及实操,其中模块二通过网络爬虫理论及基础工具的讲解,描述如何掌握网络抓包工具的使用。模块三利用八爪鱼数据采集器采集京东商城商品数据(价格、销量、评价等数据),描述如何掌握利用八爪鱼完成网页数据采集技能。模块四则将利用python网络爬虫进行淘宝APP市场竞争数据采集,描述如何掌握python移动网络爬虫中常用的库及技巧。模块五、六则是数据采集后的常规操作,模块五讲述选择合理的方式将采集数据进行存储,模块六则讲述如何将杂乱有误的数据进行规范。