《Python爬虫技术:深入理解原理、技术与开发/宁哥大讲堂》从实战角度系统讲解Python爬虫的核心知识点,并通过大量的真实项目让读者熟练掌握Python爬虫技术。《Python爬虫技术:深入理解原理、技术与开发/宁哥大讲堂》用20多个实战案例,完美演绎了使用各种技术编写Python爬虫的方式,读者可以任意组合这些技术,完成非常复杂的爬虫应用。《Python爬虫技术:深入理解原理、技术与开发/宁哥大讲堂》共20章,分为5篇。第1篇基础知识(第1、2章),主要包括Python运行环境的搭建、HTTP基础、网页基础(HTML、CSS、JavaScript等)、爬虫的基本原理、Session与Cookie。第2篇网络库(第3~6章),主要包括网络库urllib、urllib3、requests和Twisted的核心使用方法,如发送HTTP请求、处理超时、设置HTTP请求头、搭建和使用代理、解析链接、Robots协议等。第3篇解析库(第7~10章),主要包括3个常用解析库(lxml、BeautifulSoup和pyquery)的使用方法,同时介绍多种用于分析HTML代码的技术,如正则表达式、XPath、CSS选择器、方法选择器等。第4篇数据存储(第11、12章),主要包括Python中数据存储的解决方案,如文件存储和数据库存储,其中数据库存储包括多种数据库,如本地数据库SQLite、网络数据库MySQL以及文档数据库MongoDB。第5篇爬虫高级应用(第13~20章),主要包括Python爬虫的一些高级技术,如抓取异步数据、Selenium、Splash、抓取移动App数据、Appium、多线程爬虫、爬虫框架Scrapy,最后给出一个综合的实战案例,综合了Python爬虫、数据存储、PyQt5、多线程、数据可视化、Web等多种技术实现一个可视化爬虫。《Python爬虫技术:深入理解原理、技术与开发/宁哥大讲堂》可以作为广大计算机软件技术开发者、互联网技术研究人员学习“爬虫技术”的参考用书。也可以作为高等院校计算机科学与技术、软件工程、人工智能等专业的教学参考用书。