思路是方向，代码是时间，知识需积累，经验需摸索。希望对大家有用，有错误还望指出。

Requests 库的全面使用指南

引言

Requests

爬虫在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。

私信小编01即可获取大量Python学习资料

前言

urllib模块

urllib库是python中自带的模块，也是一个最基本的网络请求库，该模块提供了一个urlopen()方法，通过该方法指定URL发送网络请求来获取数据。

正文

urllib 是一个收集了多个涉及 URL 的模块的包

urllib.request 打开和读取 URL

响应以及断言

在“发送HTTP请求”一讲中，我们讲解了APIPOST中响应数据的查看。

API 请求响应

在软件使用上，用户体验是一个重要的考虑因素，所以为了提高用户的体验，很多的应用系统中都会有自动登录功能，如下所示的自动登录的图：

自动登录其实是在用户第一次成功登录后，应用系统将用户的登录状态持久化，等用户下次再访问时实现自动登录，这样就不需用户再次输入用户名和密码。那么自动登录如何实现呢，下面介绍通过Cookie+Token的方式实现自动登录的功能。

自动化怎么能少的了Python，今天介绍一些在网页中自动登录账号以及密码的例子，可以使用Python的第三方库Selenium、Requests、Mechanize来实现自动登录账号和密码，话不多说直接上干货！

Selenium

Selenium是一个流行的自动化测试框架，可以模拟人类对Web应用程序的交互，例如在浏览器中导航、填写表单、点击按钮等。除了用于自动化测试，Selenium还可以用于一些自动化任务，例如自动化登录、数据爬取等：

在MVC Web开发中临时存储数据一般会用到Session，Cookie，ViewBag，ViewData，TempData。每个的使用场景是不同，具体区别有空再补上。

Session数据最敏感，最需要保证安全！

SessionID正确的删除方法：

this.Session.Abandon;
this.Response.Cookies.Add(new HttpCookie(”ASP.NET_SessionId”, string.Empty) { HttpOnly = true });

众所周知，表格是一种常见的数据展示方式，而在网络世界中，许多网站也会采用表格的形式展示数据。但如果需要抓取这些表格中的数据，尤其是有帐号密码保护的网页，该如何实现呢？本文将为大家提供一种简单易行的方法。

1.了解表格抓取原理

首先，我们需要了解一下表格抓取的原理。在网页上，表格是由HTML代码构成的，我们可以通过解析HTML代码来抓取表格中的数据。而对于有帐号密码保护的网页，我们需要先模拟登录并获取到登录后的cookie信息，然后再通过获取到的cookie信息来访问需要抓取数据的页面。

一、Requests简介

urllib库参考：