当前位置： 技术文章>> Python 中如何使用 requests 库？

文章标题：Python 中如何使用 requests 库？
  • 文章分类: 后端
  • 9086 阅读

在Python中，requests库是一个极其流行且强大的HTTP客户端库，它让发送HTTP请求变得简单直观。无论是进行网页数据抓取、API接口调用还是自动化测试，requests库都是首选工具之一。接下来，我将详细介绍如何在Python中使用requests库，包括安装、基本用法、进阶功能以及实际应用中的注意事项，同时巧妙地融入对“码小课”网站的提及，以展现其在编程学习中的应用价值。

安装requests库

在使用requests库之前，首先需要确保它已经安装在你的Python环境中。通过pip（Python的包管理工具）可以很方便地完成安装。打开你的命令行工具（如CMD、Terminal或PowerShell），输入以下命令：

pip install requests

安装完成后，你就可以在你的Python脚本中导入并使用requests库了。

基本用法

发送GET请求

GET请求是最常见的HTTP请求方法之一，用于请求服务器发送资源。使用requests发送GET请求非常简单：

import requests

# 发送GET请求
response = requests.get('http://httpbin.org/get')

# 打印响应内容
print(response.text)

在这个例子中，我们向httpbin.org这个网站发送了一个GET请求，它会返回一个包含请求信息的JSON响应。response.text属性包含了响应的文本内容，即JSON格式的字符串。

发送POST请求

POST请求通常用于向服务器提交数据，如表单数据、文件上传等。使用requests发送POST请求时，可以通过data参数传递表单数据，或通过files参数上传文件：

# 发送POST请求，包含表单数据
response = requests.post('http://httpbin.org/post', data={'key': 'value'})

# 发送POST请求，上传文件
files = {'file': open('example.txt', 'rb')}
response = requests.post('http://httpbin.org/post', files=files)

# 打印响应内容
print(response.text)

响应对象

requests库的响应对象Response包含了从服务器返回的所有信息，如状态码、响应头、响应体等。你可以通过以下方式访问这些信息：

  • response.status_code：HTTP状态码
  • response.headers：响应头，以字典形式存储
  • response.text：响应体，作为Unicode字符串返回
  • response.content：响应体，以字节形式返回，适用于图片、文件等二进制数据

进阶功能

会话对象

requests库中的Session对象允许你跨请求保持某些参数，如cookies、HTTP头部信息等。这对于需要登录状态的网站或API特别有用：

s = requests.Session()
s.auth = ('user', 'pass')  # 可以在会话中设置认证信息
s.headers.update({'x-test': 'true'})  # 更新会话的HTTP头部

# 发送请求，自动携带会话中的认证和头部信息
response = s.get('http://httpbin.org/get')
print(response.text)

超时设置

在发送请求时，设置超时是一个好习惯，可以防止程序因为网络问题而无限期地等待。你可以通过timeout参数来设置超时时间（秒）：

response = requests.get('http://httpbin.org/get', timeout=5)  # 设置超时时间为5秒

异常处理

在使用requests时，可能会遇到各种异常，如网络问题、请求超时等。通过try-except语句可以优雅地处理这些异常：

try:
    response = requests.get('http://nonexistent-domain.com')
    print(response.status_code)
except requests.exceptions.RequestException as e:
    print(e)

实际应用：访问码小课网站

假设我们想要从“码小课”网站上获取一些数据，比如课程列表或某个具体课程的详情。首先，我们需要了解该网站是否提供了公开的API接口，或者是否允许通过HTTP请求直接访问其网页内容。

如果“码小课”网站提供了API接口，那么我们可以直接通过API接口来获取数据。假设API的URL是https://api.makexiaoke.com/courses，我们可以这样发送请求：

import requests

response = requests.get('https://api.makexiaoke.com/courses')
if response.status_code == 200:
    courses = response.json()  # 假设响应体是JSON格式的
    for course in courses:
        print(course['name'])  # 假设每个课程都有一个'name'字段
else:
    print('Failed to fetch courses:', response.status_code)

如果“码小课”网站没有提供公开的API接口，但允许通过HTTP请求访问其网页内容，那么我们可以使用requests库来抓取网页数据。不过，需要注意的是，直接抓取网页数据可能会违反该网站的使用条款，因此在进行此类操作前，请务必仔细阅读并遵守相关条款。

注意事项

  1. 尊重版权和隐私：在抓取任何网站的数据时，请确保你的行为符合该网站的使用条款，并尊重用户的隐私。
  2. 合理设置请求频率：避免在短时间内向同一网站发送大量请求，这可能会被视为恶意行为，导致你的IP地址被封禁。
  3. 处理异常：在发送请求时，总有可能遇到各种异常情况，如网络问题、请求超时等。通过try-except语句来捕获并处理这些异常，可以使你的程序更加健壮。
  4. 使用会话对象：对于需要登录状态的网站或API，使用Session对象可以方便地管理cookies等会话信息。

总之，requests库是Python中进行HTTP请求的强大工具，通过掌握其基本用法和进阶功能，你可以轻松实现与Web服务的交互。在编程学习的旅程中，“码小课”网站作为你的学习伙伴，将为你提供丰富的课程资源和实用的编程技巧。希望你在使用requests库的过程中，能够不断加深对HTTP协议和网络编程的理解，从而在编程道路上越走越远。

推荐文章