Python爬虫配置代理IP教程

在Python中配置代理IP进行网络爬虫，主要是为了隐藏真实的IP地址，防止被目标网站封禁，同时也可以模拟不同地区的网络环境。下面将详细介绍如何使用Python配置代理IP。

使用requests库配置代理

requests库是Python中非常流行的HTTP库，使用它配置代理IP非常简单。

import requests

# 代理IP地址和端口
proxies = {
    "http": "http://代理IP:端口",
    "https": "http://代理IP:端口",
}

# 目标URL
url = 'http://www.example.com'

# 使用代理发送请求
response = requests.get(url, proxies=proxies)

# 输出响应内容
print(response.text)

使用urllib库配置代理

urllib是Python标准库中的一个模块，也可以用来配置代理IP。

import urllib.request

# 代理IP地址和端口
proxies = {'http': 'http://代理IP:端口'}

# 创建代理处理器
proxy_handler = urllib.request.ProxyHandler(proxies)

# 创建opener
opener = urllib.request.build_opener(proxy_handler)

# 目标URL
url = 'http://www.example.com'

# 使用代理发送请求
response = opener.open(url)

# 输出响应内容
print(response.read().decode('utf-8'))

使用Selenium配置代理

如果你需要模拟浏览器行为，可以使用Selenium库，它支持配置代理IP。

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

# 代理IP地址和端口
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "http://代理IP:端口"
proxy.socks_proxy = "http://代理IP:端口"
proxy.ssl_proxy = "http://代理IP:端口"

# 创建webdriver实例
driver = webdriver.Chrome()

# 设置代理
driver.start_session(proxy)

# 目标URL
url = 'http://www.example.com'

# 访问页面
driver.get(url)

# 输出页面源码
print(driver.page_source)

注意事项

1. 代理IP的有效性：确保使用的代理IP是有效的，有些代理可能已经失效。
2. 代理IP的速度：代理IP的速度会影响爬虫的效率，选择速度较快的代理可以提高爬虫效率。
3. 代理IP的匿名性：根据需求选择不同匿名级别的代理IP。
4. 遵守法律法规：使用代理IP进行爬虫时，应遵守相关法律法规，不得用于非法目的。