第三十三章：案例分析三：新闻网站内容爬取实战-实战Python网络爬虫

当前位置:　首页>> 技术小册>> 实战Python网络爬虫

第三十三章：案例分析三：新闻网站内容爬取实战

引言

在数字时代，新闻网站作为信息传播的重要渠道，每日更新着海量的新闻资讯。对于数据分析师、内容聚合平台或是研究人员而言，从新闻网站中高效、合法地爬取内容成为了一项关键技能。本章将通过一个详细的实战案例，指导读者如何使用Python编写网络爬虫，以抓取特定新闻网站的内容，包括文章标题、发布时间、正文等关键信息，并探讨在此过程中可能遇到的挑战及解决方案。

33.1 需求分析

在开始编写爬虫之前，首先需要明确爬取的目标：

目标网站：假设我们选择一家知名的新闻门户网站，如“新闻快讯网”。
爬取内容：文章标题、发布时间、作者、正文内容、图片链接等。
爬取频率：遵循网站robots.txt协议，避免对网站造成过大压力。
数据存储：将爬取的数据保存至本地数据库（如MongoDB）或CSV文件中，以便后续分析。

33.2 技术选型

Python：作为编程语言，因其丰富的库和强大的网络处理能力，是编写网络爬虫的首选。
Requests：用于发送HTTP请求，获取网页内容。
BeautifulSoup：用于解析HTML文档，提取所需信息。
MongoDB：作为数据存储解决方案，支持非关系型数据存储，适合处理复杂数据结构。
Scrapy（可选）：如果项目规模较大，可考虑使用Scrapy框架，它提供了更高级别的抽象和强大的功能集。

33.3 准备工作

安装必要的库：

pip install requests beautifulsoup4 pymongo

分析目标网站结构：
- 使用浏览器的开发者工具（通常按F12打开）查看新闻页面的HTML结构，识别出文章标题、发布时间等元素的类名或ID。
- 注意检查网页是否采用JavaScript动态加载内容，如果是，可能需要使用Selenium等工具来模拟浏览器行为。
编写robots.txt解析器：
虽然这一步通常不直接编码实现，但了解并遵守目标网站的robots.txt规则是爬虫开发的重要一环。确保你的爬虫行为不会违反网站的爬虫协议。

33.4 编写爬虫代码

33.4.1 发送HTTP请求

首先，我们需要使用requests库发送GET请求到新闻网站的首页或特定分类页面，获取HTML内容。

import requests
def fetch_url(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        return None

33.4.2 解析HTML内容

接下来，使用BeautifulSoup解析HTML内容，提取所需信息。

from bs4 import BeautifulSoup
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    articles = []
    for article in soup.find_all('div', class_='news-item'):  # 假设新闻项类名为'news-item'
        title = article.find('h2').text.strip()
        time = article.find('span', class_='publish-time').text.strip()
        link = article.find('a')['href']
        # 这里假设正文内容需要通过链接进一步请求
        # 实际项目中可能需要递归处理或异步加载
        # ...
        articles.append({'title': title, 'time': time, 'link': link})
    return articles

33.4.3 处理分页与链接跳转

对于包含多页内容的新闻网站，需要处理分页逻辑。同时，若新闻详情不在首页直接展示，则需要通过链接跳转到具体页面再提取内容。

def fetch_all_pages(base_url, max_pages=5):
    all_articles = []
    for page in range(1, max_pages + 1):
        url = f"{base_url}?page={page}"
        html = fetch_url(url)
        if html:
            articles = parse_html(html)
            all_articles.extend(articles)
    return all_articles
# 假设需要更复杂的详情页抓取逻辑，此处省略

33.4.4 数据存储

将爬取的数据存储到MongoDB数据库中。

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client['news_db']
collection = db['articles']
def save_to_mongo(articles):
    for article in articles:
        collection.insert_one(article)
# 调用函数
articles = fetch_all_pages('http://example.com/news')
save_to_mongo(articles)