python爬取新闻首选的网站不能是大型且复杂的网站，比如头条，反爬虫比较厉害，新手先不要碰，反爬虫是什么意思？就是网站设计了一些程序不让你爬数据，对新手不友好，如果你爬了但是没有成功，很影响你学习python的热情，所以我们要去爬传统的新闻网站，它们几乎没有任何反扒虫措施。
每经网是一个很好的选择，这是一个以发布经济新闻为主的网站，我们可以先选中其中一篇文章。
先说一下爬取新闻的三个步骤：
第一步：导入相关模块，比如requests模块、BeautifulSoup模块。
第二步：使用requests模块请求网址信息。
第三步：使用BeautifulSoup模块，解析信息并输出
我们选取下面这篇新闻，网址是：
https://www.nbd.com.cn/articles/2025-08-25/4026553.html
以下是python爬取新闻的代码：
#第一步，导入模块
from bs4 import BeautifulSoup
import requests
#第二步，requests模块请求网址信息
url="https://www.nbd.com.cn/articles/2025-08-25/4026553.html"
response = requests.get(url)
response.encoding="utf-8"
#第三步，BeautifulSoup模块，解析信息并输出
soup=BeautifulSoup(response.text,'lxml')
title_新闻标题 = soup.find('title')
print(title_新闻标题.get_text())
text_文章内容= soup.find('div',class_='g-articl-text').find_all("p")
for element in text_文章内容:
print(element.get_text())
附上爬取的结果，新闻标题和内容都有。
python新手做到第一步和第二步是没有问题的，几乎没有技术难点，除非不小心打错字。
第三步的难点是要分析网页结构，网页的编码方式是对称的、分层的，选中网页的文字然后鼠标右键点击审查元素，你可以看到这篇新闻的标题是放在title这个元素中间的，被两个title上下包裹住的。
title_新闻标题 = soup.find('title')
print(title_新闻标题.get_text())
这里find()方法是找到网页内第一个对称的title标签，包括title夹着的信息，再然后用get_text()函数提取中文并且输出（title的意思是标题）
接下来用同样的原理找到文章的主题内容，文章的内容都在P这个标签内，P标签的上一层是<div class="g-articl-text">，结构大概就是这个样子：
<div class="g-articl-text">
<P> 文章内容 </P>
</div>
text_文章内容= soup.find('div',class_='g-articl-text').find_all("p")
所以先获取'div'标签这个大范围，再框定P标签这个小范围。
这里解释一下为什么还要加个class_='g-articl-text'这部分，因为find()这个方法只能找第一个最先找到的标签，而我们所需要的包裹住文章内容的'div'标签再网页中不是第一个，所以再加上一个独一无二的特征才能锁定这个范围，锁定之后再找到里面所有的P标签。
因为'div',class_='g-articl-text'这里面已经包含了文章内容，甚至不需要通过找P标签就可以提取所有的文字，这样做确实可以，但是这样一来，P标签与'div',class_='g-articl-text'之间没有文章内容的部分也会获取到，导致下载下来的文章和文章内容之间产生大量的空白行。
作为python新手，代码越是规范越有利，如果是再复杂的网页里更要遵守好的写码习惯。
下图是网页源代码：
这里要解释一下class_='g-articl-text'的class_为什么比网页的class前面多了一条下划线。
因为在python中，class属于关键词，叫做类，已经被占用了，所以要加一条下划线区分，不然会起冲突。
for element in text_文章内容:
print(element.get_text())
最后是使用的是一个for循环函数，因为find_all（）方法找到的所有匹配的标签属于列表，也就是说，每一个由P标签包裹的文章段落都属于一个列表中的值，需要通过for循环将每个值都遍历一次，并且每个值通过get_text()这个函数找出每个P标签内的文字然后循环打印出来。
因为同一个网站的代码通常一段时间内是不会变动的，所以上面的代码只要更换一下下一篇的新闻网址，一般情况下也是可以正常运行的。
如果你想尝试一下，可以复制上面的代码，修改其中的标签信息感受其中的差异，或者更换一下网址爬取不同的新闻信息。
注意：复制代码后要规范缩进。
总结一下，本节主要讲的是如何爬取传统新闻网站的文字，重点在于学会使用find()和find_all()，还有熟练使用for循环。
如果你学会了上面的内容，那么恭喜你， 你已经可以初步爬取无门槛网站的一些文字， 成功入门python。
上面的代码只作为教学，旨在演示核心概念和实现逻辑。如果有任何侵权行为，联系后我会立即删除。