8.BeautifulSoup(2)

发布日期:2020-12-26 作者:admin 来源:网络

    1. 遍历文档树

        在解析文档文件的过程中,如果需要遍历文档,我们需要使用到一些特殊的方法,

        例如:

        1) .contents

        获取Tag的所有子节点,以列表的形式返回

        例如:

con =  soup.head.contents
for i in con:
    print(i)

        先把tag的.content对象以列表的形式存储在con中,然后通过遍历来查看其中的元素。

        2) .children

        获取Tag的所有子节点,存储在一个生成器中,可以直接通过遍历的方式来访问,和上面例子一致。

        3) .descendants

        获取Tag的所有子孙节点。

        4) .strings

        获取子孙节点中的所有内容,可以通过遍历的方式来访问。

        5) .parent

        获取到Tag标签的父节点。

        6) .parents

        递归得到所有父辈节点,存放在一个生成器中,可以通过遍历的方式来访问。

        7) .previous_siblings

        获取Tag上面的所有兄弟节点,返回生成器。

        8) .next_siblings

        获取Tag下面的所有兄弟节点,返回生成器。

        9) .has_attr

        用于判断Tag是否包含属性。

    2. 搜素文档树

        我们在使用的过程中如果要匹配到搜索内容的全部信息,这时候就需要搜索整个文档树,我们需要采用到find_all方法,这个过滤器能贯穿整个搜索的AIP,它可以使用在tag的name中,它的语法格式为:

find_all( name , attrs , recursive , text , **kwargs )

        name参数即tag的名字,attrs为类或id,recursive为递归性,text为文本参数。

        我们对于下面一段网页信息进行学习使用。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>C语言网</title>
</head>
<body>
<div id = "contnt">
    <div id="top">
            <div id="dot">
            <a class="dotcpp" href="http://news.baidu.com" name="jc">教程</a>
            <a class="dotcpp" href="https://www.dotcpp.com/wp/" name="zy">资源</a>
            <a class="dotcpp" href="https://blog.dotcpp.com/" name="bk">博客</a>
            <a class="dotcpp" href="https://www.dotcpp.com/team/" name="xz">小组 </a>
            <a class="dotcpp" href="https://www.dotcpp.com/wp/#" name="xl">训练 </a>
            <a class="dotcpp" href="https://www.dotcpp.com/oj/contest.html" name="bs">比赛 </a>
          </div>
    </div>
</div>
</body>
</html>

        1) name

        name对应的是标签的名字,我们可以通过函数判断名字的存在,来遍历文档中的所有name标签的相关信息。

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"html.parser")
def name_is_exists(tag):
    return tag.has_attr("name")
s = soup.find_all(name_is_exists)
for i in s:
    print(i)

        输出结果为:

<a class="dotcpp" href="http://news.baidu.com" name="jc">教程</a>
<a class="dotcpp" href="https://www.dotcpp.com/wp/" name="zy">资源</a>
<a class="dotcpp" href="https://blog.dotcpp.com/" name="bk">博客</a>
<a class="dotcpp" href="https://www.dotcpp.com/team/" name="xz">小组 </a>
<a class="dotcpp" href="https://www.dotcpp.com/wp/#" name="xl">训练 </a>
<a class="dotcpp" href="https://www.dotcpp.com/oj/contest.html" name="bs">比赛 </a>

        通过这个简单的例子我们筛选出了具备name名字的所有标签并输出。

        2) attrs

        因为在一个html文档中有很多属性,我们想要筛选到我们想要的信息,也可以通过属性的不同来筛选,我们如果把最后文档中最后一个比赛的中的class内容改为:

<a href="https://www.dotcpp.com/oj/contest.html" name="bs" >比赛 </a>

        然后我们通过标签的选择,可以直接获取到这条标签的内容,代码如下:

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"html.parser")
s = soup.find_all(attrs={"class":"dot"})
for item in s:
    print(item)

        输出结果为:

<a class="dot" href="https://www.dotcpp.com/oj/contest.html" name="bs">比赛 </a>

        3) Text

        Text参数可以搜索文档中的字符串内容,与name参数的可选值一致,也可以通过正则表达式筛选,我们继续对上面的html文件进行过滤,代码如下:

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,"html.parser")
t_list = soup.find_all(text=["比赛", "博客", "训练"])
for item in t_list:
    print(item)

        输出结果为:

博客
训练
比赛

        在使用的时候还会使用到find()方法,它会返回符合条件的第一个Tag,我们在筛选一条符合要求的信息时可以采用find()方法,当然我们也可以在find_all()中通过limit 参数来限定为‘1’来进行查找,如下面例子中,它们对应的是同一信息。

ts = soup.find_all("title",limit=1) 
print(ts) 
t = soup.find("title") 
print(t)

    3. 总结

        BeautifulSoup在我们解析网页的时候简单好用,能够帮助我们快速的找到相应的信息,相应的语法也比较基础,常用的一些内容我们基本介绍完了,如果想要了解更多内容可以通过相关文档进一步的学习。https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/                                          

 


关键词 :
帝国模板网版权所有