python爬蟲學習筆記--BeautifulSoup4庫的使用詳解

from bs4 import BeautifulSoup
#創(chuàng)建 Beautiful Soup 對象
# 使用lxml來進行解析
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())

from bs4 import BeautifulSoup
#創(chuàng)建 Beautiful Soup 對象
# 使用lxml來進行解析
soup = BeautifulSoup(html,"lxml")
#print(soup.prettify())


#創(chuàng)建 Beautiful Soup 對象
soup = BeautifulSoup(html,'lxml')

print (soup.title)#None因為這里沒有tiele標簽所以返回none

print (soup.head)#None因為這里沒有head標簽所以返回none

print (soup.a)#返回 a class="fill-dec"  target="_blank">編輯自我介紹，讓更多人了解你span class="write-icon">/span>/a>


print (type(soup.p))#返回 class 'bs4.element.Tag'>

print( soup.p)

print (soup.name)# [document] #soup 對象本身比較特殊，它的 name 即為 [document]

print (soup.head.name)#head #對于其他內(nèi)部標簽，輸出的值為標簽本身的名稱

print (soup.p.attrs)##把p標簽的所有屬性打印出來,得到的類型是一個字典。

print (soup.p['class'])#獲取P標簽下地class標簽

soup.p['class'] = "newClass"
print (soup.p) # 可以對這些屬性和內(nèi)容等等進行修改

print (soup.p.string)
# The Dormouse's story
print (type(soup.p.string))
# class 'bs4.element.NavigableString'>thon

print(soup.name)
#返回 '[document]'

markup = "b>!--Hey, buddy. Want to buy a used parser?-->/b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# class 'bs4.element.Comment'>

head_tag = soup.div
# 返回所有子節(jié)點的列表
print(head_tag.contents)

head_tag = soup.div

# 返回所有子節(jié)點的迭代器
for child in head_tag.children:
    print(child)

for string in soup.strings:
    print(repr(string))

for string in soup.stripped_strings:
    print(repr(string))

print(soup.find_all("a",id='link2'))

#通過標簽名查找：
print(soup.select('a'))
#通過類名查找：
#通過類名，則應(yīng)該在類的前面加一個'.'
print(soup.select('.sister'))
#通過id查找：
#通過id查找，應(yīng)該在id的名字前面加一個＃號
print(soup.select("#link1"))

print(soup.select("p #link1"))#查找 p 標簽中，id 等于 link1的內(nèi)容

print(soup.select("head > title"))

print(soup.select('a[))#屬性與標簽屬同一節(jié)點，中間不能有空格

print (type(soup.select('div')))

for title in soup.select('div'):
    print (title.get_text())

print (soup.select('div')[20].get_text())#選取第20個div標簽的內(nèi)容