<abbr id="8ggge"></abbr>
<kbd id="8ggge"><code id="8ggge"></code></kbd>
<pre id="8ggge"></pre>
  • <s id="8ggge"><dd id="8ggge"></dd></s>
    <s id="8ggge"><dd id="8ggge"></dd></s><cite id="8ggge"><tbody id="8ggge"></tbody></cite>
    <kbd id="8ggge"><code id="8ggge"></code></kbd>

    國內(nèi)或國外 期刊或論文

    您當(dāng)前的位置:發(fā)表學(xué)術(shù)論文網(wǎng)文史論文》 熱銷圖書爬取數(shù)據(jù)的BeautifulSoup庫解析> 正文

    熱銷圖書爬取數(shù)據(jù)的BeautifulSoup庫解析

    所屬分類:文史論文 閱讀次 時間:2021-05-17 10:30

    本文摘要:摘要BeautifulSoup庫是python語言關(guān)于網(wǎng)絡(luò)爬蟲爬取頁面解析的第三方庫。它能根據(jù)html、xml以及html5lib語法建立解析樹,進(jìn)而高效解析網(wǎng)頁內(nèi)容。本文從基本元素、網(wǎng)頁內(nèi)容遍歷提取方法入手介紹BeautifulSoup庫的工作原理,并結(jié)合電商平臺最新的圖書銷售數(shù)據(jù)為

      摘要BeautifulSoup庫是python語言關(guān)于網(wǎng)絡(luò)爬蟲爬取頁面解析的第三方庫。它能根據(jù)html、xml以及html5lib語法建立解析樹,進(jìn)而高效解析網(wǎng)頁內(nèi)容。本文從基本元素、網(wǎng)頁內(nèi)容遍歷提取方法入手介紹BeautifulSoup庫的工作原理,并結(jié)合電商平臺最新的圖書銷售數(shù)據(jù)為實(shí)例,進(jìn)行爬取信息的解析展示。

      關(guān)鍵詞網(wǎng)絡(luò)爬蟲;網(wǎng)頁解析;BeautifulSoup庫

    數(shù)據(jù)庫解析

      1引言

      BeautifulSoup庫是python語言的第三方爬蟲解析庫。它提供了簡單便捷的python式函數(shù)來處理復(fù)雜的Web頁面的分析需求,是解析、遍歷、維護(hù)標(biāo)簽樹的功能庫。BeautifulSoup庫不僅支持html,還支持lxml以及htnl5lib解析器。通過解析文檔為用戶爬取有價值的數(shù)據(jù),大大節(jié)省開發(fā)時間,成為廣受歡迎的網(wǎng)頁解析工具之一[1]。

      2BeautifulSoup庫的使用

      利用爬蟲獲取網(wǎng)頁信息,就是從html代碼中抽取我們需要的信息。html代碼由眾多標(biāo)簽組成。BeautifulSoup庫的主要功能就是精確定位標(biāo)簽以及從標(biāo)簽中提取內(nèi)容[2]。

      2.1BeautifulSoup庫的基本元素

      BeautifulSoup庫可以將html文檔轉(zhuǎn)換為一個復(fù)雜的樹形結(jié)構(gòu),每個節(jié)點(diǎn)就是一個對象,所有對象可以歸納為4類:(1)Tag對象:每一個html文檔中的Tag標(biāo)簽就是BeautifulSoup庫一個對象。(2)NavigableString對象:Tag對象的內(nèi)部文本節(jié)點(diǎn),可以通過Tag.string返回該對象。(3)BeautifulSoup對象:通過類的實(shí)例化BeautifulSoup對象可以將html文檔轉(zhuǎn)換為一個樹形結(jié)構(gòu),以表示html的文檔結(jié)構(gòu)。(4)Comment對象:返回注釋標(biāo)簽的文本節(jié)點(diǎn),是NavigableString對象的子類。

      2.2BeautifulSoup庫的信息提取方法

      BeautifulSoup對象作為一棵html標(biāo)簽樹,存在眾多由標(biāo)簽對象及非屬性字符串組成的節(jié)點(diǎn)[3]。由于節(jié)點(diǎn)的非線性結(jié)構(gòu),相對于它所在的位置,使得它與其他節(jié)點(diǎn)構(gòu)成了上下、平行關(guān)系,從而衍生出該節(jié)點(diǎn)的父節(jié)點(diǎn)、子節(jié)點(diǎn)、兄弟節(jié)點(diǎn)的上行遍歷、下行遍歷和平行遍歷。節(jié)點(diǎn)的下行遍歷可以通過子孫節(jié)點(diǎn)實(shí)現(xiàn)。.contents屬性可將所有子節(jié)點(diǎn)以列表的方式輸出,通過.children生成器,可對所有子孫節(jié)點(diǎn)進(jìn)行遍歷。節(jié)點(diǎn)的上行遍歷可以通過父輩節(jié)點(diǎn)實(shí)現(xiàn),.parent屬性可將所有父節(jié)點(diǎn)以列表的方式輸出,通過.parents生成器,可對所有父輩節(jié)點(diǎn)進(jìn)行遍歷。節(jié)點(diǎn)的平行遍歷可通過兄弟節(jié)點(diǎn)實(shí)現(xiàn),.next_sibling屬性獲取了該節(jié)點(diǎn)的下一個兄弟節(jié)點(diǎn)。.

      previous_sibling則與之相反,如果節(jié)點(diǎn)不存在,則返回None,兄弟節(jié)點(diǎn)的平行遍歷要求兩節(jié)點(diǎn)需為同級節(jié)點(diǎn),即屬于同一個父節(jié)點(diǎn)。對標(biāo)簽樹符合指定內(nèi)容的節(jié)點(diǎn)遍歷則需要配合搜索方法共同作用,BeautifulSoup庫提供了8種信息查找和獲取方法,其中使用最廣泛的是利用find_all()方法搜索標(biāo)簽樹[4]。find_all(name,attrs,recursive,text,**kwargs)方法搜索當(dāng)前tag的所有子節(jié)點(diǎn),并判斷是否符合過濾器的條件。

      經(jīng)濟(jì)論文投稿刊物:《經(jīng)濟(jì)數(shù)學(xué)》(季刊)創(chuàng)刊于1984年,主要刊登數(shù)量經(jīng)濟(jì)學(xué)、數(shù)理經(jīng)濟(jì)學(xué)、計量經(jīng)濟(jì)學(xué)、經(jīng)濟(jì)對策論、經(jīng)濟(jì)控制論、經(jīng)濟(jì)預(yù)測與決策和經(jīng)濟(jì)應(yīng)用數(shù)學(xué)領(lǐng)域中創(chuàng)造性的研究成果。本刊現(xiàn)為季刊,向國內(nèi)外公開發(fā)行。

      3電商平臺圖書熱銷數(shù)據(jù)的爬取解析

      各大電商平臺的商品成交數(shù)據(jù)蘊(yùn)含大量的有用信息。本文以京東平臺2020年10月份的圖書銷售信息為依據(jù),利用python的requests庫和BeautifulSoup庫爬取并解析出該時段京東圖書銷售榜的top100條信息,以幫助用戶獲取最新熱門圖書資源。

      (1)數(shù)據(jù)爬取。在數(shù)據(jù)爬取之前先閱讀京東網(wǎng)站的網(wǎng)絡(luò)robots協(xié)議,出于數(shù)據(jù)保護(hù)考量,網(wǎng)站對爬蟲訪問進(jìn)行了反爬設(shè)置,需要修改網(wǎng)絡(luò)請求頭中的user-agent為合法瀏覽器。然后利用requests庫GET方法對目標(biāo)網(wǎng)頁進(jìn)行爬取,從而獲得當(dāng)前頁面的html文件。defaskURL(url):head={"user-agent":"Chrome"}r=requests.get(url,headers=head)r.raise_for_status()r.encoding=r.apparent_encodinghtml=r.textreturnhtml

      (2)數(shù)據(jù)解析。利用requests庫爬取的是整個網(wǎng)頁的html文檔,其中大部分?jǐn)?shù)據(jù)并不是我們想要的圖書熱銷信息,利用BeautifulSoup庫進(jìn)行有價值數(shù)據(jù)的解析提取,通過建立soup對象,利用find_all("div",class_="p-detail")找到逐條的熱銷圖書信息,并進(jìn)行數(shù)據(jù)清洗,只保留圖書名稱、作者以及出版社信息,存儲為列表數(shù)據(jù)。defgetData(html):html=askURL(url)soup=BeautifulSoup(html,"html.parser")data=[]foriteminsoup.find_all("div",class_="p-detail"):aset=item.find_all("a")data.append([aset[0].attrs['title'],"\t作者"+aset[1].attrs['title'],"\t"+aset[2].attrs['title']])returndata

      (3)數(shù)據(jù)保存。將解析完成的數(shù)據(jù),加以編號,存放到本地,編碼方式設(shè)置為utf-8,以免出現(xiàn)亂碼[5]。defsaveData(datalist,savepath):withopen(savepath,"w",encoding="utf-8")asf:fordataindatalist:forlineindata:f.writelines(line)f.write("\n\n")return

      參考文獻(xiàn)

      [1]蘇旋.分布式網(wǎng)絡(luò)爬蟲技術(shù)的研究與實(shí)現(xiàn)[碩士學(xué)位論文].哈爾濱工業(yè)大學(xué),哈爾濱,2012

      [2]夏敏捷,楊關(guān),等.Python程序設(shè)計-從基礎(chǔ)到開發(fā).北京:清華大學(xué)出版社,2017

      [3]嵩天,禮欣,黃天羽.Python語言程序設(shè)計基礎(chǔ).第2版.北京:高等教育出版社,2017

      [4]郭麗蓉.基于Python的網(wǎng)絡(luò)爬蟲程序設(shè)計.電子技術(shù)與軟件工程,2017(23):248-249

      [5]魏倩男,賀正楚,陳一鳴.基于網(wǎng)絡(luò)爬蟲的京東電商平臺數(shù)據(jù)分析.經(jīng)濟(jì)數(shù)學(xué),2018,35(1):77-85

      作者:鞠慧

    轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng):http://www.zpfmc.com/wslw/26786.html

    主站蜘蛛池模板: 亚洲熟女精品中文字幕| 权明星商标查询| 天天天天天天干| 国产亚洲精品精品国产亚洲综合 | 国产亚洲欧美日韩精品一区二区| 久草香蕉视频在线观看| 91精品免费国产高清在线| 精品一区二区三区四区五区| 日本另类z0zx| 国产成人精品亚洲精品| 亚洲国产激情一区二区三区| av电影在线免费看| 精品人妻中文字幕有码在线| 无需付费看视频网站入口| 国产真实乱16部种子| 亚洲日本久久一区二区va| a在线视频免费观看| 波多野结衣在线看片| 国产美女在线观看| 亚洲一区精品视频在线| 6080yy成人午夜电影| 浪荡欲乱之合集| 国产精品热久久| 亚洲日韩欧洲无码av夜夜摸| 3d动漫wxxxx在线播放| 欧美激情视频二区| 国产精品99久久免费| 亚洲免费二区三区| 100款夜间禁用b站软件下载| 欧美日韩视频在线| 国产欧美日韩精品高清二区综合区| 亚洲人成网站色7799| 亚洲成人www| 最近中文字幕国语免费高清6| 国产男女猛烈无遮挡免费视频网站| 久久精品午夜一区二区福利| 鲤鱼乡太大了坐不下去| 护士的护士服被扒了下来小说| 回复术士的重来人生第一季樱花动漫 | 无码一区二区三区AV免费| 国产乱理伦片在线观看|