Python爬虫练习：爬取软科世界大学学术排名本文的文字及图片来源于网络

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
以下文章来源于云边镇，作者花花
前言【Python爬虫练习：爬取软科世界大学学术排名】软科世界大学学术排名（ShanghaiRanking’s Academic Ranking of World Universities ，简称ARWU）于2003年由上海交通大学世界一流大学研究中心首次发布，是世界范围内首个综合性的全球大学排名。 2009年开始由软科发布并保留所有权利。软科世界大学学术排名是全球最具影响力和权威性的大学排名之一，在世界各地被广泛报导和大量引用，许多国家的政府和大学以ARWU为标准，制定战略目标和发展规划，采取各种举措来提升大学的国际竞争力。软科世界大学学术排名以评价方法的客观、透明和稳定著称，全部采用国际可比的客观指标和第三方数据，包括获诺贝尔奖和菲尔兹奖的校友和教师数、高被引科学家数、在《Nature》和《Science》上发表的论文数、被SCIE和SSCI收录的论文数、师均学术表现等（查看排名方法）。软科世界大学学术排名每年排名的全球大学超过2000所，发布最为领先的前1000所大学。
文章插图
文章插图
查看网页源代码
文章插图
查看文本文件中的HTML信息
文章插图
开发环境

Python 3.8
Spyder

爬取数据

#爬取软科世界大学学术排名import requestsfrom bs4 import BeautifulSoupif __name__ == "__main__":destinationPath = "html信息.txt"allUniv = []# headers={'User-Agent':'Mozilla/5.0'}url= ''try:r = requests.get(url=url, timeout=30)r.raise_for_status()r.encoding = 'utf-8'html = r.textexcept:html = ""# fd = open(destinationPath,"w+") # 注意这里会报错：UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 0: illegal multibyte sequencefd = open(destinationPath,"w+",encoding='utf-8')fd.writelines(html)fd.close()# print(html) # 注意在vscode下这里打印不全 ， 故将结果保存在文件中soup = BeautifulSoup(html, "html.parser")# fillUnivList(soup)# printUnivList(10)print("{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}".format("排名","学校名称","国家","排名","总分",(chr(12288))))data = http://kandian.youth.cn/index/soup.find_all('tr')for tr in data: # 每一行 ， 对应每一个学校ltd = tr.find_all('td')if len(ltd)==0:continuesingleUniv = []# UniName = tr.find('a')# singleUniv = [UniName.string]for td in ltd:if td.find("a"):UniName = td.find("a").stringsingleUniv.append(UniName)elif td.string.strip():singleUniv.append(td.string.strip())allUniv.append(singleUniv)# print(singleUniv)# num = len(allUniv)num = 30for i in range(num):u=allUniv[i]print("{0:<10}{1:{5}^20}{2:{5}<10}{3:{5}^4}{4:^33}".format(u[0],u[1],u[2],u[3],u[4],(chr(12288))))#排版原因 ， 实为一行print("{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}".format("排名","学校名称","国家","排名","总分",(chr(12288))))

爬取结果

文章插图