Android教程網 >> Android技術 >> 關於Android編程 >> androidbenchmark和iphonebenchmark這兩頁面中設備信息爬蟲

androidbenchmark和iphonebenchmark這兩頁面中設備信息爬蟲

編輯：關於Android編程

#coding=utf-8
#---------------------------------------
#   程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-11
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#---------------------------------------

import string
import urllib2
import re
import os

class androidbenchmark_Spider:
	#申明相關屬性
	def  __init__(self,url):
	    #給SougoPicUrl屬性賦值
		self.androidbenchmarkUrl=url
		#用來保存圖片URL信息
		self.androidbenchmark=[]
		print u'爬蟲，爬爬...'
		
	#初始化加載頁面並將其轉碼存儲
	def	AndroidBenchMark(self):
		#讀取頁面的原始信息
		Page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#獲取頁面標題
		title=self.find_title(Page)
		print u'網頁名稱:'+title
		
		#獲取頁面中文本信息
		self.save_infor(title)
	
	#查找頁面標題
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化標題名為暫無標題
		title=u'暫無標題'
		
		#如果標題存在把標題賦值給title
		if myTitle:
		    #(.*?)這稱作一個group，組是從1開始
			title=myTitle.group(1)
		else:
			print u'爬蟲報告：無法加載網頁標題...'
		return title
	
	#保存頁面信息	
	def save_infor(self,title):
		#加載頁面文本信息到數組中
		self.get_infor()
		
		#創建並打開本地文件
		f=open(title+'.csv','w+')
		
		#把獲取的頁面信息寫入文件中	
		f.writelines(self.androidbenchmark)
		
		#關閉打開的文件
		f.close()	
		print u'爬蟲報告：文件'+title+'.csv'+u'已經下載:'+os.getcwd()
		print u'按任意鍵退出...'
		raw_input()
		
	
	#獲取頁面源碼並將其存儲到數組中
	def get_infor(self):
	    #獲取頁面中的源碼
		page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#把頁面中所有jpg圖片的URL提取出來
		self.deal_Android_Device(page)

		

	def deal_Android_Device(self,page):
		#獲取所有設備名稱
		Android_Device=re.findall('\<a href=\"phone\.php\?phone=(.*?)\"\>',page,re.S)
					
		#把手機型號的添加到androidbenchmark列表中
		for aItem in Android_Device:

		    self.androidbenchmark.append(aItem+"\n")
			
			
			
#------------程序入口處----------------
print u"""#---------------------------------------
#   程序：程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-7
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#--------------------------------------------------
"""	

#print u'需要爬取得URL(passmark_chart,memmark_chart,cpumark_chart,diskmark_chart,g2dmark_chart,g3dmark_chart)：'
#bdurl = 'http://www.androidbenchmark.net/' + str(raw_input(u'http://www.androidbenchmark.net/')) +'.html'

And_ipone=['http://www.androidbenchmark.net/','http://www.iphonebenchmark.net/']
chart_page=['passmark_chart.html','memmark_chart.html','cpumark_chart.html','diskmark_chart.html','g2dmark_chart.html','g3dmark_chart.html']
for dev in And_ipone:
	for chart in chart_page:
		bdurl=dev+chart
		Android_Device_Name=androidbenchmark_Spider(bdurl)
		Android_Device_Name.AndroidBenchMark()

		

		
		
	
	
	
#coding=utf-8
#---------------------------------------
#   程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-11
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#---------------------------------------

import string
import urllib2
import re
import os

class androidbenchmark_Spider:
	#申明相關屬性
	def  __init__(self,url):
	    #給SougoPicUrl屬性賦值
		self.androidbenchmarkUrl=url
		#用來保存圖片URL信息
		self.androidbenchmark=[]
		print u'爬蟲，爬爬...'
		
	#初始化加載頁面並將其轉碼存儲
	def	AndroidBenchMark(self):
		#讀取頁面的原始信息
		Page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#獲取頁面標題
		title=self.find_title(Page)
		print u'網頁名稱:'+title
		
		#獲取頁面中文本信息
		self.save_infor(title)
	
	#查找頁面標題
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化標題名為暫無標題
		title=u'暫無標題'
		
		#如果標題存在把標題賦值給title
		if myTitle:
		    #(.*?)這稱作一個group，組是從1開始
			title=myTitle.group(1)
		else:
			print u'爬蟲報告：無法加載網頁標題...'
		return title
	
	#保存頁面信息	
	def save_infor(self,title):
		#加載頁面文本信息到數組中
		self.get_infor()
		
		#創建並打開本地文件
		f=open(title+'.csv','w+')
		
		#把獲取的頁面信息寫入文件中	
		f.writelines(self.androidbenchmark)
		
		#關閉打開的文件
		f.close()	
		print u'爬蟲報告：文件'+title+'.csv'+u'已經下載:'+os.getcwd()
		print u'按任意鍵退出...'
		raw_input()
		
	
	#獲取頁面源碼並將其存儲到數組中
	def get_infor(self):
	    #獲取頁面中的源碼
		page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#把頁面中所有jpg圖片的URL提取出來
		self.deal_Android_Device(page)

		

	def deal_Android_Device(self,page):
		#獲取所有設備名稱
		Android_Device=re.findall('\<a href=\"phone\.php\?phone=(.*?)\"\>',page,re.S)
					
		#把手機型號的添加到androidbenchmark列表中
		for aItem in Android_Device:

		    self.androidbenchmark.append(aItem+"\n")
			
			
			
#------------程序入口處----------------
print u"""#---------------------------------------
#   程序：程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-7
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#--------------------------------------------------
"""	

print u'需要爬取得URL(passmark_chart,memmark_chart,cpumark_chart,diskmark_chart,g2dmark_chart,g3dmark_chart)：'
bdurl = 'http://www.androidbenchmark.net/' + str(raw_input(u'http://www.androidbenchmark.net/')) +'.html'
Android_Device_Name=androidbenchmark_Spider(bdurl)
Android_Device_Name.AndroidBenchMark()

#coding=utf-8
#---------------------------------------
#   程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-11
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#---------------------------------------

import string
import urllib2
import re
import os

class androidbenchmark_Spider:
	#申明相關屬性
	def  __init__(self,url):
	    #給SougoPicUrl屬性賦值
		self.androidbenchmarkUrl=url
		#用來保存圖片URL信息
		self.androidbenchmark=[]
		print u'爬蟲，爬爬...'
		
	#初始化加載頁面並將其轉碼存儲
	def	AndroidBenchMark(self):
		#讀取頁面的原始信息
		Page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#獲取頁面標題
		title=self.find_title(Page)
		print u'網頁名稱:'+title
		
		#獲取頁面中文本信息
		self.save_infor(title)
	
	#查找頁面標題
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化標題名為暫無標題
		title=u'暫無標題'
		
		#如果標題存在把標題賦值給title
		if myTitle:
		    #(.*?)這稱作一個group，組是從1開始
			title=myTitle.group(1)
		else:
			print u'爬蟲報告：無法加載網頁標題...'
		return title
	
	#保存頁面信息	
	def save_infor(self,title):
		#加載頁面文本信息到數組中
		self.get_infor()
		
		#創建並打開本地文件
		f=open(title+'.csv','w+')
		
		#把獲取的頁面信息寫入文件中	
		f.writelines(self.androidbenchmark)
		
		#關閉打開的文件
		f.close()	
		print u'爬蟲報告：文件'+title+'.csv'+u'已經下載:'+os.getcwd()
		print u'按任意鍵退出...'
		raw_input()
		
	
	#獲取頁面源碼並將其存儲到數組中
	def get_infor(self):
	    #獲取頁面中的源碼
		page=urllib2.urlopen(self.androidbenchmarkUrl).read()
		
		#把頁面中所有jpg圖片的URL提取出來
		self.deal_Android_Device(page)

		

	def deal_Android_Device(self,page):
		#獲取所有設備名稱
		Android_Device=re.findall('\<a href=\"phone\.php\?phone=(.*?)\"\>',page,re.S)
					
		#把手機型號的添加到androidbenchmark列表中
		for aItem in Android_Device:

		    self.androidbenchmark.append(aItem+"\n")
			
			
			
#------------程序入口處----------------
print u"""#---------------------------------------
#   程序：程序：androidbenchmark爬蟲
#   作者：ewang
#   日期：2016-7-7
#   語言：Python 2.7
#   功能：獲取頁面中的Android PassMark Rating信息保存到文件中。
#--------------------------------------------------
"""	

print u'需要爬取得URL(passmark_chart,memmark_chart,cpumark_chart,diskmark_chart,g2dmark_chart,g3dmark_chart)：'
bdurl = 'http://www.androidbenchmark.net/' + str(raw_input(u'http://www.androidbenchmark.net/')) +'.html'
Android_Device_Name=androidbenchmark_Spider(bdurl)
Android_Device_Name.AndroidBenchMark()

#coding=utf-8
#---------------------------------------
#   程序：iphonebenchmark爬蟲
#   作者：ewang
#   日期：2016-7-11
#   語言：Python 2.7
#   功能：獲取頁面中的iphone PassMark Rating信息保存到文件中。
#---------------------------------------

import string
import urllib2
import re
import os

class iphonebenchmark_Spider:
	#申明相關屬性
	def  __init__(self,url):
	    #給SougoPicUrl屬性賦值
		self.iphonebenchmarkUrl=url
		#用來保存圖片URL信息
		self.iphonebenchmark=[]
		print u'爬蟲，爬爬...'
		
	#初始化加載頁面並將其轉碼存儲
	def	iphoneBenchMark(self):
		#讀取頁面的原始信息
		Page=urllib2.urlopen(self.iphonebenchmarkUrl).read()
		
		#獲取頁面標題
		title=self.find_title(Page)
		print u'網頁名稱:'+title
		
		#獲取頁面中文本信息
		self.save_infor(title)
	
	#查找頁面標題
	def find_title(self,page):
		#匹配<title>xxxx</title>
		myTitle=re.search(r'<title>(.*?)</title>',page,re.S)
		
		#初始化標題名為暫無標題
		title=u'暫無標題'
		
		#如果標題存在把標題賦值給title
		if myTitle:
		    #(.*?)這稱作一個group，組是從1開始
			title=myTitle.group(1)
		else:
			print u'爬蟲報告：無法加載網頁標題...'
		return title
	
	#保存頁面信息	
	def save_infor(self,title):
		#加載頁面文本信息到數組中
		self.get_infor()
		
		#創建並打開本地文件
		f=open(title+'.csv','w+')
		
		#把獲取的頁面信息寫入文件中	
		f.writelines(self.iphonebenchmark)
		
		#關閉打開的文件
		f.close()	
		print u'爬蟲報告：文件'+title+'.csv'+u'已經下載:'+os.getcwd()
		print u'按任意鍵退出...'
		raw_input()
		
	
	#獲取頁面源碼並將其存儲到數組中
	def get_infor(self):
	    #獲取頁面中的源碼
		page=urllib2.urlopen(self.iphonebenchmarkUrl).read()
		
		#把頁面中所有jpg圖片的URL提取出來
		self.deal_iphone_Device(page)

		

	def deal_iphone_Device(self,page):
		#獲取所有設備名稱
		iphone_Device=re.findall('\<a href=\"phone\.php\?phone=(.*?)\"\>',page,re.S)
					
		#把手機型號的添加到iphonebenchmark列表中
		for aItem in iphone_Device:

		    self.iphonebenchmark.append(aItem+"\n")
			
			
			
#------------程序入口處----------------
print u"""#---------------------------------------
#   程序：程序：iphonebenchmark爬蟲
#   作者：ewang
#   日期：2016-7-7
#   語言：Python 2.7
#   功能：獲取頁面中的iphone PassMark Rating信息保存到文件中。
#--------------------------------------------------
"""	

print u'需要爬取得URL(passmark_chart,memmark_chart,cpumark_chart,diskmark_chart,g2dmark_chart,g3dmark_chart)：'
bdurl = 'http://www.iphonebenchmark.net/' + str(raw_input(u'http://www.iphonebenchmark.net/')) +'.html'
iphone_Device_Name=iphonebenchmark_Spider(bdurl)
iphone_Device_Name.iphoneBenchMark()

上一頁:android6.0源碼分析之Camera API2.0下的Capture流程分析
下一頁:Android自助餐之大圖片加載

關於Android編程

Android編程入門 Android技術基礎 Android資訊關於Android編程 Android開發 Android開發環境 Android開發實例

相關文章