資料從哪來？¶
- 資料庫來？
- 工讀生key來？
- 機器產生？如你的手機？
- 網站？
網站可以拿到什麼？¶
什麼是爬蟲¶
利用程式有系統地造訪網頁，取得網頁內容。
取出有用的資料以利後續應用。
觀察網頁
造訪網頁取得內容
剖析資料
儲存資料
爬蟲流程 pictures from https://pixabay.com¶
開始之前，和大家說，不要專注看code，專注在流程。
觀察網頁¶
檢查網頁元素¶
造訪網頁取得內容¶
使用「httr」套件
In [4]:
library(httr)
url = "https://github.com/dboyliao/DSC2015_RBasic"
response = GET(url)
content = content(response)
print(capture.output(content)[1:10]) # Capture first 10 lines of output
會有些許不同，但大多是一樣的
剖析資料¶
In [6]:
library(XML)
library(selectr)
nodes = querySelectorAll(content,".files .content a")
nodes
Out[6]:
取出字串¶
In [10]:
xmlValue(nodes[[1]])
Out[10]:
In [71]:
for(node in nodes){
print(xmlValue(node))
}
剛剛發生什麼事¶
made with www.draw.io
made with www.draw.io
實作範例2¶
- API Endpoint：http://ha2.tw/ntpcfd/api/json
- Request Type：GET
- Response Type：JSON
- 所需參數：
| 參數 | 意義 | 格式、範例 |
|---|---|---|
| service_time | 出勤日期 | 格式為 YYYY-mm-dd |
| service_unit[] | 出勤分隊 | 例如 樹林分隊 、 板橋分隊 |
| service_type[] | 出勤任務類型 | 目前只能輸入 救護、火災 、 災害 |
http://ha2.tw/ntpcfd/api/json?service_time=2015-07-25¶
取得2015年7月25日的當日出勤記錄
- 回傳結果：
- service_type：出勤任務類型
- service_unit：出勤分隊
- service_addr：出勤地址
- service_time：報案時間
- lat：出勤地址約略緯度
- lng：出勤地址約略經度
- 備註：若不帶入任何參數，則取出當天所有報案紀錄。
- 資料來源：http://epaper.tpf.gov.tw/liveview/default.asp
觀察網頁¶
造訪網頁取得內容 + 剖析資料¶
In [8]:
library(jsonlite)
url = "http://ha2.tw/ntpcfd/api/json?service_time=2015-07-25"
data = jsonlite::fromJSON(url)
head(data)
Out[8]:
檢視資料¶
In [11]:
summary(data)
Out[11]:
預處理¶
In [64]:
library(knitr)
data$service_type = as.factor(data$service_type)
data$service_unit = as.factor(data$service_unit)
data$lat = as.numeric(data$lat)
data$lng = as.numeric(data$lng)
dataWithGeoPoint = data[ data$lng>0, ]
head(summary(dataWithGeoPoint)) # 這裡用head只是為了讓summary漂亮顯示
Out[64]:
資料整理乾淨了，其實可以存起來¶
In [69]:
write.table(dataWithGeoPoint, file = "ntc.csv", sep = "," )
後續應用：簡單視覺化¶
In [28]:
library(ggplot2)
library(ggmap)
box = make_bbox(dataWithGeoPoint$lng, dataWithGeoPoint$lat)
p = ggmap(get_map(box), darken = c(0.5, "black"))
q = p + geom_point(data=dataWithGeoPoint, aes(lng, lat, colour="red", alpha = 1/10 ), size =3)+ theme(legend.position="none")
q