R语言 rvest爬取大众点评上海商场信息(R语言＆大数据分析qq群 456726635 欢迎讨论交流)

library(rvest)
library(xml2)
library(magrittr)


#点评官网
dianpingweb<-"http://www.dianping.com"
#综合商场
comshop<-"/search/category/1/20/g119p"


#  
webii<-seq(1:22)


fulldata<-data.frame()


for(i in webii)
{
  
  web<-read_html(paste0(dianpingweb,comshop,as.character(i)),encoding="UTF-8") #"http://www.dianping.com/search/category/1/20/g119"
  
  
    #商城名字
    businame<-web %>% html_nodes("div.tit")%>% html_nodes("h4")%>% html_text()
    busitag<-web %>% html_nodes("div.tag-addr")%>% html_nodes("a")%>% html_nodes("span")%>% html_text()
    temptag<-matrix(busitag,ncol=2,byrow=T)
    
    
    
    #商城类别和商城地址
    busicatog<-temptag[,1]
    
    busiaddr<-temptag[,2]
    
    #商城等级
    busideg<-web %>% html_nodes("div.comment")%>% html_nodes("span")%>%html_attr("title")
    
    #评论数
  #  reviewa<-web %>% html_nodes("div.comment")%>% html_nodes("a.review-num")%>%html_text()
    reviewnum<-web %>% html_nodes("div.comment")%>% html_nodes("a.review-num b")%>%html_text()
  #  reviewa
    
    #平均消费tempprice
    nullprice<-web %>% html_nodes("a.mean-price b")%>%html_text()
    nullprice<-gsub(pattern = "￥", replacement = "", nullprice)
    pricea<-web %>% html_nodes("a.mean-price")%>%html_text()
    jvector<-vector()
    for(j in 1:length(pricea))
    {
      pricelist=unlist(strsplit(pricea[j],split=" "))
      pricegrep<-grep(pattern = "\\￥", pricelist, value = TRUE)
      if(identical(pricegrep, character(0)))
      {
        jvector[j]=0
      }
      else jvector[j]=1
    }
    meanprice=jvector
    ii=1
    for(k in 1:length(jvector))
    {
      if(jvector[k]==1) 
        {
           meanprice[k]=nullprice[ii]
           ii=ii+1
        }
    }
    meanprice
    
  
    
    #下一层连接url
    childhtml<-web %>% html_nodes("div.pic")%>% html_nodes("a")%>%html_attr("href")
    
 
  
  
  
  
  
  print(i)
  

}

图片中是爬取的数据样例。

点击链接加入群【R语言＆大数据分析】：https://jq.qq.com/?_wv=1027&k=4BQLEWp，R语言＆大数据分析qq群 456726635 欢迎讨论交流