R ile Web Kazıma ve Verileri Ayrıştırma | H-1B Verilerini Keşfetme Böl. 1

Bu eğitimin amacı, R ile web kazıma yoluyla H1B vizeleri hakkında nasıl veri toplayabileceğinizi göstermek. Ardından, JSON nesnelerini nasıl ayrıştırabileceğinizi ve verileri nasıl saklayıp işleyebileceğinizi, böylece H1B başvurularının büyük veri seti üzerinde temel bir keşif amaçlı veri analizi (EDA) yapabileceğinizi de öğreneceksiniz.

Belki kendinizi bir aday olarak nasıl en iyi konumlandırabileceğinizi ya da yeni R kodları öğrenebilirsiniz!

Giriş

Geçen hafta, DataCamp'in blogundaki "Veriler H-1B Vize Başvurunuza Yardımcı Olabilir mi" yazısı, yıllar içindeki H-1B verilerinin analizine ilişkin bazı sonuçları sundu. Şimdi, işe koyulup verileri kendiniz analiz etme ve başka neler bulabileceğinizi görme zamanı! Ted Kwartler sizi bir dizi R eğitimle bunun üzerinden geçirecek.

H1B vizeleri başvurusunda bulunan bir Teksas hukuk firmasında çalışan bir arkadaşım var. H1B, Amerika Birleşik Devletleri'nde, ABD işverenlerinin yabancı çalışanları belirli uzmanlık gerektiren pozisyonlarda geçici olarak çalıştırmasına olanak tanıyan göçmen olmayan bir vizedir. Görünüşe göre kabul edilmek son derece zor, çünkü sınırlı sayıda vize var ve başvuranlar binleri buluyor. Bu anekdotsal olsa da, nitelikli adaylara ABD'nin misafirperver bir yer olduğunu bilmelerine yardımcı olma umuduyla verileri kendim keşfetmeye karar verdim!

Verilerinizi Alma: Web Kazıma ve Ayrıştırma

DataCamp'teki bir meslektaşım beni, 2012'den 2016'ya kadar H1B verilerini içeren basit bir web sitesi olan bu siteye yönlendirdi.Site, tek bir tabloda düzenlenmiş 2 milyon H1B başvurusu olduğunu iddia ediyor.Bu verileri programatik olarak toplamaya (okuyun: web kazıma) karar verdim çünkü ömrümün sonuna kadar kopyala/yapıştır yapmaya hiç niyetim yoktu! Aşağıdaki resimde, sitenin Boston'a ait H1B verilerinin bir kısmını gösterdiğini görebilirsiniz:

Bu eğitimde kullanılacak kütüphaneler arasında JSON nesnelerini ayrıştırmak için jsonlite, HTML'i “hasat eden” rvest, temel apply fonksiyonlarına ilerleme çubuğu eklediği için kişisel favorim olan pbapply ve R'ın büyük veri çerçevelerindeki performansını iyileştiren data.table bulunuyor.

library(jsonlite)
library(rvest)
library(pbapply)
library(data.table)Altyapı:

Sayfa Yapısını Keşfetme

Siteyi keşfettikçe, arama formunun otomatik doldurma seçenekleri sunduğunu fark edeceksiniz. Örneğin, şehir alanına “B” yazmak aşağıda gösterilen önerilerin yer aldığı bir modal açacaktır. Aşağıdaki resim, “B” yazdığımda çıkan otomatik doldurma seçeneklerini gösteriyor:

Bu, siteyi sorgulamak için otomatik doldurmayı verimli bir yol olarak kullanabileceğiniz anlamına gelir. Chrome ile sayfayı yeniden yükleyip sağ tıklayarak “İncele” seçeneğini kullanabilir, ardından geliştirici panelinde “Ağ”a gidip sayfada “B” yazarak modalın yüklenmesini sağlayabilirsiniz. Ağ panelindeki bağlantıları incelerken, aşağıdaki gibi şehirlerin JSON nesnesini döndüren bir PHP sorgusu bulacaksınız bu. Hedef, önce tüm önerilen şehirleri toplamak ve ardından bu listeyi kullanarak H1B verilerinin bulunduğu çok sayıda sayfayı kazımaktır. Önceki URL'yi incelediğinizde, bir harfle bittiğini fark edeceksiniz. Dolayısıyla, paste0() fonksiyonunu URL tabanı olan http://h1bdata.info/cities.php?term= ile ve letters ile birlikte kullanabilirsiniz. Taban, letters içindeki her değer için yeniden kullanılır. letters nesnesi, “a”dan “z”ye yerleşik bir R vektörüdür. json.cities nesnesi, tüm otomatik doldurma önerilerini JSON olarak içeren a'dan z'ye URL'lerin bir vektörüdür.

json.cities<-paste0('http://h1bdata.info/cities.php?term=', letters)Altyapı:

all.cities<-unlist(pblapply(json.cities,fromJSON))Altyapı:

city.year<-expand.grid(city=all.cities,yr=seq(2012,2016))Altyapı:

city.year$city<-urltools::url_encode(as.character(city.year$city))Altyapı:

all.urls<-paste0('http://h1bdata.info/index.php?em=&job=&city=', city.year[,1],'&year=', city.year[,2])Altyapı:

Sayfalardan Bilgi Çıkarmak

Önceki adımları tamamladıktan sonra, her sayfadan verileri toplamak için main adlı özel bir fonksiyon oluşturabilirsiniz. Bu, rvest fonksiyonlarını kullanan basit bir iş akışıdır. Önce bir URL kabul edilir ve read_html() sayfa içeriğini ayrıştırır. Sonra sayfanın tek html_table'ı diğer tüm HTML bilgilerinden seçilir. main fonksiyonu, bellekte verimli saklanabilmesi için x nesnesini bir data.table'a dönüştürür. Son olarak, main'i kapatmadan önce bir Sys.sleep ekleyerek DDOS saldırısı olarak görülmenizi engelleyebilirsiniz.

main<-function(url.x){
  x<-read_html(url.x)
  x<-html_table(x)
  x<-data.table(x[[1]])
  return(x)
  Sys.sleep(5)
}Altyapı:

Hadi şu verileri alalım! Kazımanın ilerlemesini takip edebilmek için pblapply() ile gelen ilerleme çubuğunu seviyorum.
Basitçe all.urls ve main fonksiyonunu pblapply() fonksiyonuna geçirirsiniz. R anında işe koyulur: bir sayfayı yükler, tabloyu toplar ve o sayfa için bellekte bir data.table tutar. Her URL sırayla toplanır ve bellekte tutulur.

all.h1b<-pblapply(all.urls, main)Altyapı:

Verileri Tek Bir Data Table'da Birleştirme

Verilerinizi Temizleme

Verileri kazımış olsanız da, yönetilebilir bir formata getirmek için bazı ek adımlar gerekir.

Tarihleri düzenlemeye yardımcı olması için lubridate kullanırsınız. Ayrıca dize işlemleri için sarmalayıcılar sunan stringr'dan yararlanırsınız.

library(lubridate)
library(stringr)Altyapı:

Kişisel bir tercih olmakla birlikte, scipen=999 kullanmayı seviyorum. Zorunlu değil ama bilimsel gösterimi ortadan kaldırır.

options(scipen=999)Altyapı:

Web kazıma, 2 milyon H1B kaydının 1,8 milyonunu yakalamış görünüyor. Bana göre 1,8 milyon yeterince iyi. O halde verileri fread() ile yükleyelim: bu fonksiyon read.csv gibidir ama daha verimli “hızlı ve dost canlısı dosya düzenleyici”dir.

h1b.data<-fread('h1b_data.csv')Altyapı:

Kazınan veri sütun adları büyük harfli ve boşluk içeriyor.

Bu nedenle, adlarıyla başvurmak zahmetli; bu yüzden ilk yapmak istediğiniz şey onları yeniden adlandırmaktır.

Sütunları yeniden adlandırmak, atama operatörünün (<-) her iki tarafında da fonksiyonlar gerektirir. Solda colnames() kullanın ve veri çerçevesini geçirin. Operatörün sağ tarafında ise bir dizi karakter dizisi geçebilirsiniz.

Bu örnekte, önce özgün adları tolower() kullanarak küçük harfe çevirirsiniz. İkinci satırda, genel değiştirme fonksiyonu olan gsub() uygularsınız.

gsub() bir deseni tanıdığında, bu durumda bir boşluk, tüm örnekleri ikinci parametre olan alt çizgi ile değiştirir. Son olarak, artık küçük harfli veri çerçevesi sütunlarını temsil eden names(h1b.data) içinde değişiklikleri yapmasını gsub()'a söylemeniz gerekir.

colnames(h1b.data)<-tolower(names(h1b.data))
colnames(h1b.data)<-gsub(' ', '_', names(h1b.data))  Altyapı:

Verileri keşfederken ilk kullandığım fonksiyonlardan biri tail() fonksiyonudur. Bu fonksiyon en alttaki satırları döndürür. Burada, tail() son 8 satırı döndürecektir.

Bu, verinin şeklini ve vektörlerin nasıl göründüğünü hızlıca görmenize yardımcı olur.

tail(h1b.data, 8)Altyapı:

Sonra, her zaman vektörlerin sınıfını kontrol ederim. Web kazınmış verilerde, sayısal değerler veya faktörler metne dönüşebilir. Sınıfları şimdi düzeltmenin, ileride yaşanacak hayal kırıklıklarını önleyebileceğini göreceksiniz!

apply() fonksiyonunu kullanarak, h1b.datayı, sonra 2 ve sınıf fonksiyonunu geçebilirsiniz. 2 seçtiğiniz için, R her sütunun sınıfını kontrol eder ve konsolunuza döndürür. apply()'ı 1 ile satır bazında bir fonksiyon uygulamak için kullanabilirsiniz ama bu durumda işe yaramaz.

apply(h1b.data,2,class)Altyapı:

Ah Tüh!

Tüm sütunlar “character” ve düzeltilmeleri gerekiyor. Tarih sütunlarından birini nasıl değiştireceğinizi göstereceğim, diğerlerini size bırakıyorum. Yanlış sınıflandırılmış tarihlerin son 6 satırını incelemek için tail() kullanın.

Tarihleri düzeltmek için, / eğik çizgilerinin - tirelere çevrilmesi gerekir. Yine gsub() kullanarak / karakterini arayıp - ile değiştirin.

tail(h1b.data$submit_date)
h1b.data$submit_date<-gsub('/', '-', h1b.data$submit_date)Altyapı:

Tireler yerleştirildikten sonra, "ay, gün, yıl" anlamına gelen mdy() uygularsınız. Bunun sebebi, tarihler o sırayla yazılmıştır. Sıra farklı olsaydı, mdy harflerini buna göre yeniden düzenlerdiniz.

Sütunun doğru değiştiğinden emin olmak için, tekrar sondan inceleyin ve sınıfı kontrol edin. tail() çıktısı “2016-03-11 UTC” benzeri tarihler yazdırmalı ve vektör sınıfı “character” yerine “POSIXct” olmalıdır.

h1b.data$submit_date<-mdy(h1b.data$submit_date)
tail(h1b.data$submit_date)
class(h1b.data$submit_date)Altyapı:

Bu tür bir analiz için, tarihlerden yalnızca ay ve yılı çekip yeni sütunlara koymak iyi bir fikirdir. Aşağıdaki kodda $submit_month ve $submit_yr adlı iki yeni sütunun oluşturulduğunu görüyorsunuz.

lubridate içinde month() fonksiyonu, bir tarihten ay değerlerini çıkarmak için tüm bir sütuna uygulanabilir. Benzer şekilde year() fonksiyonu, h1b.data$submit_yr sütununu oluşturmak için tarih sütununu kabul eder. head() fonksiyonunu kullandığınızda, artık iki yeni sütunun oluşturulduğunu görmelisiniz.

h1b.data$submit_month<-month(h1b.data$submit_date, label=T)
h1b.data$submit_yr<-year(h1b.data$submit_date)
head(h1b.data)Altyapı:

Sonraki adımda, $base_salary sütununu inceleyelim. Binlik ayıracı olarak virgül içeriyor ve R bunu karakter olarak görüyor, bu yüzden değiştirilmesi gerekiyor. Yine gsub() imdada yetişir; virgülü kaldırır ve boş karakterle değiştirir. Ardından as.numeric(), değerleri resmen sayıya çevirmek için h1b.data$base_salary üzerine uygulanır.

Yeni vektörün bir kısmını üçüncü satırdaki head() ile inceleyebilirsiniz.

h1b.data$base_salary<-gsub(',','',h1b.data$base_salary)
h1b.data$base_salary<-as.numeric(h1b.data$base_salary)
head(h1b.data$base_salary)Altyapı:

Bu veriyi eyalet bazında da ayırmanın bir yolu var. h1b.data$location sütununu incelediğinizde, şehir ve eyaletin bir virgülle ayrıldığını görürsünüz. Aşağıdaki kod, konum bilgisini ilk virgülde ayırmak için str_split_fixed() kullanır. Basitçe sütunu, ayırıcı karakteri ve döndürülecek sütun sayısını geçin. Ortaya çıkan state nesnesi, h1b.data ile aynı sayıda satıra ve 2 sütuna sahip büyük bir matristir.

state<-str_split_fixed(h1b.data$location,', ', 2)Altyapı:

Sonraki iki kod satırı, bireysel eyalet vektörlerini $city ve $state olarak h1b.data'ya sütun olarak bağlar. Vektörler mükemmel değildir; yazımlar “Winston Salem” ile “Winston-Salem” gibi farklı olabilir. Genel olarak, bu yöntem basit EDA için yeterince iyidir; ancak diğer analizlerde bazı terim kümelendirmelerine ihtiyaç duyulabileceğini unutmayın.

h1b.data$city<-state[,1]
h1b.data$state<-state[,2] Altyapı:

Verilerinizi Keşfetme: İlk Adımlar

Bir H1B vizesine başvuruyor olsaydınız, kabul edilme şansımı artırmak için hangi eyaletlerde daha fazla başvuru olduğunu bilmek isterdiniz. table() fonksiyonu, kategorik değişkenleri saymak için kullanılır ve h1b.data$state'e kolayca uygulanır. İkinci satırda, eyalet adlarını ve sayılan H1B verilerini yakalamak için küçük bir veri çerçevesi oluşturabilirsiniz.

state.tally<-table(h1b.data$state)
state.tally<-data.frame(state=names(state.tally), h1b=as.vector(state.tally))Altyapı:

state.tally ve barplot() kullanmak, eyalete göre H1B değerlerinin temel bir çubuk grafiğini oluşturur. İkinci parametre names.arg çubuk etiketlerini belirtir ve las=3 R'a etiketleri dikey yerleştirmesini söyler. Virgülle ayrımdan kaynaklanan bazı dağınık konumları görebilirsiniz ama mesaj açık… bir H1B başvuranı muhtemelen CA, NJ, NY veya TX'tedir.

barplot(state.tally$h1b,
        names.arg = names(table(h1b.data$state)),
        las=3)Altyapı:

2012'den 2016'ya eyalet bazında H1B vizesi sayımını görüyorsunuz.

Sırada, H1B vizeleri ile dış bir olgu arasındaki korelasyonu anlamaya çalışalım. Basitlik adına, R'da state.x77 adlı yerleşik bir veri seti vardır. Bu, her biri bir eyaleti temsil eden 50 satır ve 1977 ABD Nüfus Sayımı'ndaki nüfus ve yaşam beklentisi gibi bilgiler içeren bir matristir.

İpucu: kendi analizinizde daha güncel bir veri kaynağı kullanın.

Şimdilik, state.x77 kullanmak öğrenmek için iyi bir örnek. Bu yerleşik veri setini head() ile inceleyin.

head(state.x77)Altyapı:

Bu bilgileri ilişkileri anlamak için state.tally verileriyle daha büyük bir veri çerçevesinde birleştirelim. Bunun için, eyalet kısaltmalarını, state.abb, ve eski 1977 Nüfus Sayımı verilerini içeren bir state.data veri çerçevesi oluşturun. Ardından state.tally ve state.data'yı geçirerek merge çağrısı yapın.

Birleştirme için state sütununu açıkça vektör olarak bildirebilirsiniz. Üçüncü satırda 15'ten 20'ye kadar olan satırları indeksleyerek veri çerçevesinin bir kısmını inceleyin.

state.data<-data.frame(state=state.abb,state.x77)
state.data<-merge(state.tally,
                  state.data,
                  by='state')
state.data[15:20,]Altyapı:

Temel bir EDA fonksiyonu cor'dur: bu, iki değişken arasındaki korelasyonu yazdırır.

Korelasyonun -1 ile 1 arasında olduğunu unutmayın: 0, değişkenlerin korelasyonu olmadığı ve muhtemelen ilgisiz olduğu anlamına gelir. 1'e yaklaşan bir sayı, değerlerin pozitif yönde ilişkili olduğu anlamına gelir (umarız R programlama ve gelir gibi). Negatif bir sayı, R programlama ile sosyal bir hayat gibi ilişkinin zıt yönlerde hareket ettiği anlamına gelir!

Bu kod, 1977 eyalet nüfusuna ve mevcut H1B sayımlarına cor uygular. Zaman uyumsuzluğuna rağmen kodun analizi nasıl yapacağınızı göstermek için yazıldığını unutmayın. Veri çerçevesindeki başka bir vektöre başvurmak için $Population'ı değiştirebilirsiniz.

cor(state.data$Population, state.data$h1b)Altyapı:

Değişken ilişkilerini araştırmanın bir başka yolu da saçılım grafiği, özellikle de saçılım matrisi kullanmaktır. pairs() ile hızlıca bir saçılım matrisi çizebilirsiniz. Aşağıdaki kod, ilişkileri tanımlamak için bir formül kullanır. Her sütun araya artı işareti konarak tek tek bildirilir. data parametresi veri çerçevesini kabul eder ve main sadece grafik başlığını belirtir.

pairs(~ h1b + Population + Income,
      data = state.data,
      main='h1b relationships')Altyapı:

Bu saçılım matrisi, H1B sayımlarını eyalet Population ve Income ile görselleştirir.

Population ile h1b arasında bir ilişki gözlemleyebilirsiniz. Bu sezgisel olarak mantıklıdır; zira nüfusu daha fazla olan eyaletlerde H1B vizesi gerektiren iş fırsatları daha fazla olacaktır.

Matristen tek bir grafiğe “yakınlaştırmak” için basitçe plot() çağırın ve iki değişkeni geçin.

plot(state.data$Income,state.data$h1b,
     main = 'Income to H1B')Altyapı:

H1B Vize Verilerinizle Sonraki Adımlar

H1B vizesi keşfimize daha yeni başladınız! Bu veri seti oldukça zengin ve sonraki yazıda maaş verilerini keşfedecek, aykırı değerleri temizleyecek ve daha etkileyici ggplot2 görselleri oluşturacaksınız.

Ayrıca bu EDA kavramlarının üzerine, zaman içindeki H1B durumunu ve en büyük işverenleri inceleyerek inşa edeceksiniz. Size şimdiden göstereceğim havalı görsellerden biri, aşağıdaki kodu kullanarak H1B vize durumuna göre maaş dağılımlarını gösteren kutu grafiktir:

ggplot(h1b.data) +
geom_boxplot(aes(factor(case_status),base_salary,fill=as.factor(case_status))) +
  ylim(0,100000) +
  theme_gdocs() +
  scale_fill_gdocs() +
  theme(axis.text.x=element_blank())Altyapı:

"R ile H-1B Verilerini Keşfetme" eğitim serisinin bir diğer bölümü için bizi izlemeye devam edin! Bu arada, R veri çerçevesi eğitimimize, R'de Veri İçeri Aktarma kursumuza veya dplyr ile R'da Veri Manipülasyonu kursumuza göz atmayı düşünebilirsiniz.