Ana içeriğe atla

Kurs

R ile Web Kazıma

Orta SeviyeBeceri Seviyesi

Güncel 04.2024

R kullanarak herhangi bir web sitesinden verileri verimli bir şekilde toplama ve indirmeyi öğrenin.

Kursa Ücretsiz Başlayın

RData Preparation

4 sa

13 video

45 Egzersiz

3,600 XP

15,001

Başarı Belgesi

Binlerce şirketten öğrencinin sevgisini kazandı

Bir Ekibi Eğitiyor musunuz?

İşletmeler için deneyin

Kurs Açıklaması

İstatistikler, ürün yorumları veya fiyatlar gibi pek çok veriyi, veri analizi için hazır olmayan bir formatta sunan bir web sitesiyle hiç karşılaştın mı? Çoğu zaman, resmi kurumlar ve diğer veri sağlayıcılar verilerini düzenli tablolar halinde yayınlar. Ancak bu sitelerin hepsinde indirme düğmesi bulunmaz; yine de üzülme. Bu kursta, R kullanarak herhangi bir siteden veriyi verimli şekilde toplayıp indireceksin. rvest ve httr paketleriyle Wikipedia’yı kazıma ve ayrıştırma işlemlerini nasıl otomatikleştireceğini öğreneceksin. Uygulamalı egzersizlerle, web sayfalarının yapı taşları olan HTML ve CSS hakkındaki anlayışını derinleştirirken, veri toplama iş akışlarını daha az hataya açık ve daha verimli hale getireceksin.

Önkoşullar

Intermediate R Introduction to the Tidyverse

1

HTML ve Web Kazımaya Giriş

Bu bölümde, modern web sitelerini yapılandırmak için kullanılan bildirime dayalı bir dil olan Hyper Text Markup Language (HTML) ile tanışacaksın. rvest kütüphanesini kullanarak basit HTML öğelerini nasıl sorgulayacağını ve ilk tablounu nasıl kazıyacağını öğreneceksin.

HTML'ye Giriş

HTML'i içe aktar

Sözdizimi hatalarına dikkat!

HTML'de gezinme

Bir listenin tüm çocuklarını seç

Köprüleri bir veri çerçevesine ayrıştır

İlk tablonu kazı

Tablo öğelerinin doğru sırası

html_table() ile bir tabloyu veri çerçevesine dönüştür

Bölümü Başlat

2

CSS ile Gezinme ve Seçim

Basamaklı Stil Sayfaları (CSS), bir web sayfasında HTML öğelerinin renkler, yazı tipleri ve genel yerleşim dahil olmak üzere nasıl görüntüleneceğini tanımlar. Bu bölümde, CSS seçicilerinin ve birleştiricilerinin web kazıma için neden kritik bileşenler olduğunu öğreneceksin.

CSS'ye Giriş

Birden fazla HTML türünü seç

CSS seçicilerini sonuç sayısına göre sırala

CSS sınıfları ve kimlikleri

Doğru seçici türlerini belirle

ID'lerin benzersizliğinden yararlan

Bir sözde-sınıfla son çocuğu seç

CSS birleştiriciler

Child birleştirici ile doğrudan alt öğeleri seç

Kaç öğe döndürülüyor?

En basit hâli!

Her kardeş aynı değil

Bölümü Başlat

3

XPATH ile İleri Düzey Seçimler

Önceki bölümde öğrendiğin CSS seçicileri güçlüdür ancak bazı sınırlamaları vardır. Örneğin, düğümleri onların alt öğelerinin özelliklerine göre seçmek istediğinde. İmdada XPath yetişir! Bu sorgu dilini kullanarak, en sorunlu HTML’lerde bile gezinebilir ve kazıma yapabilirsin.

XPATH’e Giriş

Doğru CSS karşılığını bul

XPATH ile sınıf ve ID'ye göre seç

Alt öğelerine göre düğüm seçmek için önermeler (predicate) kullan

XPATH fonksiyonları ve gelişmiş öznitelikler

Daha şık bir XPATH alternatifi bul

position() fonksiyonunu tanı

Çocuk sayısına göre düğümleri çıkar

XPATH `text()` fonksiyonu

Kötü yapılandırılmış tablolarda html_table()'ın eksikleri

XPATH'in text() fonksiyonuyla doğrudan ebeveynden seç

Çıkarılan verileri bir veri çerçevesinde birleştir

Metnine göre bir öğeyi kazı

Bölümü Başlat

4

Kazıma En İyi Uygulamaları

Artık web sayfalarından içerik çıkarmayı bildiğine göre, perdenin arkasına bakma zamanı. Bu son bölümde, neden HTTP isteklerinin her kazıma eyleminin temeli olduğunu ve web kazımada en iyi uygulamalara uymak için bu isteklerin nasıl özelleştirilebileceğini öğreneceksin.

HTTP isteklerinin doğası

HTTP ile ilgili bu ifadelerden hangisi yanlıştır?

Bunu httr yoluyla yap

Houston, 404 aldık!

Özel user agent’lerle kendini tanıtmak

Kullanıcı aracını (user agent) incele

Özel bir user agent ekle

Kibar ol ve isteklerini yavaşlat

Hız sınırı uygulanmış fonksiyonlar için özel argümanlar

Çok sayfalı bir tarayıcıya hız sınırlaması (throttling) uygula

Özet: R ile Web Kazıma

Bölümü Başlat

R ile Web Kazıma

Kurs
Tamamlandı

Başarı Belgesi Kazanın

Bu kimlik bilgisini LinkedIn profilinize, özgeçmişinize veya CV'nize ekleyin
Sosyal medyada ve performans incelemenizde paylaşınŞimdi kaydolun

Bugün 19 milyondan fazla öğrenciye katılın ve R ile Web Kazıma eğitimine başlayın!

DataCamp for Mobile ile veri becerilerinizi geliştirin

Mobil kurslarımız ve günde 5 dakikalık kodlama görevlerimizle hareket halindeyken ilerleme kaydedin.