Sari la conținutul principal

Curs

Reducerea dimensionalității în Python

IntermediarNivel de competențe

Actualizat 01.2023

Înțelege conceptul de reducere a dimensionalității datelor tale și stăpânește tehnicile pentru a face asta în Python.

Începe cursul gratuit

PythonMachine Learning

4 h

16 videoclipuri

58 Exerciții

4,700 XP

36,439

Certificat de realizare

Îndrăgit de cursanți din mii de companii

Formare pentru o echipă?

Încearcă pentru afaceri

Descrierea cursului

Seturile de date cu multe dimensiuni pot fi copleșitoare și e greu să știi de unde să începi. De obicei, primul pas este explorarea vizuală a unui set de date nou, dar când dimensiunile sunt prea multe, abordările clasice devin insuficiente. Din fericire, există tehnici de vizualizare concepute special pentru date cu multe dimensiuni, pe care le vei descoperi în acest curs. După explorarea datelor, vei observa adesea că multe caracteristici conțin puține informații – fie pentru că nu prezintă variație, fie pentru că sunt duplicate ale altor caracteristici. Vei învăța cum să le identifici și să le elimini din setul de date, pentru a te concentra pe cele relevante. Într-un pas următor, poate vei dori să construiești un model pe aceste caracteristici și s-ar putea să descoperi că unele nu au niciun efect asupra variabilei pe care vrei să o prezici. Vei învăța cum să identifici și să elimini și aceste caracteristici irelevante, reducând astfel dimensionalitatea și complexitatea. În final, vei vedea cum tehnicile de extragere a caracteristicilor pot reduce dimensionalitatea prin calculul componentelor principale necorelate.

Cerințe prealabile

Supervised Learning with scikit-learn

1

Explorarea datelor cu multe dimensiuni

Vei fi introdus(ă) în conceptul de reducere a dimensionalității și vei înțelege când și de ce este importantă. Vei afla diferența dintre selecția și extragerea caracteristicilor și vei aplica ambele tehnici pentru explorarea datelor. Capitolul se încheie cu o lecție despre t-SNE, o tehnică puternică de extragere a caracteristicilor care îți va permite să vizualizezi un set de date cu multe dimensiuni.

Introducere

Găsirea numărului de dimensiuni dintr-un set de date

Eliminarea caracteristicilor fără varianță

Selecția vs. extracția caracteristicilor

Identificarea vizuală a caracteristicilor redundante

Avantajul selecției de caracteristici

Vizualizarea t-SNE a datelor de mare dimensionalitate

Intuiția din spatele t-SNE

Antrenarea t-SNE pe datele ANSUR

Vizualizarea t-SNE a dimensionalității

Începe capitolul

2

Selecția caracteristicilor I – Selecție bazată pe informația caracteristicilor

În primul dintre cele două capitole dedicate selecției caracteristicilor, vei afla despre blestemul dimensionalității și cum reducerea dimensionalității te poate ajuta să îl depășești. Vei cunoaște o serie de tehnici pentru a detecta și elimina caracteristicile care aduc puțină valoare setului de date – fie din cauza varianței reduse, a prea multor valori lipsă, fie pentru că sunt puternic corelate cu alte caracteristici.

Blestemul dimensionalității

Împărțirea în set de antrenament și set de testare

Antrenarea și testarea modelului

Acuratețe după reducerea dimensionalității

Caracteristici cu valori lipsă sau varianță redusă

Găsirea unui prag de varianță potrivit

Caracteristici cu varianță redusă

Eliminarea caracteristicilor cu multe valori lipsă

Corelație pe perechi

Intuiția corelației

Inspectarea matricei de corelație

Vizualizarea matricei de corelație

Eliminarea caracteristicilor puternic corelate

Eliminarea caracteristicilor puternic corelate

Energia nucleară și înecurile în piscine

Începe capitolul

3

Selecția caracteristicilor II – Selecție bazată pe acuratețea modelului

În al doilea capitol dedicat selecției caracteristicilor, vei învăța cum să folosești modele pentru a identifica cele mai importante caracteristici dintr-un set de date în vederea prezicerii unei variabile țintă. În lecția finală a acestui capitol, vei combina recomandările mai multor modele diferite pentru a decide ce caracteristici merită păstrate.

Selectarea caracteristicilor pentru performanța modelului

Construirea unui clasificator pentru diabet

Eliminarea recursivă manuală a caracteristicilor

Eliminarea recursivă automată a caracteristicilor

Selecția caracteristicilor bazată pe arbori

Construirea unui model de pădure aleatorie

Pădure aleatorie pentru selecția caracteristicilor

Eliminarea recursivă a caracteristicilor cu păduri aleatoare

Regresie liniară regularizată

Crearea unui regressor LASSO

Rezultatele modelului Lasso

Ajustarea intensității regularizării

Combinarea metodelor de selecție a caracteristicilor

Crearea unui regressor LassoCV

Modele de ansamblu pentru voturi suplimentare

Combinând 3 selectoare de caracteristici

Începe capitolul

4

Extragerea caracteristicilor

Acest capitol explorează în profunzime cel mai frecvent utilizat algoritm de reducere a dimensionalității: Analiza Componentelor Principale (PCA). Vei înțelege intuitiv cum și de ce acest algoritm este atât de eficient și îl vei aplica atât pentru explorarea datelor, cât și pentru preprocesarea datelor într-un pipeline de modelare. Capitolul se încheie cu un caz de utilizare captivant: compresia imaginilor.

Extragerea caracteristicilor

Extragerea manuală a caracteristicilor I

Extragerea manuală a caracteristicilor II

Intuiția componentelor principale

Analiza componentelor principale

Calcularea componentelor principale

PCA pe un set de date mai mare

Varianța explicată de PCA

Aplicații ale PCA

Înțelegerea componentelor

PCA pentru explorarea caracteristicilor

PCA într-un pipeline de modelare

Selecția componentelor principale

Selectarea proporției de varianță de păstrat

Alegerea numărului de componente

PCA pentru compresia imaginilor

Felicitări!

Începe capitolul

Reducerea dimensionalității în Python

Curs
finalizat

Obține diploma de absolvire

Adaugă această acreditare la profilul tău LinkedIn, CV sau rezumat
Distribuie pe rețelele de socializare și în evaluarea ta de performanțăÎnscrie-te acum

Alătură-te celor peste 19 de milioane de cursanți și începe Reducerea dimensionalității în Python astăzi!

Dezvoltați-vă abilitățile de gestionare a datelor cu DataCamp pentru mobil

Fă progrese din mers cu cursurile noastre mobile și provocările zilnice de programare de 5 minute.