After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Trong khóa học này, bạn sẽ học các kỹ thuật giúp trích xuất thông tin hữu ích từ văn bản và xử lý chúng thành định dạng phù hợp để áp dụng các mô hình ML. Cụ thể hơn, bạn sẽ tìm hiểu về gán nhãn từ loại (POS tagging), nhận diện thực thể có tên (named entity recognition), điểm dễ đọc (readability scores), các mô hình n-gram và tf-idf, và cách triển khai chúng bằng scikit-learn và spaCy. Bạn cũng sẽ học cách tính mức độ tương đồng giữa hai tài liệu. Trong quá trình học, bạn sẽ dự đoán cảm xúc của các bài đánh giá phim và xây dựng hệ gợi ý phim và TED Talk. Sau khóa học, bạn sẽ có thể tạo ra các đặc trưng quan trọng từ bất kỳ văn bản nào và giải quyết một số bài toán thách thức nhất trong khoa học dữ liệu!
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Đặc trưng cơ bản và điểm dễ đọc
Học cách tính các đặc trưng cơ bản như số lượng từ, số ký tự, độ dài trung bình của từ và số ký tự đặc biệt (như hashtag và mention trên Twitter). Bạn cũng sẽ học cách tính điểm dễ đọc và xác định mức độ học vấn cần thiết để hiểu một đoạn văn bản.
- Giới thiệu về kỹ thuật xây dựng đặc trưng cho NLP50 XP
- Định dạng dữ liệu cho thuật toán ML50 XP
- Mã hóa one-hot100 XP
- Trích xuất đặc trưng cơ bản50 XP
- Đếm ký tự trong các tweet tiếng Nga100 XP
- Đếm số từ trong các bài TED Talk100 XP
- Hashtags và mentions trong các tweet tiếng Nga100 XP
- Kiểm tra khả năng đọc hiểu50 XP
- Mức độ dễ đọc của 'Huyền thoại Sisyphus'100 XP
- Độ dễ đọc của các ấn phẩm khác nhau100 XP
2
Tiền xử lý văn bản, gán nhãn từ loại và NER
Trong chương này, bạn sẽ học về tokenization và lemmatization. Tiếp đó, bạn sẽ học cách làm sạch văn bản, gán nhãn từ loại (part-of-speech tagging) và nhận diện thực thể có tên (named entity recognition) bằng thư viện spaCy. Sau khi nắm vững các khái niệm này, bạn sẽ chuyển bài diễn văn Gettysburg sang dạng thân thiện với máy, phân tích cách dùng danh từ trong tin giả, và xác định những người được nhắc đến trong một bài viết của TechCrunch.
3
Mô hình N-Gram
Tìm hiểu về mô hình n-gram và sử dụng nó để phân tích cảm xúc các bài đánh giá phim.
4
TF-IDF và điểm tương đồng
Học cách tính trọng số tf-idf và điểm tương đồng cosine giữa hai vector. Bạn sẽ dùng các khái niệm này để xây dựng hệ gợi ý phim và TED Talk. Cuối cùng, bạn cũng sẽ học về word embeddings và, sử dụng biểu diễn vector từ, bạn sẽ tính mức độ tương đồng giữa nhiều bài hát của Pink Floyd.
Khai thác đặc trưng cho NLP bằng Python
Hoàn
thành khóa học
