Построение рекомендательных систем с помощью PySpark

В этой главе вы повторите базовые концепции матричного умножения и матричной факторизации, а затем подробно разберёте принцип работы алгоритма Alternating Least Squares: какие аргументы и гиперпараметры он использует для формирования наилучших рекомендаций. Вы также изучите важные техники правильной подготовки данных для ALS в Spark.

В этой главе вы познакомитесь с набором данных MovieLens. Вы научитесь оценивать его пригодность для использования с ALS, построите полноценную модель ALS с кросс-валидацией и изучите способы оценки её качества. Это станет основой для всех последующих моделей ALS, которые вы будете строить с помощью PySpark.

В реальных ситуациях у вас далеко не всегда есть «идеальные» пользовательские данные для построения модели ALS. В этой главе вы научитесь использовать данные о поведении пользователей для «вывода» пользовательских оценок и применять эти оценки для построения рекомендательной системы на основе ALS. На примере набора данных Million Songs и ещё одной версии набора MovieLens вы увидите, как на основе имеющихся данных построить рекомендательную систему с использованием ALS и оценить её качество.