Build your ultimate AI agent
コース説明
データクリーニングは、ビジネス上の問題を解決するうえで欠かせない作業です。データの品質が低下すると、分析結果が信頼できなくなり、機械学習モデルの予測精度が下がり、ビジネスの意思決定にも悪影響が生じます。このコースでは、データ品質の問題に正面から取り組むための Java ツールを学びます。外れ値の検出や欠損値の処理に使う統計的手法、テキストの標準化からタイムゾーンをまたいだ日付管理までのデータ変換、そして正規表現とバリデーションアノテーションを使った範囲チェックを習得します。Tablesaw を使って実際の表形式データをクリーニングし、分析に向けたデータ変換を実践します。コースを終える頃には、アプリケーションのあらゆる段階でデータ品質を確保できるようになります。
前提条件
カリキュラム
コース概要
1
データ品質の評価
Java アプリケーションでデータ品質を評価するための基本的な手法を学びます。記述統計を使って外れ値を特定する方法、欠損値を適切に検出・処理する方法、そしてエラーを防ぐためのデータ型の検証方法を習得します。数値分析に使う `DescriptiveStatistics`、null 処理のための `Optional`、日付検証のための `DateTimeFormatter` といった主要なツールをマスターしましょう。
2
データの変換
信頼性の高い Java アプリケーションを構築するためのデータ変換手法をマスターします。一貫したテキストマッチングに向けた正規表現を使った文字列の正規化、堅牢なルックアップテーブルを実現する `EnumMap` と `HashMap` を使ったカテゴリの標準化、そしてタイムゾーンをまたいで一貫した日付処理を行うための `LocalDate` と `ZoneId` を使った Java の時間 API による日付フォーマットの統一を学びます。
3
データの検証
バリデーション手法を通じてデータ品質を確保します。数値や日付の範囲検証の実装、データ形式を確認するための正規表現によるパターン検証、そしてビジネスルールを適用するための制約バリデーションを学びます。
4
表形式データのクリーニング
Tablesaw は強力な Java ライブラリです。これを使って、整理されていない表形式データをクリーンで使いやすいデータセットに変換する方法を学びます。データ品質の評価、列の内容の標準化、フィルタリング操作によるデータの整備を実践します。コースの終わりには、生データを分析可能なテーブルに自信を持って変換できるようになります。
J
Java によるデータクリーニング
コース修了
