数据科学与机器学习的热度前所未有。伴随这一领域的发展,从业者如今可用的整套工具也在不断成熟。令人欣喜的是,涌现出大量旨在解决从业者与组织面临的特定问题的新工具、初创公司与完整品类。在这张信息图中,我们将概览 2022 年数据科学与机器学习工具的版图。下载此信息图的版本,请点击上方图片。下面,您将看到对上述信息图中提到工具的详细概览。数据管理过去几年工具生态的一大进步,是出现了许多让从业者能更好地为数据科学与机器学习工作流管理数据的工具。这些工具涵盖:用于生成数据的合成数据生成工具;在生产中监控数据流水线的数据可观测性工具;为数据提供版本控制的数据版本管理工具;让从业者编排工作流的数据流水线与编排工具;展示组织数据以便使用的数据目录等。合成数据CTGANHazyTRGDYDATA SyntheticSDVTonic.AIMostly.AI数据可观测性Monte Carlo DataDatabandAccelDataDatafoldSodaDataDog数据版本管理LakeFSDVCPachydermDoltVersionSQLGitLFSSqitch数据标注Label StudioSlothLabelBoxTagTogAmazon SageMaker GroundTruthPlaymentSuperannotate数据流水线AsteraHevo DataApache SparkKeboolaETLeapSegmentFivetran数据编排PrefectKaleMLRunKedroLuigiDagsterAirflow数据目录AlationAlex SolutionsCollibraData.worldErwinGoogle Cloud Data CatalogMetacatDatahubAmundsenDatabook端到端机器学习平台机器学习平台正逐步成为常态。这类平台提供从特征处理到部署的端到端机器学习能力,部分工具还具备自动化建模与部署功能。AWS SageMakerAzure Machine LearningIBM WatsonGoogle TFXMetaflowD2IQDataBricks建模在数据科学生态中,涵盖了从笔记本与 IDE、数据分析包与软件、数据可视化、用于存储机器学习特征的特征库、深度学习与机器学习库、超参数优化库、模型调试工具等在内的大量工具。笔记本与 IDEJupyterLabGoogle ColabDeepnoteVSCodeAmazon SageMaker Studio LabJetBrainsSpyderDataCamp WorkspaceRStudio数据分析DplyrTidyrData.tablePandasTableauPower BIExcelModeGoogle Data StudioKNIMERapidMinerNumpyIBM Cognos数据可视化Ggplot2TableauMatplotlibPlotlyD3.jsPlotnineSeabornShinyGoogle ChartsBokehZoho Analytics特征库Amazon SageMaker Feature StoreDatabricksHopsworks.aiVertex AIFeatureFormFeastTecton机器学习框架Scikit-learnXGBooostCatBoostLightGBMPyCaretStatsmodelsh2o.ai深度学习框架TensorFlowKerasPyTorchMLPackMXNetSonnetPyTorch Lightning超参数优化OptunaHyperoptScikit-optimizeRay-tuneBayesian-optimizationTalosSherpa模型可解释性What-If ToolLimeSHAPDeepLIFTELI5SkaterAIX360模型调试GriffinGreat ExpectationsCerebrusInterpretMLCaptumEfemaraiTensorWatch部署过去两年见证了 MLOps 的崛起以及在生产环境中部署机器学习模型的重要性。这推动了工具的发展与演进,使从业者能够将模型打包为应用、在生产中监控模型、大规模跟踪实验,并将模型服务化部署到生产。模型打包FlaskFastAPIDjangoStreamlitGradioDockerPyramid模型监控ArizeWhyLabsEvidentlyFiddlerAmazon SageMaker Model MonitorPrometheusQualdo实验跟踪NeptuneWeights&BiasesCometSacredMLFlowTensorBoardDagsHub模型服务化TorchServeTensorFlow ServingKubeflowCortexSeldon.aiBentoMLForestFlow主题数据科学机器学习PythonR
数据科学与机器学习的热度前所未有。伴随这一领域的发展,从业者如今可用的整套工具也在不断成熟。
令人欣喜的是,涌现出大量旨在解决从业者与组织面临的特定问题的新工具、初创公司与完整品类。在这张信息图中,我们将概览 2022 年数据科学与机器学习工具的版图。
下载此信息图的版本,请点击上方图片。
下面,您将看到对上述信息图中提到工具的详细概览。
数据管理
过去几年工具生态的一大进步,是出现了许多让从业者能更好地为数据科学与机器学习工作流管理数据的工具。这些工具涵盖:用于生成数据的合成数据生成工具;在生产中监控数据流水线的数据可观测性工具;为数据提供版本控制的数据版本管理工具;让从业者编排工作流的数据流水线与编排工具;展示组织数据以便使用的数据目录等。
合成数据
数据可观测性
数据版本管理
数据标注
数据流水线
数据编排
数据目录
端到端机器学习平台
机器学习平台正逐步成为常态。这类平台提供从特征处理到部署的端到端机器学习能力,部分工具还具备自动化建模与部署功能。
建模
在数据科学生态中,涵盖了从笔记本与 IDE、数据分析包与软件、数据可视化、用于存储机器学习特征的特征库、深度学习与机器学习库、超参数优化库、模型调试工具等在内的大量工具。
笔记本与 IDE
数据分析
数据可视化
特征库
机器学习框架
深度学习框架
超参数优化
模型可解释性
模型调试
部署
过去两年见证了 MLOps 的崛起以及在生产环境中部署机器学习模型的重要性。这推动了工具的发展与演进,使从业者能够将模型打包为应用、在生产中监控模型、大规模跟踪实验,并将模型服务化部署到生产。
模型打包
模型监控
实验跟踪
模型服务化