如何从pandas轻松过渡到PySpark？

今天介绍的Koalas，是Databrick开源的一个项目，它增强了PySpark的Dataframe API以使其与pandas兼容。

在过去的几年中，Python数据科学迅猛发展，而pandas已成为生态系统的关键。当数据科学家接触到数据集时，他们会使用pandas进行探索。它是数据整理和分析的终极工具。实际上，pandas的read_csv通常是学生在数据科学之旅中执行的第一个命令。

但pandas无法很好地适应大数据。它是为单台计算机可以处理的小型数据集而设计的。另一方面，Apache Spark已成为大数据工作负载的事实上的标准。如今，许多数据科学家将pandas用于课程作业，小项目和小数据任务，但是当他们处理非常大的数据集时，他们要么必须迁移到PySpark以利用Spark，要么对数据进行降采样以便可以使用pandas。

现在，借助Koalas，数据科学家可以从单台机器过渡到分布式环境，而无需学习新的框架。如下所示，您可以在Koalas上扩展Spark上的pandas代码，只需将一个包替换为另一个即可。

pandas:

import pandas as pddf = pd.Dataframe({'x': [1, 2], 'y': [3, 4], 'z': [5, 6]})# Rename columnsdf.columns = [‘x’, ‘y’, ‘z1’]# Do some operations in placedf[‘x2’] = df.x * df.x

Koalas: