小赖子
Parquet 文件简介: Python 读写 Parquet 文件实战 2025年11月29日 08:31

Parquet 文件简介: Python 读写 Parquet 文件实战

2025年11月29日 08:31

Parquet 文件入门 Python 读写 Parquet 文件实战大数据存储优化：Parquet 格式解析 Python 数据分析必备：Parquet 文件处理技巧列式存储揭秘：Parquet 文件与性能优化使用 Python 和 PyArrow 处理嵌套 Parquet 数据从 CSV 到 Parquet：Python 数据格式转换教程

什么是 Parquet 文件？

Parquet 是一种列式存储文件格式，优化用于大规模数据处理。它常用于 Apache Spark、Hadoop 和 Pandas 等大数据框架，以实现高效存储和快速检索表格数据。 Parquet 格式可以简单认为是CSV的转置/Transpose。不过CSV是文本的，而Parquet是二进制的。从存储方式上理解列式存储就像把行列交换，但需要注意 Parquet 是二进制、支持压缩和嵌套类型，不仅仅是“转置”。

为什么使用 Parquet？

列式存储：按列存储数据，提高分析任务的查询性能。
压缩：支持高效的压缩技术，减少存储空间。
兼容性：可与多种数据处理框架配合使用。
模式演进：支持增加或删除列而不破坏现有数据。

安装所需库

要在 Python 中使用 Parquet，需要 pandas 和 pyarrow（或 fastparquet）：

pip install pandas pyarrow

在 Python 中读取 Parquet 文件

以下示例演示如何使用 pandas 和 pyarrow 读取 Parquet 文件：

import pandas as pd
import pyarrow.parquet as pq

# Parquet 文件路径
file_path = "example.parquet"

# 读取 Parquet 文件到 DataFrame
df = pd.read_parquet(file_path)

# 显示前 5 行
print(df.head())

写入 Parquet 文件

你也可以轻松地将 DataFrame 保存为 Parquet 文件：

import pandas as pd

# 创建示例 DataFrame
data = {
    "name": ["Alice", "Bob", "Charlie"],
    "age": [25, 30, 35],
    "city": ["London", "Paris", "New York"]
}
df = pd.DataFrame(data)

# 保存为 Parquet
df.to_parquet("output.parquet", engine="pyarrow", index=False)

处理嵌套数据

Parquet 支持嵌套数据，如列表或结构体。可以使用 pyarrow 直接读取：

import pyarrow.parquet as pq
from io import BytesIO

# 直接读取 Parquet 文件
table = pq.read_table("example.parquet")
df = table.to_pandas()
print(df.head())

总结

Parquet 文件在存储和处理大规模表格数据时非常高效。使用 Python 的 pandas 和 pyarrow，你可以轻松地读取、写入并处理 Parquet 文件，用于数据分析、ETL 流程和大数据应用。 [show_file file="/var/www/wp-post-common/justyy.com/python.php"] 英文：Introduction to Parquet Files: Read & Write using Python

从聚类到回归：用 Python 解析鸢尾花数据集的完整数据科学流程

qlAD 的技术笔记

2025年6月11日 08:00

本文通过 Python 和常用的数据科学库（如 scikit-learn、pandas 和 matplotlib），逐步展示如何对经典的鸢尾花数据集进行聚类、分类和回归分析。

qlAD 的技术笔记
为什么用 65 表示大写字母 A 2020年9月27日 08:00

为什么用 65 表示大写字母 A

qlAD 的技术笔记

2020年9月27日 08:00

本文解释了为什么在 ASCII 编码中，数字 65 表示大写字母 A 的原因，并探讨了字符编码的基础知识。

我的天
1+1>2的课程安排 2025年6月13日 10:27

1+1>2的课程安排

我的天

xrspook

2025年6月13日 10:27

大二我们第一次有食品专业课程的时候，我们就已经接触到综述这个东西。那个学期我们有两门很重要的课程，一门是食品化学，另外一门是食品微生物学。这两门课程可以这么说，是食品专业最基础最重要的课程。这两门课程是往后那些高楼大厦的基础，这两门课程之前我们学的基本都是通用的基础课程，还没有接触过专业课。这两门课程对食品专业来说又是通用的基础。

在这之前我学过高等数学、线性代数、概率论、大学物理、物理化学、无机化学、有机化学、生物化学。我感觉这些课程是我们学习食品化学和食品微生物学的基础。到底有多大用处呢？我不知道，但我觉得这是很有必要的。老师在上面说专业课某些原理的时候，因为有前面那些课程的支持，所以我们就不需要深入进去了。

我印象非常深刻的是食品化学刚开课没多久，老师就已经把综述的作业布置给了我们。综述是什么东西？我们甚至没看过专业文献。老师没有要求我们写专业文献，因为没有看过，我们写不出来，但综述这个东西就强迫着我们必须去看你的那个主题相关的专业文献。专业文献去哪里找？期刊杂志当然有，纸质的电子版都有，但综述这门作业每个学生都有不同的主题，所以要有针对性。显然去图书馆翻杂志就不太现实了，当然你也可以一直去翻那些纸质。看专业文献不是一本是一堆，很多期，除非你一直都有翻，一直都翻很多，否则可能很难撞上你感兴趣的，或是你需要收集数据的。所以那个学期，我们也开了一门我觉得非常有用的课程，叫文献检索。如果没有文献检索这门课程，食品化学给我们布置了这么一个任务的时候。我们简直不知道该怎么活了。这两门课程同时出现，又有这么个任务的，我感觉出现了1+1>2的效果。因为有文献检索这门课程的技术指导，所以我们知道该去哪里该用什么方法找我们想要的资料，正是因为我们有这么一个食品化学综述的奋斗目标，所以我们就更加会努力地通过文献检索那门课程学回来的技术去试验、熟悉。最终的结果就是我们找到了那个综述PPT要求我们收集的数据。因为有大量的练习，所以当文件检索课程需要我们完成某些课题的检索任务，我们可以快速且得心应手。食品化学这门课程，我们一个大班上课，超过100人。理论上每个人都要拿着自己那篇综述的PPT上台去讲，但实际上我们根本没有那么多时间。我就是那个没有机会上去讲的人，最终只能把PPT交上去结束任务。我觉得有幸上讲台讲自己PPT的那些学生虽然很慌、虽然很彷徨、虽然很无助，但这的确是一个非常好的锻炼机会，如果你在大二，如果你在第一次接触专业课的时候就已经经历过这样的事情，毕业答辩的时候，根本没什么好慌的。你做自己那个PPT的时候，你是按照你的思路去整理资料、得出数据、得出结论。这个时候食品化学的那个老师就会像是毕业答辩时那样挑刺，跟你针锋相对，为什么是这个结论？凭什么得出这个结论？收集的这些数据到底有没有代表性，这样的现象到底能不能得出这样的结论？所以综述还真不仅仅是把别人的数据最终拼凑出一个东西这么简单。如果你不去思考其中的缘由，必定会被那门课的老师喷得你无地自容。食品化学那门课，我有两个老师。她们轮流上课，两个老师都姓吴，其中一个姓吴的老师，我们称之为灭绝师太。如果你的综述上台讲的时候没被她喷得一塌糊涂，就算非常成功了。

我敢肯定，不是所有学校的食品化学课程都会有这样的安排。我觉得，我读书的时候，华农这个食品化学课程的这种要求非常接地气、非常实在，并且影响我一辈子。

普通视图