使用 Python 读取 Excel 和 CSV 数据并保存到数据库

使用 Python 读取 Excel 和 CSV 数据并保存到数据库

前言

在数据处理和分析的过程中，我们经常需要从 Excel 或 CSV 文件中读取数据，并将其保存到数据库中进行进一步的处理和查询。Python 提供了强大的库来处理这些任务，如 pandas、openpyxl、csv 和 SQLAlchemy 等。本文将介绍如何使用 Python 读取 Excel 和 CSV 数据，并将这些数据保存到数据库中。

1. 环境准备

1.1 安装必要的库

首先，我们需要安装一些必要的 Python 库。这些库包括 pandas、openpyxl（用于读取 Excel 文件）、SQLAlchemy（用于数据库操作）等。你可以使用以下命令安装它们：

pip install pandas openpyxl sqlalchemy

1.2 数据库准备

在本文中，我们将使用 SQLite 作为示例数据库。SQLite 是一个轻量级的嵌入式数据库，使用非常简单。你也可以根据需要选择其他数据库，如 MySQL、PostgreSQL 等。

2. 读取 Excel 文件

2.1 使用 pandas 读取 Excel 数据

pandas 是一个强大的数据分析库，支持从 Excel 文件中读取数据。以下是一个读取 Excel 文件的示例：

import pandas as pd

# 读取 Excel 文件中的数据
excel_file = 'data.xlsx'
df = pd.read_excel(excel_file, sheet_name='Sheet1')

# 显示前几行数据
print(df.head())

在这个示例中，我们使用 pandas.read_excel() 函数读取 Excel 文件中的数据。sheet_name 参数用于指定要读取的工作表名称。

2.2 处理读取的数据

读取数据后，我们可以对数据进行一些基本处理，例如清理空值、转换数据类型等。以下是一个简单的处理示例：

# 删除包含空值的行
df.dropna(inplace=True)

# 将特定列转换为整数类型
df['column_name'] = df['column_name'].astype(int)

3. 读取 CSV 文件

3.1 使用 pandas 读取 CSV 数据

读取 CSV 文件与读取 Excel 文件类似，也可以使用 pandas：

# 读取 CSV 文件中的数据
csv_file = 'data.csv'
df = pd.read_csv(csv_file)

# 显示前几行数据
print(df.head())

pandas.read_csv() 函数用于读取 CSV 文件。你可以通过 sep 参数指定分隔符（默认为逗号），通过 encoding 参数指定文件编码等。

4. 将数据保存到数据库

4.1 使用 SQLAlchemy 连接数据库

SQLAlchemy 是一个功能强大的 ORM 库，支持多种数据库。以下是一个使用 SQLAlchemy 连接 SQLite 数据库的示例：

from sqlalchemy import create_engine

# 创建数据库引擎
engine = create_engine('sqlite:///example.db')

# 连接到数据库
connection = engine.connect()

4.2 将数据保存到数据库表

一旦连接到数据库，我们可以使用 pandas 的 to_sql() 方法将数据保存到数据库表中：

# 将 DataFrame 保存到数据库表中
df.to_sql('table_name', con=engine, if_exists='replace', index=False)

# 关闭数据库连接
connection.close()

在这个示例中，to_sql() 方法将 DataFrame 数据保存到指定的数据库表中。if_exists='replace' 表示如果表已存在，将其替换；index=False 表示不将 DataFrame 的索引列写入数据库。

5. 示例项目

下面是一个完整的示例代码，将 Excel 和 CSV 数据读取后保存到 SQLite 数据库中：

import pandas as pd
from sqlalchemy import create_engine

# 读取 Excel 数据
excel_file = 'data.xlsx'
df_excel = pd.read_excel(excel_file, sheet_name='Sheet1')

# 读取 CSV 数据
csv_file = 'data.csv'
df_csv = pd.read_csv(csv_file)

# 数据处理
df_excel.dropna(inplace=True)
df_csv.dropna(inplace=True)

# 创建数据库引擎
engine = create_engine('sqlite:///example.db')

# 将数据保存到数据库表
df_excel.to_sql('excel_table', con=engine, if_exists='replace', index=False)
df_csv.to_sql('csv_table', con=engine, if_exists='replace', index=False)

# 关闭数据库连接
engine.dispose()

print("数据已成功保存到数据库中！")