运行Python数据处理脚本，2核2G服务器需要优化哪些参数？

在2核2GB内存的服务器上运行Python数据处理脚本时，资源非常有限，因此需要从多个方面进行优化以避免内存溢出、CPU过载或程序崩溃。以下是关键的优化建议和参数调整方向：

一、内存优化（重点）

1. 使用生成器（Generator）替代列表

避免一次性加载大量数据到内存中。

# ❌ 错误：全部读入内存
data = [process(row) for row in large_file]

# ✅ 正确：逐行处理
def process_data(file):
    for line in file:
        yield process(line)

2. 分块处理数据（Chunking）

尤其适用于 pandas 处理大文件：

import pandas as pd

chunk_size = 1000  # 根据内存调整
for chunk in pd.read_csv('large_file.csv', chunksize=chunk_size):
    process(chunk)  # 处理完即释放

3. 及时释放变量

手动删除不再使用的对象，并触发垃圾回收：

import gc

del large_dataframe
gc.collect()

4. 选择合适的数据类型

使用更节省内存的数据类型：

df['int_col'] = df['int_col'].astype('int32')   # 而不是 int64
df['float_col'] = df['float_col'].astype('float32')
df['category_col'] = df['category_col'].astype('category')

二、CPU与并行优化

1. 避免过度多线程/多进程

2核CPU不适合开启过多并发任务。

• 推荐：最多使用 2个进程 或 1-2个线程
• 使用 concurrent.futures 控制并发数：

from concurrent.futures import ThreadPoolExecutor

with ThreadPoolExecutor(max_workers=2) as executor:
    executor.map(process_row, data)

2. I/O密集型用多线程，CPU密集型用多进程

• 文件读写、网络请求 → 多线程（ThreadPoolExecutor）
• 数值计算、数据转换 → 多进程（ProcessPoolExecutor），但注意内存翻倍风险

三、Pandas 专项优化

1. 只加载必要列

df = pd.read_csv('data.csv', usecols=['col1', 'col2'])

2. 设置低内存解析选项

df = pd.read_csv('data.csv', low_memory=True)

注意：low_memory=False 可能导致高内存占用，建议设为 True 并配合 dtype 显式定义列类型。

3. 避免链式赋值和复制

# ❌ 避免
df = df[df['col'] > 0].copy()

# ✅ 原地操作或尽早过滤
mask = df['col'] > 0
df = df.loc[mask]

四、系统级优化

1. 增加 Swap 空间（临时应急）

防止内存不足直接崩溃：

# 创建 2G swap 文件（根据磁盘空间）
sudo fallocate -l 2G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

⚠️ Swap 会降低性能，仅作为防崩溃手段。

2. 监控资源使用

使用 psutil 监控内存/CPU：

import psutil

print(f"Memory usage: {psutil.virtual_memory().percent}%")
print(f"CPU usage: {psutil.cpu_percent()}%")

五、其他建议

示例：使用 Polars 分块读取

import polars as pl

q = (pl.scan_csv("large.csv")
.filter(pl.col("value") > 10)
.select(["a", "b"]))
df = q.collect(streaming=True) # 流式处理，低内存

---

### 六、推荐配置总结

| 参数 | 推荐值 |
|------|--------|
| Pandas chunksize | 500 - 2000 行 |
| 并发 worker 数 | 1-2 |
| 数据类型 | int32, float32, category |
| Swap 空间 | 至少 1-2GB |
| 日志频率 | 每处理 N 千行输出一次 |

---

### 七、测试与调优步骤

1. 使用小样本数据测试内存占用
2. 逐步增加数据量，观察 `htop` 或 `psutil` 的资源消耗
3. 找出瓶颈点（I/O？内存？CPU？）
4. 针对性优化（如改用生成器、分块、降精度等）

---

✅ 总结：在2核2G环境下，**“小步快跑、及时释放”** 是核心原则。优先优化内存使用，控制并发，合理分块，避免一次性加载大数据。