昨天,我们学习了列表推导式,掌握了Python中最优雅的数据处理方式。今天,我们将学习文件操作 — Python中读写文件的基础技能。
文件操作是编程中的核心技能,无论是读取配置文件、保存用户数据,还是处理日志文件,都离不开文件操作。
今天您将学习什么
- 文件操作的基本概念和模式
- 读取文件的多种方法
- 写入文件的技巧
- 文件路径和目录操作
- 真实世界示例:日志记录、配置管理、数据处理
什么是文件操作?
文件操作是指程序与计算机文件系统进行交互的过程,包括创建、读取、写入、修改和删除文件。
Python提供了内置的open()函数来处理文件操作,支持多种文件模式。
1. 文件操作基础
文件打开模式
# 基本语法
file = open(filename, mode)
# 常用模式
# 'r' - 读取模式(默认)
# 'w' - 写入模式(覆盖)
# 'a' - 追加模式
# 'x' - 独占创建模式
# 'b' - 二进制模式
# 't' - 文本模式(默认)
基本文件操作流程
# 1. 打开文件
file = open('example.txt', 'r')
# 2. 操作文件
content = file.read()
# 3. 关闭文件
file.close()
2. 读取文件
读取整个文件
# 方法1:基本读取
with open('example.txt', 'r', encoding='utf-8') as file:
content = file.read()
print(content)
# 方法2:读取为列表(按行分割)
with open('example.txt', 'r', encoding='utf-8') as file:
lines = file.readlines()
for line in lines:
print(line.strip()) # strip()去除换行符
逐行读取
# 方法1:for循环
with open('example.txt', 'r', encoding='utf-8') as file:
for line in file:
print(line.strip())
# 方法2:readline()
with open('example.txt', 'r', encoding='utf-8') as file:
line = file.readline()
while line:
print(line.strip())
line = file.readline()
读取指定字节数
with open('example.txt', 'r', encoding='utf-8') as file:
# 读取前100个字符
content = file.read(100)
print(content)
3. 写入文件
覆盖写入
# 写入模式会覆盖原文件
with open('output.txt', 'w', encoding='utf-8') as file:
file.write("Hello, World!\n")
file.write("This is a test file.\n")
file.write("Python is awesome!")
print("文件写入完成!")
追加写入
# 追加模式不会覆盖原文件
with open('output.txt', 'a', encoding='utf-8') as file:
file.write("\n\n这是追加的内容。")
file.write("\n文件操作很有趣!")
print("内容追加完成!")
写入多行
lines = [
"第一行内容",
"第二行内容",
"第三行内容",
"第四行内容"
]
with open('multiline.txt', 'w', encoding='utf-8') as file:
file.writelines(line + '\n' for line in lines)
print("多行写入完成!")
4. 文件路径操作
使用os模块
import os
# 获取当前工作目录
current_dir = os.getcwd()
print(f"当前目录:{current_dir}")
# 拼接路径
file_path = os.path.join(current_dir, 'data', 'example.txt')
print(f"文件路径:{file_path}")
# 检查文件是否存在
if os.path.exists(file_path):
print("文件存在")
else:
print("文件不存在")
# 获取文件信息
if os.path.exists(file_path):
file_size = os.path.getsize(file_path)
print(f"文件大小:{file_size} 字节")
使用pathlib模块(推荐)
from pathlib import Path
# 创建Path对象
file_path = Path('data/example.txt')
# 检查文件是否存在
if file_path.exists():
print(f"文件存在,大小:{file_path.stat().st_size} 字节")
else:
print("文件不存在")
# 创建目录
file_path.parent.mkdir(parents=True, exist_ok=True)
# 读取文件
if file_path.exists():
content = file_path.read_text(encoding='utf-8')
print(content)
真实世界示例1:日志记录系统
import datetime
from pathlib import Path
class Logger:
def __init__(self, log_file='app.log'):
self.log_file = Path(log_file)
self.log_file.parent.mkdir(parents=True, exist_ok=True)
def log(self, message, level='INFO'):
"""记录日志"""
timestamp = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')
log_entry = f"[{timestamp}] {level}: {message}\n"
with open(self.log_file, 'a', encoding='utf-8') as file:
file.write(log_entry)
def read_logs(self, lines=None):
"""读取日志"""
if not self.log_file.exists():
return []
with open(self.log_file, 'r', encoding='utf-8') as file:
if lines:
return file.readlines()[-lines:]
else:
return file.readlines()
def clear_logs(self):
"""清空日志"""
self.log_file.write_text('', encoding='utf-8')
# 使用示例
logger = Logger('logs/application.log')
# 记录一些日志
logger.log("应用程序启动")
logger.log("用户登录成功", "INFO")
logger.log("数据库连接失败", "ERROR")
logger.log("处理完成", "INFO")
# 读取最近的5行日志
recent_logs = logger.read_logs(5)
print("最近的日志:")
for log in recent_logs:
print(log.strip())
真实世界示例2:配置管理系统
import json
from pathlib import Path
class ConfigManager:
def __init__(self, config_file='config.json'):
self.config_file = Path(config_file)
self.config = self.load_config()
def load_config(self):
"""加载配置文件"""
if self.config_file.exists():
try:
with open(self.config_file, 'r', encoding='utf-8') as file:
return json.load(file)
except json.JSONDecodeError:
print("配置文件格式错误,使用默认配置")
return self.get_default_config()
else:
print("配置文件不存在,创建默认配置")
default_config = self.get_default_config()
self.save_config(default_config)
return default_config
def save_config(self, config=None):
"""保存配置文件"""
if config is None:
config = self.config
with open(self.config_file, 'w', encoding='utf-8') as file:
json.dump(config, file, indent=2, ensure_ascii=False)
def get_default_config(self):
"""获取默认配置"""
return {
"database": {
"host": "localhost",
"port": 5432,
"name": "myapp"
},
"server": {
"host": "0.0.0.0",
"port": 8000,
"debug": True
},
"features": {
"enable_cache": True,
"enable_logging": True
}
}
def get(self, key, default=None):
"""获取配置值"""
keys = key.split('.')
value = self.config
for k in keys:
if isinstance(value, dict) and k in value:
value = value[k]
else:
return default
return value
def set(self, key, value):
"""设置配置值"""
keys = key.split('.')
config = self.config
for k in keys[:-1]:
if k not in config:
config[k] = {}
config = config[k]
config[keys[-1]] = value
self.save_config()
# 使用示例
config = ConfigManager('myapp_config.json')
# 获取配置值
db_host = config.get('database.host', 'localhost')
server_port = config.get('server.port', 8000)
print(f"数据库主机:{db_host}")
print(f"服务器端口:{server_port}")
# 设置配置值
config.set('database.host', '192.168.1.100')
config.set('features.enable_cache', False)
print("配置已更新")
真实世界示例3:数据处理工具
import csv
from pathlib import Path
class DataProcessor:
def __init__(self, input_file, output_file):
self.input_file = Path(input_file)
self.output_file = Path(output_file)
def process_csv(self):
"""处理CSV文件"""
if not self.input_file.exists():
print(f"输入文件不存在:{self.input_file}")
return
processed_data = []
# 读取CSV文件
with open(self.input_file, 'r', encoding='utf-8', newline='') as file:
reader = csv.DictReader(file)
for row in reader:
# 处理每一行数据
processed_row = self.process_row(row)
if processed_row:
processed_data.append(processed_row)
# 写入处理后的数据
if processed_data:
self.write_csv(processed_data)
print(f"处理完成,共处理 {len(processed_data)} 行数据")
def process_row(self, row):
"""处理单行数据"""
# 示例:过滤空值,转换数据类型
processed = {}
for key, value in row.items():
if value and value.strip(): # 过滤空值
# 尝试转换为数字
try:
if '.' in value:
processed[key] = float(value)
else:
processed[key] = int(value)
except ValueError:
processed[key] = value.strip()
return processed if processed else None
def write_csv(self, data):
"""写入CSV文件"""
if not data:
return
# 确保输出目录存在
self.output_file.parent.mkdir(parents=True, exist_ok=True)
# 获取字段名
fieldnames = data[0].keys()
with open(self.output_file, 'w', encoding='utf-8', newline='') as file:
writer = csv.DictWriter(file, fieldnames=fieldnames)
writer.writeheader()
writer.writerows(data)
# 创建示例CSV文件
def create_sample_csv():
sample_data = [
{'name': 'Alice', 'age': '25', 'score': '85.5'},
{'name': 'Bob', 'age': '30', 'score': '92.0'},
{'name': 'Charlie', 'age': '', 'score': '78.5'},
{'name': 'David', 'age': '28', 'score': '88.0'}
]
with open('sample_data.csv', 'w', encoding='utf-8', newline='') as file:
writer = csv.DictWriter(file, fieldnames=['name', 'age', 'score'])
writer.writeheader()
writer.writerows(sample_data)
print("示例CSV文件已创建")
# 使用示例
create_sample_csv()
processor = DataProcessor('sample_data.csv', 'processed_data.csv')
processor.process_csv()
文件操作的最佳实践
推荐做法:
- 使用with语句自动管理文件
- 指定正确的编码格式
- 使用pathlib处理路径
- 适当处理文件异常
避免的做法:
- 忘记关闭文件
- 不处理文件不存在的情况
- 使用硬编码的文件路径
- 忽略编码问题
文件操作的高级技巧
二进制文件操作
# 复制文件
def copy_file(source, destination):
with open(source, 'rb') as src:
with open(destination, 'wb') as dst:
dst.write(src.read())
# 读取图片文件信息
def get_file_info(file_path):
with open(file_path, 'rb') as file:
content = file.read()
return {
'size': len(content),
'first_bytes': content[:10]
}
临时文件操作
import tempfile
import os
# 创建临时文件
with tempfile.NamedTemporaryFile(mode='w', delete=False) as temp_file:
temp_file.write("临时数据")
temp_path = temp_file.name
# 使用临时文件
print(f"临时文件路径:{temp_path}")
# 清理临时文件
os.unlink(temp_path)
回顾
今天您学习了:
- 文件操作的基本概念和模式
- 读取文件的多种方法
- 写入文件的技巧
- 文件路径和目录操作
- 真实世界应用:日志记录、配置管理、数据处理
文件操作是Python编程中的基础技能,掌握这些知识将让您能够处理各种文件相关的任务!