Python标准库里藏着的7个代码简化利器
多数开发者通过教程学Python,教程教的是语法——循环、类、字典。但有经验的Python工程师依赖一套完全不同的工具:惰性求值、描述符、动态类创建、函数式管道。 这些不是入门技巧,是架构层面的武器。 开始使用它们之后,项目体积缩小了,维护成本降低了,自动化也顺畅得多。以下是改变一切的七个技巧。 自动化管道动辄处理数百万行数据,一次性全部加载就像试图用嘴去接消防水管。生成器的思路不同:不创建完整列表,而是按需逐个产出值。 旧方式 内存中会出现一个巨大的列表。 可以改用生成器表达式 一个括号的差别,计算就变成了惰性流。Python逐个处理值,脚本运行更快,内存占用也低得多。 处理大规模数据集时,生成器应该是默认选项。 典型的字典计数逻辑大概长这样: 用defaultdict重写 条件判断没了,手动初始化没了,只剩下干净的逻辑。自动化系统中大量的指标追踪、日志统计、事件计数场景, 都能让代码变得克制而清晰。 Python自动化代码里最常见的坏味道之一: 字符串拼路径太脆弱。 的出现正是为了解决这件事: 路径成了对象,不再是易碎的字符串。目录扫描同样受益: 可读性几乎不需要解释。涉及文件操作的代码都应该用 。 第一次见到 的时候会有种魔法感。 假设有一个函数: 自动化管道里反复出现"乘以10"的操作,与其写包装函数,不如用 直接固定参数: 输出: 一行代码就生成了一个特化版本。在构建数据管道和任务调度系统时,这种模式的价值会不断放大。 接触 之前,循环写得像意大利面条,嵌套层层叠叠。 以生成组合为例。 嵌套写法 用product改写 立刻干净了。排列组合、批量任务生成之类的自动化场景, 都能把多层嵌套压缩成一行声明式调用。 多数开发者默认类必须在源码里预先定义。但Python允许在运行时创建类: 类是动态生成的。 自动化框架经常需要根据配置文件决定运行时行为,动态类正好解决了预定义结构无法覆盖的灵活性问题。 装饰器是Python中最适合自动化的语言特性之一。 以函数执行日志为例,不用装饰器的写法: 定义一个装饰器: 应用: 输出: 任何函数都可以通过一行注解获得日志、重试、计时、校验等能力。在自动化系统中,这种模式能省掉数千行重复代码。 多数开发者把精力花在学新库上,但真正带来质变的,是对Python语言本身的掌握。 生成器、装饰器、函数式工具、动态类——这些特性能把凌乱的脚本改造成结构清晰的工程系统。 与其反复问"下一个该学什么库",不如换个方向:Python里还有哪些特性没有真正用透? 越往语言深处走,越能体会到一种朴素的美感。 https://avoid.overfit.cn/post/b82f2fce0faa403889a1bb4350b4edb6 by Adeel Siddiqui
1、用生成器做惰性求值
numbers = [x*x for x in range(1000000)]
print(sum(numbers)) numbers = (x*x for x in range(1000000))
print(sum(numbers))2、defaultdict:砍掉一半条件判断
counts = {}
for word in ["python", "code", "python"]:
if word not in counts:
counts[word] = 0
counts[word] += 1 from collections import defaultdict
counts = defaultdict(int)
for word in ["python", "code", "python"]:
counts[word] += 1
print(counts)defaultdict3、Pathlib:字符串不该用来表示文件系统
import os
path = os.path.join("data", "logs", "file.txt")pathlib from pathlib import Path
path = Path("data") / "logs" / "file.txt"
print(path.exists()) for file in Path("logs").glob("*.log"):
print(file)pathlib4、functools.partial:函数的即时定制
partial def multiply(x, y):
return x * ypartial from functools import partial
times10 = partial(multiply, 10)
print(times10(5)) 505、itertools:把嵌套循环拍平
itertools colors = ["red", "blue"]
sizes = ["S", "M"]
pairs = []
for c in colors:
for s in sizes:
pairs.append((c, s))
print(pairs) from itertools import product
colors = ["red", "blue"]
sizes = ["S", "M"]
pairs = list(product(colors, sizes))
print(pairs)itertools6、用type做动态类创建
attributes = {
"name": "AutomationBot",
"run": lambda self: print("Running automation...")
}
Bot = type("Bot", (), attributes)
bot = Bot()
bot.run()7、装饰器:把重复逻辑收成一行
def process():
print("Starting process")
print("Running task") def logger(func):
def wrapper():
print("Starting process")
return func()
return wrapper @logger
def process():
print("Running task")
process() Starting process
Running task总结