效率提升三要素

1. 减少扫描量：查询时仅读取相关分区而非全表
2. 降低计算开销：缩小分布式计算任务范围
3. 优化缓存利用率：热点分区保留在内存缓存中

1. 选择分区策略

类型	适用场景	示例
时间分区	时序数据（日志、交易记录）	PARTITION BY DATE(event_time)
整数范围分区	ID分段查询	PARTITION BY RANGE_BUCKET(customer_id, [0,100,200])
摄入时间分区	流式数据	PARTITION BY TIMESTAMP_TRUNC(_PARTITIONTIME, DAY)

2. 最佳实践方案

-- 创建分区表示例
CREATE TABLE `project.dataset.sales_partitioned`
PARTITION BY DATE(transaction_date)
AS SELECT * FROM `project.dataset.sales_raw`;

-- 查询优化：显式指定分区
SELECT SUM(amount) 
FROM `project.dataset.sales_partitioned`
WHERE transaction_date BETWEEN '2023-01-01' AND '2023-01-31'
AND _PARTITIONDATE BETWEEN '2023-01-01' AND '2023-01-31';

关键注意事项：

• 单个分区建议保持1GB-10GB数据量
• 避免超过4000个分区/表
• 使用_PARTITIONTIME伪列进行分区裁剪

分区的黄金搭档

• 分区+聚簇：先按日期分区，再按product_id聚簇
• 动态SQL：自动生成分区过滤条件
• 分区到期策略：自动清理历史分区节约成本

金融行业案例：某证交所通过日分区+股票代码聚簇，将T+1报表生成时间从45分钟缩短至112秒。