新闻动态
-
202512-03
- 优化PySpark读取大量小Parque
- 本教程探讨PySpark在本地模式下读取大量小Parquet文件时遇到的性能瓶颈。文章深入分析了小文件问题及其对Spark任务调度的影响，解释了为何即便Spar...
-
202512-03
- Delta Standalone：高效扫
- 本教程详细阐述了如何使用DeltaStandalone库高效地扫描Delta表中的特定数据。通过构建复杂的谓词表达式对分区列进行过滤，并利用DeltaStand...
-
202512-02
- PySpark加载大量小Parquet文
- 本文深入探讨了PySpark在本地模式下加载大量小型Parquet文件时遇到的性能瓶颈。核心问题源于HDFS/Spark的“小文件问题”和本地模式的并行度限制，...
-
202512-01
- Apache Hudi 1.1.0 正式
- ApacheHudi1.1.0是一个重大版本更新，为平台带来了显著的性能提升、新功能和重要变更。此版本重点增强了表格式支持、改进了索引功能、扩展了引擎支持，并改...
-
202511-30
- 优化PySpark加载大量小型Parqu
- 本文旨在探讨PySpark在加载大量小型Parquet文件时遇到的性能瓶颈，并提供一套系统的优化策略。核心问题源于分布式系统中的“小文件问题”，即文件数量过多导...
-
202511-27
- postgresql实时etl如何实现_
- PostgreSQL实时ETL通过逻辑复制与CDC工具实现，首先启用wal_level=logical并创建复制槽和发布，再利用Debezium捕获变更写入Ka...
-
202511-25
- mysql冷热分离如何实现_mysql存
- 冷热数据分离通过将高频访问的热数据与低频访问的冷数据分层存储，提升查询效率并降低存储成本。热数据如近期订单需快速响应，存于主库；冷数据如历史记录访问少，可归档至...
-
202511-24
- 为大模型而生的 AI 超级计算机，只在开
- 最近做大规模模型的同学们，想必都体会到了一个扎心的事实：云上算力价格节节攀升，本地算力却始终捉襟见肘。这一次，我们想把真正为开发者打造的AI超级计算机，直接搬到...
