如何通過識別變動賬戶來優化熱點數據的篩選和同步？

高效篩選與同步海量熱點數據

大規模數據同步中，如何高效篩選和同步熱點數據至關重要。例如，系統間通過通知和定時輪詢同步賬戶流水，頻繁的輪詢導致大量無數據賬戶的同步，加重上游系統負擔。本文提出一種優化方案，通過識別變動賬戶來提升效率。

最初方案考慮使用redis緩存（zset或set）存儲賬戶，并設置TTL和LRU淘汰策略。但由于賬戶數量巨大，可能面臨bigkey問題，且LRU策略效果難以評估，緩存過載時與全量查詢無異。

改進方案的核心在于識別自上次同步后發生變動的賬戶。通過上游系統提供的接口，獲取指定時間點后變動賬戶ID列表（例如，基于update_time查詢）。

僅同步列表中的賬戶，即可避免無效查詢，顯著提升同步效率，同時減輕上游系統壓力，實現熱點數據的高效篩選和同步。