數據工程負責人(Head of Data Engineering),負責領導設計和實施數據基礎設施,以支持快速擴展的加密貨幣交易所業務。主要目標是構建高效、可擴展且安全的數據系統,處理實時交易數據、用戶行為數據和市場數據。
主要職責
數據架構與基礎設施設計
領導設計可擴展、高性能的數據系統,用於存儲和處理大量交易數據、用戶行為日誌、市場數據和交易活動。
確保系統高可用性並優化低延遲訪問。
實時數據處理
構建和管理高吞吐量的實時數據流系統,處理加密貨幣交易、市場數據和用戶活動。
確保數據攝取和處理的延遲最小化,支持及時決策和交易執行。
數據整合與管理
設計系統以攝取、存儲和整合多源數據(如交易數據、用戶日誌、外部市場數據)。
規範化和組織數據,支持分析和商業智能需求。
用戶與交易數據存儲
制定策略存儲大量用戶行為數據(交易歷史、登錄活動等)和交易數據(訂單簿、提款等)。
確保數據存取快速、安全且成本效益高。
數據治理、質量與合規性
建立數據治理實踐,確保數據完整性、質量和符合法規(如GDPR、CCPA、AML/KYC)。
實施數據驗證、清洗和審計流程。
成本優化
設計兼顧性能與成本效益的系統,使用分片、數據分區和壓縮等技術。
確保數據基礎設施隨業務增長可擴展且成本可控。
領導與團隊管理
帶領數據工程團隊,推動最佳實踐和性能標準,培養合作文化。
提供指導和職業發展支持。
跨部門協作
與產品、市場、研究、安全和合規團隊合作,確保數據基礎設施滿足業務多樣化需求。
支持產品創新、用戶行為分析和法規合規的分析框架。
技術評估與選擇
持續評估新興數據技術,選擇最適合管理交易和用戶數據的工具。
確保數據基礎設施與公司戰略目標一致。
5 years of experience required