商品描述
【簡介】 你是否曾懷疑過自己用錯了工具,因而浪費了許多時間? 在過去的職業生涯中,我以為自己掌握了開發軟體的核心技能,但在遇到真實的資料工程與資料分析問題時,我只用了軟體開發的方法去硬做,結果浪費了大量時間。 因為過去繞了很長的遠路,也順手做了不少研究,而這本書是我的心得。 這本書帶你深入了解現代資料棧,教你如何用更靈活、易於組裝的工具和方法論來有效處理資料,以提升數倍的產出。 ◎本書為你提供: ►現代資料棧:像 Linux Shell 一樣靈活的工具組合,協助你快速構建高品質的資料基礎建設。 ►資料分析的技巧與實務:透過研究實例與前人的分析方法,幫助你拆解陌生問題、提升解題效率。 ►管理實務:如何在組織內有效導入新技術,克服技術與決策的障礙。 ◎誰應該讀這本書? 這本書寫給那些在資料相關領域中,感受到「卡住了」的人。無論你是哪一種角色,只要曾經在以下情境中點頭如搗蒜,這本書就是為你而寫: ►你身為資料分析師,卻困在資料不乾淨、報表每週重工、每週趕進度的困境裡。 ►你是資料工程師,卻常常在寫一堆 ETL 程式,對資料倉儲與資料品質管控始終感到不夠優雅。 ►你是產品經理或行銷經理,每週都在催資料報表,卻不確定報表背後的資料是否一致、準確。 ►你是中階主管或技術領導者,想導入更好的資料流程,但每次提案總被打回票:「我們現在沒空重做」。 ►你身為數位轉型推動者,想改變整個組織面對資料的方式,但不知道該從哪裡開始。 這不是一本教你單一工具操作的書,而是一本幫助你理解「資料基礎建設」背後的思維框架、常見瓶頸、與改進路徑的書。如果你希望節省時間、提升品質、減少重工、甚至把某些原本工程師才能做的事轉交給資料分析師做,那你會在這本書裡找到具體可行的方法論與實踐路徑。 本書特色 ★ 不只是工具教學——本書源自顧問為企業導入現代資料棧的實戰經驗 ★ 精準拆解以 dbt、Metabase、Meltano 為核心,並示範 DuckDB 與其它資料倉儲選項的現代資料棧應用,讓你少走 90% 的冤枉路 ★ 用案例解析常見瓶頸,教你避開踩坑與重工的惡性循環 ★ 適用於決策者、技術主管、資料團隊——立即啟動資料驅動決策文化 用顧問級方法,替你的團隊打造「不再重工、不再卡關」的資料基礎建設,讓決策更快、產出更穩、團隊更有餘裕專注真正的價值創造。 專業推薦 中國信託商業銀行 數位科技處部長|林佩蘭 XREX INC., Backend Engineering Manager|Stone Huang XREX INC., 資料科學家|陳安祖 【目錄】 ▌第一部 資料工程 第1章 我還想要更懶惰 需求概述 既有的作法:試算表流水生產線 相對合理的設計 軟體開發 業務報表 專案的後續與感想 第2章 現代資料棧(Modern Data Stack) 可程式化工具 資料基礎建設 資料基礎建設的發展階段 應用現代資料棧還有其它優點嗎? 選SQL 而非MapReduce ELT 取代ETL 函數式資料轉換 理想的解決方案:現代資料棧 之後的章節 第3章 View Layer(視覺化層):Metabase 自助式資料服務的必要條件 Metabase 安裝 Metabase 自動分析 Metabase 基礎操作 Metabase 進階操作 Metabase 圖表/ 視覺化 Metabase 互動儀表板與嵌入式分析 Metabase 自動化(Automation) 本章小結 第4章 Transformation Layer(資料轉換層):dbt 與SQL 三個常見的SQL 難題與對應作法 dbt 安裝 DuckDB 安裝 dbt 基本操作 dbt 資料建模 dbt 進階操作 本章小結 第5章 Transformation Layer:SQL 概論 SQL 起步 SQL 進階語法 SQL 效能改進 本章小結 第6章 EL 與ETL EL 是普遍的需求 ETL 仍然是重要的選項 EL 工具 Meltano 簡介 dlt 簡介 ETL 設計原則 ETL 開發實務 本章小結 第7章 資料可靠性(Data Reliability) 除錯方法論 dbt 套件- Elementary dbt test Recce 兩難問題的因果分析 本章小結 第8章 即時資料(Real Time Data) 不同的應用、不同的即時 變更資料擷取(Change Data Capture) 資料倉儲內的Lambda 視圖 簡易資料湖與查詢引擎 本章小結 第9章 將複雜度往下移動 機敏資料 隨著時間而變動的資料 即時資料的查詢延遲 本章小結 第10章 資料工程的挑戰 資料工程的思考:搬移程式到資料端 資料工程的思考:簡單與可擴展性的並存之道 隱而不現的資料工程問題 採用新技術時的準備 本章小結 ▌第二部 資料分析 第11章 ChatGPT 作為一種資料分析工具 什麼是資料分析? 什麼是ChatGPT? 應用ChatGPT 的後設技巧(Meta-skill) 資料分析活用ChatGPT 進階議題:形式語言學的應用 本章小結 第12章 管理與統計 管理實務 量化與統計學的連結 貝氏定理(Bayesian Theorem) Z 檢定 費米估算(Fermi Estimation) 信賴區間 蒙地卡羅法 線性模型 探索式資料分析(EDA, Exploratory Data Analysis) 本章小結 第13章 各領域的資料分析 引導決策的指標 可信度 編碼 本章小結 ▌第三部 管理實務 第14章 資料團隊 結果優先vs 流程優先 複雜度轉換:往下層移動 三種常見的資料團隊組織架構 資料團隊的發展 資訊的價值 向上管理vs 向上資訊管理 逆向工作 本章小結 第15章 變革管理 評估新技術 向上溝通:原理 向上溝通:從現在到未來 從想法到行動 本章小結 結語 寫給想要更懶惰的人