Python 大數據專案 X 工程 X 產品 資料工程師的升級攻略(第二版) 林子軒 深智數位 9786267273739華通書坊/姆斯
▐ 自2024/1/1 00:00起,台灣樂天市場「屈臣氏」將不贈送 LINE POINTS 點數
▐ 自2023/2/1 00:00起,樂天Kobo電子書不贈送 LINE POINTS 點數,請會員多加留意。
▐ LINE POINT點數回饋依照樂天提供扣除折價券(優惠券)、與運費後之最終金額進行計算。
▐ 愛買與愛票網、a la sha(2023/8/1生效)、GAME休閒館(2023/8/1生效)、專品藥局(2023/8/1生效)等部分店家不參與全站加碼,請詳閱LINE Points 加碼店家清單:https://lin.ee/Y2CcVdk/rcfk
▐ 注意事項
(1)部分服務及店家不符合贈點資格,購買後將不贈送 LINE Points 點數,亦不得使用點數紅包,如:比漾廣場、神腦生活、MyCard、愛美麗福利社、展翔通訊、ezcook 美食廚房、葳豐數位商城、吉盈數位商城、森林巨人、包材中心、KABO佳麗寶家電批發、LuLuLu精品店、NewSTYLE新風尚潮流、0216零食會社、美寶家電、純米小鋪、LILY科技新櫃、登芳3C電子雜貨賣場、豐饌御鴨、鼎耀通訊、誠選3C、Smile、葳豐數位商城二店、米蘭寶、BoBo Outlet代購屋、楊家食品(2022/10/1生效)、樂天Kobo電子書(2023/2/1生效)、屈臣氏(2024/1/1生效)等,請詳閱LINE Points 加碼店家清單。
(2)需透過LINE購物前往台灣樂天市場,並在同一瀏覽器於24小時內結帳,才享有 LINE Points 回饋。
(3)若購買之訂單(包含預購商品)未符合樂天市場 45 天內完成訂單出貨及結帳,則不符合贈點資格。
(4)如使用App、或中途瀏覽比價網、回饋網、Google等其他網頁、或由網頁版(電腦版/手機版網頁)切換為App都將會造成追蹤中斷而無法進行 LINE Points 回饋。
(5) LINE 購物為購物資訊整合性平台,商品資料更新會有時間差,如顯示之商品規格、顏色、價位、贈品與台灣樂天市場銷售網頁不符,以銷售網頁標示為準。
(6)Pickup店家之有效訂單需於下單後40天內使用完畢才符合分潤條件
(7) 若上述或其他原因,致使消費者無接收到點數回饋或點數回饋有爭議,台灣樂天市場保有更改條款與法律追訴之權利,活動詳情以樂天市場網站公告為準。商品描述
Python大數據專案X工程X產品-資料工程師的升級攻略 ISBN13:9786267273739 出版社:深智數位 作者:林子軒 裝訂/頁數:平裝/392頁 規格:23cm*17cm*2.9cm (高/寬/厚) 版次:2 出版日:2023/08/23 內容簡介 ★☆★☆★ 獨家解析知名大數據專案,FinMind,帶你一窺大數據產品的發展過程,打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★ 本書承襲第一版的精彩內容,分享在 Github 獲得 1,900 stars 的大數據 Side Project,並幫助讀者從 0 開始,打造專屬個人的大數據 Side Project。 精彩收錄: 【資料工程】 ○ 使用分散式技術,RabbitMQ、Flower、Celery,收集證交所、櫃買中心、期交所等股市資訊。 ○ 使用 Docker、FastAPI 架設 RESTful API 服務。 ○ 使用 Docker Swarm 架設分散式服務,包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。 ○ 使用雲端服務,一個月 5 美金,且免費提供 100 美金額度。 ○ 一站式管理多台分散式機器。 ○ 使用業界等級的,分散式 Airflow。 【產品迭代】 ○ 單元測試 Unit Test 介紹,包含爬蟲、API 測試範例。 ○ 使用 CICD 做持續性整合、部屬,並以 Gitlab-CI 搭配 API 服務做為範例。 【API 產品上線】 ○ 免費網址申請教學,No-IP。 ○ 免費 SSL 憑證教學,Let's Encrypt。 ○ 一站式管理多服務網址,容器化反向代理工具 Traefik。 【業界資料視覺化工具】 ○ 使用 Redash 建立個人化、股市分析儀錶板。 【監控系統】 ○ 使用最知名的監控工具,Prometheus、Grafana,同時監控所有服務。 讀完本書,你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控系統 Prometheus、Grafana 等,本書是一本集大成的作品。 ※本書程式實例可至深智官網下載deepwisdom.com.tw 目錄 【第1 篇 資料工程 ETL】 01 本書介紹 02 開發環境 2.1 開發環境重要性 2.2 Linux 作業系統 2.3 Windows 作業系統 2.4 Mac 作業系統 2.5 Python 開發工具 VS Code 03 Docker 3.1 為什麼先介紹 Docker ? 3.2 什麼是 Docker ? 3.3 安裝 Docker 3.4 安裝 Docker-Compose 04 雲端 4.1 為什麼要用雲端? 05 資料收集 5.1 Python 環境設置 5.2 爬蟲 5.3 資料庫架設 5.4 上傳資料到資料庫 5.5 分散式爬蟲 5.6 定時爬蟲 06 資料提供—RESTful API 設計 6.1 什麼是 API ? 6.2 輕量 API --- Flask 6.3 高效能 API --- FastAPI 07 容器管理工具 Docker 7.1 為什麼要用 Docker 7.2 建立第一個Docker Image --- Dockerfile 7.3 發布 Docker Image 7.4 雲端部屬 7.5 Docker Swarm 7.6 部屬服務 【第2 篇 產品迭代-- 測試運維】 08 自動化測試 8.1 單元測試 Unit Test 09 CICD 持續性整合、部屬 9.1 什麼是 CICD ? 9.2 CI 持續性整合 9.3 Gitlab-CI、以爬蟲專案為例 9.4 Gitlab-CI,建立 Docker Image 9.5 Gitlab-CI,部屬新版本 9.6 Gitlab-CI、以 API 專案為例 9.7 總結 【第3 篇 API 產品上線】 10 API 服務網址 10.1 為什麼需要網址? 10.2 No-Ip 免費的網址申請 10.3 Let's Encrypt 免費的 SSL 憑證 10.4 Traefik 10.5 API 結合Traefik 10.6 總結 【第4 篇 資料視覺化】 11 視覺化工具 11.1 什麼是視覺化? 11.2 Redash 11.3 Redash 帳號設定 11.4 資料庫連接 11.5 匯入資料 11.6 製作第一個圖表 11.7 第一個 Dashboard 11.8 設定下拉式選單 11.9 其他 BI 工具 【第5 篇 排程管理工具】 12 排程管理工具 - Apache Airflow 12.1 事前準備 12.2 什麼是排程管理工具? 12.3 為什麼選擇 Airflow ? 12.4 什麼是 Airflow ? 12.5 架設第一個 Airflow 12.6 DAG 介紹 12.7 常見 Operator 介紹 12.8 Airflow 結合爬蟲 - CeleryExecutor 12.9 結論 13 Redis 介紹 13.1 什麼是 Redis ? 13.2 使用Docker 架設Redis - 結合 Celery 【第6 篇 監控系統】 14 監控工具介紹 14.1 為什麼需要監控系統? 14.2 最知名的開源監控系統之一 14.3 架設個人化監控儀表板 14.4 總結 15 結論