1. 首頁
  2. 科普知識

怎樣提升資料分析能力

怎樣提升資料分析能力

我們正在迎來一個數據爆炸的時代:各類裝置和互動產生的資料量正以年均大於50%的速度增長,那麼,如何提高提升資料分析能力呢?

第一步:資料準備:(70%時間)

1.獲取資料(爬蟲,資料倉庫)

2.驗證資料

3.資料清理(缺失值、孤立點、垃圾資訊、規範化、重複記錄、特殊值、合併資料集)

4.使用python進行檔案讀取csv或者txt便於操作資料檔案(I/O和檔案串的處理,逗號分隔)

5.抽樣(大資料時。關鍵是隨機)

6.儲存和歸檔

第二步:資料觀察(發現規律和隱藏的關聯)

1.單一變數:點圖、抖動圖;直方圖、核密度估計;累計分佈函式

2.兩個變數:散點圖、LOESS平滑、殘差分析、對數圖、傾斜

3.多個變數:假色圖、馬賽克圖、平行左邊圖

第三步:資料建模

1.推算和估算(均衡可行性和成本消耗)

2.縮放參數模型(縮放維度最佳化問題)

3.建立機率模型(二項、高斯、冪律、幾何、泊松分佈與已知模型對比)

第四步:資料探勘

1.選擇合適的機器學習演算法(蒙特卡洛模擬,相似度計算,主成分分析)

2.大資料考慮用Map/Reduce

3.得出結論,繪製最後圖表

迴圈到第二步到第四步,進行資料分析,根據圖表得出結論完成文章。

以業務為核心做資料分析

“無尺度網路模型”的作者艾伯特-拉斯洛·巴拉巴西認為——人類93%的行為是可以預測的。資料作為人類活動的痕跡,就像金礦等待發掘。但是首先你得明確自己的業務需求,資料才可能為你所用。

資料為王,業務是核心

1.瞭解整個產業鏈的結構

2.制定好業務的發展規劃

3.衡量的核心指標有哪些

有了資料必須和業務結合才有效果。首先你需要摸清楚所在產業鏈的整個結構,對行業的`上游和下游的經營情況有大致的瞭解。然後根據業務當前的需要,指定發展計劃,從而歸類出需要整理的資料。最後一步詳細的列出資料核心指標(KPI),並且對幾個核心指標進行更細緻的拆解,當然具體結合你的業務屬性來處理,找出那些對指標影響幅度較大的影響因子。前期資料的收集以及業務現況的全面掌握非常關鍵。

思考指標現狀,發現多維規律

1.熟悉產品框架,全面定義每個指標的運營現狀

2.對比同行業指標,挖掘隱藏的提升空間

3.拆解關鍵指標,合理設定運營方法來觀察效果

4.爭對核心使用者,單獨進行產品用研與需求挖掘

發現規律不一定需要很高深的程式設計方法,或者複雜的統計公式,更重要的是培養一種感覺和意識。不能用你的感覺去揣測使用者的感覺,因為每個人的教育背景、生活環境都不一樣。很多資料元素之間的關係沒有明顯的顯示,需要使用直覺與觀察(資料視覺化技術來呈現)。

3. 規律驗證,經驗總結

發現了規律之後不能立刻上線,需要在測試機上對模型進行驗證。