データサイエンティスト養成読本

データサイエンティストの仕事術

センサーの普及で拡がる分析対象
CRISP-DM
1. Busines Understanding
2. Data Understanding
3. Data Preparation
4. Modeling
5. Evaluation
6. Deployment
SEMMA
- Simple, Explore, Modifiy, Model, Assess
KDD
- Selection, Preprocessing, Transformation, Data Mining, Interpretation/Evaluation
データサイエンティストはデータを収集し、分析に適した形に整え、データにストーリーを語らせ、そのストーリーを他者に伝えている
必要とされるスキルセット
- ハードスキル
  - IT系スキル（RDBMS関連、プログラム言語など）
  - 分析系スキル（プログラム言語、各種統計解析など）
- ソフトスキル
  - ビジネス系スキル（業界・業務に関する知識など）
好奇心を持つ

業務理解
データ理解
データ抽出
データ書こう
モデリング
- 教師ありモデル
  - ニューラルネットワーク、決定木、線形回帰、ロジスティック回帰
- 教師なしモデル
  - Kohonen、TwoStep、k-means
効果検証
サービス実装
反復的なサイクルへ
データの非正規化
意味のある欠損値と意味のない欠損値の判断
KKD
- 勘と経験と度胸
KDD
- Knowledge-Discovery in Databases
データサイエンティストの成功は ROI や収益率などの要因で評価される
切り戻し条件を決めておく
ソリューションの導入（展開・共有）もデータサイエンスの一部
- 組織からの反発に対する対応も
人的ナレッジを活用する
「溜まる」生ログと意思を持って「貯められた」データは資産価値が違う