【データサイエンス】経営に”データで示して”とエビデンスを求められた際の留意点
業務を遂行する中で、各種分析に関するレポート報告する場面が多々あります。 その際に問題になるのが前提としての報告対象が統計知識がゼロの上で、かつ事業・経営的なメリットを求めている場合が多いという点です。 そのため、単に分…
プログラミング・データサイエンスプログラミング・データサイエンス統計
プログラミング・データサイエンス
プログラミング・データサイエンス【データサイエンス】確率分布(ポアソン分布、正規分布等)とは一体何なのか
統計の勉強をすると「確率分布」という言葉が頻出して出てきますが、なんど解説を聞いてもピンとこなかったりします。 とはいえ、ここの理解なくして、各種統計モデルの理解は難しいので、代表的な分布図をかいつまんで最低限のポイント…
プログラミング・データサイエンス【データサイエンス】統計に関する情報整理 / AI, 機械学習, 深層学習の位置づけ
統計を勉強する中で、「AI、機械学習、深層学習」というものが色々なところで出てきますがこれらはどのような関係性なのでしょうか。 AIという言葉は日常でよく出てきますが、上記を正確に説明せよ。といわれると、ウッ…と止まって…
プログラミング・データサイエンス【自然言語処理】テキストマイニング、word2vecの仕組とは
「自然言語処理」とは、大量のテキストデータから、有益な情報を取り出す分析のことを総称したものです。 言い換えるとテキストマイニングともいいますが、ようは文字情報分析です。 今やウェブページやTwitterなど色々なところ…
プログラミング・データサイエンス【ディープラーニング】 画像を処理して自動検出する仕組とは
AIという言葉と共に一気に有名になったがのがディープラーニングという手法です。 そしてこの「ディープラーニング」とは、ニューラルネットワークを多層に結合して学習能力を高めた機械学習の一手法です。 もうこの時点で意味不明だ…
プログラミング・データサイエンス【データ分析】モデル精度の読み方 |決定係数, AUC, 混合行列とは何か
統計をかじりはじめて最初にぶつかる壁が、決定係数やAUCなど専門用語が多すぎて数字それぞれの意味が分からず混乱するということではないでしょうか。 目的に応じて、どのモデルを使って、どの指標をみるのが妥当か？ 細かい仕組が…
プログラミング・データサイエンス【クラスタリング】自動で分類分けする仕組 | k-means法、エルボーメソッドとは
「クラスタリング」とは，データ間の類似度にもとづいて、データをグループ分けする機械学習の代表的な手法の１つです。 人によってはクラスターというと、病原菌が発生した地域みたいな負のイメージがあるかもしれませんが、ザックリい…
プログラミング・データサイエンス【分類問題】機械学習の仕組 | 決定木やランダムフォレストの仕組とは
「分類問題」とは，データをそれぞれカテゴリに分類するもので，回帰問題と並ぶ機械学習の代表的な使い方の１つです。 この領域も具体例のイメージはわきやすいものの、手法としては直感的に分かりづらく、解説をうけても分かったようで…
プログラミング・データサイエンス【回帰分析】機械学習の仕組 | 重回帰分析、ロジスティック回帰の仕組とは
回帰分析は、データ分析による予測の基礎の基礎です。 ただ、回帰分析とググってみると、単回帰分析、重回帰分析、ロジスティック回帰と色々なサイトがヒットしてわけがわからなくなります。 そのため今回はこのデータ分析の基礎にあた…
プログラミング・データサイエンス【仮説統計】機械学習の仕組 | P値、有意水準、帰無仮説とは何か
今回の内容は仮説統計・仮説検定という領域のものになります。 これは「とある仮説に対して、それが正しいのか否かを統計学的に検証する」という推計統計学の手法の一つです。 ただ、パッと見、専門用語がごちゃごちゃ出てきて混乱して…
