StatsBeginner: 初学者の統計学習ノート

統計学およびR、Pythonでのプログラミングの勉強の過程をメモっていくノート。たまにMacの話題。

2017-01-01から1年間の記事一覧

今更ながら、Rのアンインストール・インストール・初期設定の復習(Macの場合)

備忘のためのメモが必要 Rのバージョンアップをしようとしたんですが、Macの場合はアップデート用のコマンドが使えないらしいので、アンインストールして新バージョンを再インストールをすることにしました。 Rのインストール方法なんて解説サイトが山ほどあ…

ブロックチェーンって「付加価値」が期待されてるわけでもなくね?

久しぶりにブロックチェーンに関する記事を読んだんですが・・・ qiita.com 「ブロックチェーンが経済のあり方を変える!」的な一部世間の風潮にクギを刺すような論調の記事ですが、金融機関や役所でブロックチェーンの活用に取り組んでいる人たちの話とは少…

Pythonメモ: Pandasで文字列検索をループするとかなり遅かった

前回のエントリで、Pandasのデータフレームを文字列で検索すると遅かったと書いたんですが、実際に検索の方法を変えるとどれぐらい違うのかを計測してみました。 結論から言えば、辞書型に変換してから検索したらだいぶ速くなったのですが、それが凄いという…

【Python】MeCabと極性辞書を使ったツイートの感情分析入門

負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵…

エンジニア泣かせの「日本の住所」は誰が決めているのか

住所のデータを機械で扱おうと思った時、日本の住所は「1の1」と「1丁目1番」と「1-1」のように表記が統一されていないこと、数字の部分だけでなく町名や字名の部分も複数の書き方があること、漢字の旧字新字が混じること、アメリカ等のようにカンマでの分か…

Python作業メモ: 残しておくとマズそうな自分のツイートをまとめて削除する(YouTubeリンク編)

著作権侵害にあたるYouTube動画へのリンクを削除する たまにツイッターで、YouTubeのリンクを貼り付けたツイートをしていますが、よく考えたら違法アップロードに該当するものを拡散してしまっている可能性があります。可能性とかいう曖昧なレベルで考えるの…

フォルダの差分同期をExcel(VBA)で行う

VBAの勉強エントリです。 自分がデータ分析とかをやる場面ではべつにVBAを使う必要はなく、RやPythonでやればいいのですが、会社の仕事で他の人たちと共同作業する上では、Excelとかのマクロが組めると便利だろうなと思うことが多いです。 しかしほっといた…

メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換

Outlookのマクロ(VBA)に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強にな…

学術研究費のクラウドファンディング 〜CrowdからTribeへ〜

以下の記事をみてTwitterでシェアしようと思ったら要約が長くなりすぎたのでここにメモしておきます。単に概要を箇条書きしただけです。 Crowdfunding and Tribefunding in Science – The Next Regeneration 政府系の競争的な研究資金を取るのは大変で、研究…

Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜

Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー/アンフォローしたり、RTしたりふぁぼっ…

Pythonメモ: Pandasのデータフレームに空のデータフレームを合体させたらint型の列がfloat型になってた

こんな事象に陥る人が他にいるのか分からないのですが、ググって解決しなかった問題が解決したので、せっかくだからメモしておきます。 Pandasのデータフレームに、整数型で値が入っている列があるとします。 >>> import pandas as pd >>> import numpy >>> …

ブログのドメイン変更/TwitterのAPIについての悩み

ブログのURLを変更しました。 旧URL http://statsbeginner.hatenablog.com/ ↓ 新URL http://www.statsbeginner.net/ 旧URLのままでもアクセスできるようですが。 ・・・そのことだけ書いて終わりというのもなんなので、最近の悩みを書いておきます。 Tweepy…