StatsBeginner: 初学者の統計学習ノート

統計学およびR、Pythonでのプログラミングの勉強の過程をメモっていくノート。たまにMacの話題。

文系の大学院生が就活に苦戦する理由と対策

「文系の院生」は就活で不利?

 とある就活サイトの人から、リレーブログみたいなものへの参加を依頼されたので書きました。この記事は主に企業への就職の話ですが、面接対策の部分は公務員であれ何であれ同じようなことが言えると思います。
(もう一本、研究開発職の就活に関する記事も書いてあり、そっちでは人事部の裏話的なものを載せています。)


 ちょうど1年くらい前、「『頭のいい』女子はいらないのか——ある女子国立大院生の就活リアル」という記事(リンク)にはてなブックマークが400個ぐらい付いて話題になっていた。記事は「女だから」という理由で就活で苦労するという話なのだが、ツイッターのタイムラインではなぜか、「女だからというより、『文系の院生は使えない』からだろ。とくに社会学はダメだ!」みたいな話になっていて、以下のようなまとめまで出てきていた。
togetter.com


 「文系の院卒」の就職率は相対的に悪いとよく言われる(なんか調査もあった気がする)。しかし私が経験したり見聞きしたりした範囲から言うと、後述するように「文系の院卒には準備不足な奴が多い」というイメージは多少あるものの、「優秀なのに、文系院卒であることがネックになって落ちた」みたいな例は殆どなさそうに思える。民間でもそうだし、公務員の場合なんかは全く不利にならない。


 事務職・企画職・総合職の採用面接*1でいうと、最低限のコミュニケーション能力があるかどうか、頭の回転はどうか、常識的に求められる程度の準備をしてきている感じがするか(←後述するがここで差がつくことが多い)、人柄はどうかなどをみていることがほとんどで、「文系の院生である」という肩書上のスペックで評価が下げられるという印象はない。後述するように、上がりもしないところが問題ではあるのだが。
 ましてや、社会学が何であるかについてほとんどのビジネスマンは知らないし、興味もないだろう。


 私は去年まで十年ぐらい企業*2で働いていたのだが、今は大学に転職して就活生を送り出す側になってしまった。まだ企業側の感覚もある程度残っている気がするので、今のうちに就活について思うところを書いておこうと思う。
 私は文系の学部を出て、企業で企画職・事務職を経験した後、工学の大学院を出て工学部の教員になっているという中途半端な人間で、それぞれの立場を深くは知らないので信憑性に欠ける気はするが、そのおかげでよく見えるようになったことも1つや2つはあるかも知れない。


 なおこのエントリでは、文系の修士課程に在籍する学生が事務職や企画職に応募するケースを念頭に話を進める。
 
 

「学歴フィルター」は存在する

 そういえば今年の春頃、「学歴フィルター」というのが話題になっていた。
news.yahoo.co.jp


 たとえば、リクナビやマイナビのような就活サイトにいわゆるFラン大学生として登録すると、会社説明会が「満員」で参加不可になっており、一流大学所属に変更してみると表示が「空席あり」に変わるみたいな話だ。
 実際、上の記事でも書かれているが、学歴フィルターというのは間違いなくある程度は存在している
 昔、知り合いからきいた話なのだが、企業の人事部の採用担当はリクナビとかマイナビのような就活仲介サービスを通じて、登録している学生たちに会社説明会や入社試験の案内を送ったりする。で、何年も前の話なので今はどうだか知らないが、その説明会の案内メッセージを学生に送ろうとすると1件1件いちいちリクナビ等に課金されるので*3、採用担当が確保している予算の範囲内に費用を抑えるため、適当に絞り込みを行いたいと考えるらしい。だからそのシステムも、適当に学生の属性を設定すると、その属性に該当する学生にのみ案内を送ることができる仕様になっていると聞いた。


 最近はそういう露骨な仕組みではないのかも知れないが、冷静に考えたら、何らかの形で学歴フィルタリングぐらいはされていると想像したほうがいい。
 というのも大手企業の場合、エントリーシートを出してくる学生だけでも毎年数千人になる。会社説明会の申し込みなんかはもっと多いだろう。これだけの規模になると、採用担当側からしても、初期段階でいかに効率的に学生を絞り込むかがとても重要な課題になる。その際に、とりあえず大学のランクで案内先を絞ってみようと思うのは、良いか悪いかは別にして*4、不自然な発想とは言えない。学部で絞る場合もありそうだ。もちろんそのフィルタリングのせいで優秀な人材を取りこぼすこともあるだろうが、毎年100人とか採っている企業の場合、気にするほどの影響はないだろう。
 なお学歴フィルターと言っても、偏差値の高い大学から順に優先されるとは限らない。就職人気度がある程度以上に達している有名企業は高学歴な学生から狙うのだとしても、中堅以下の企業の場合、一流大の学生ばかりを狙っても意外と来てくれなかったり、内定を出しても辞退されたり、入社しても定着しなかったりするから、あえて避けるという判断もされる。


 ところで肝心の文系院生の話に戻ると、「人数が多すぎるからとりあえずフィルタリングする」という段階で、「文系大学院在席者」を弾いている企業ってあるのだろうか?
 あるのかも知れないが、少なくとも大企業ではほぼ無いのではと想像する。私がいた会社では文系大学院在籍者がふつうに面接まで受けていたし、採用もされている。他の会社の例でも、文系院卒の社員は(大学の同級性で院進した割合とさほど変わらない程度には)見かけるし、面接に進んでいる話はもっとよく聞くから、事前に切られているという印象は、個人的には全然ない。
 
 

面接まで行けば書面上のスペックはあまり関係ない

 「文系院生」が弾かれているのかはともかく、上記のとおり説明会案内などの段階で学歴フィルターが働くことは、私は珍しくないと思っている。エントリーシート審査の段階でフィルタリングする企業も、けっこうあるかも知れない。
 ただ、とにかく面接まで進んでしまえば、「文系院生」であるかどうかは関係ないし、そればかりか大学のランクもほとんど関係ないと私は思っている。有名大学に在籍していることは多少の下駄になる(最低限の賢さを持っていると安心してもらえる)可能性はあるのだが、面接で相手の学歴を気にしながら判断するというケースは実際あまり想像できない。ましてや、「文系の大学院」に在席していることが不利になるのかどうかというと、全くならないと思う。


 というのも、技術職や研究職は別として、事務職や企画職の面接では、学生が大学で何をやってるかなんてあまり判断材料にならないのだ。
 大学での「勉強」や「サークル活動」や「アルバイト」の話は、新卒採用の面接における定番トピックではある。しかしそれは、それぐらいしか話題のない学生が多いから一応聞いているだけであって、企業で長年働いている人間からすれば、はっきりいって「全く興味ない」と言ってよい。
 この、「学生の勉強・バイト・サークルの話なんて、社会人は全く興味ない」(けどそれしか話題がないから面接で一応聞いている)というのは、文系院生に限らず全ての就活生に強く言っておきたい点だ。
 可能な範囲で、それ以外の話題を用意したほうが印象に残ることは間違いない。もし学外で何か活動していた経験があるなら、それを膨らませて話題にしたいところだ。バイトでも、金を稼ぐことではなく活動を経験することを主目的とするものなら話のいいネタになる。留学してた場合は、外国でいろいろ頑張ったという話をしておけば、無難に「ああ、あの◯◯に留学してた子ね」みたいなイメージを持ってもらえる。


 で、就職すればすぐに分かることだが、周りの社員を見渡してみると、その人が20歳そこそこの一時期に何を勉強していたかなんて関係なく、様々な仕事をして、様々な評価を得ている人がほとんどだ。だから、「大学で何を専攻してるか」とか「大学院に行ってるかどうか」が、その後の職業能力に大きく響くと思っている面接官なんて、ほとんどいないはずだ。
 ちなみに私自身は企業にいた頃から、修士の2年間であっても大学院で「研究」のサイクルを回したことがある経験は企画職においては貴重だと思っていたので、文系であっても院生・院卒に対しては好印象を持つほうで、今もそれは正しいと思っている。しかし私みたいなのは恐らく少数派だ。
 だからまぁ、大学院で学んでいることがプラスに評価されないのは非常に問題なのだが、かといってマイナスになるわけでもなく、「大半のサラリーマンのおっさんにとって、そこはどうでもいい」というのが実態ではないかと思う。
 もちろん中には「文系院生」にネガティブな偏見を持っているおっさんもいるし、学歴至上主義のおっさんもいるんだけど、そう多くはない。また、ごく普通の中小企業を受ける場合なんかは、大学院に行ってますと言うと「うちはお前がくるような会社じゃねぇ」という意味で敬遠されるケースはあると思うのでそこは注意が必要だ。
 
 

重要なのは「ストーリーをでっち上げる」技術

 就活に成功した学生の話を色々聞いてみると分かるが、「その会社を受けにきた経緯」として相手が理解しやすい手短なストーリーをでっち上げるスキルを、だいたいみんな持っている。そして、履歴書やESに書いた事柄はいずれも面接で話題になる可能性があるから、とにかくどこを突かれても「ああ、なるほどね」ととりあえず理解させる程度のストーリーをちゃんと考えている。
 これは就活において最も重要な準備だと私は思うのだが、これができていない学生はとても多い。


 「志望動機」は面接で必ず聞かれるだろう。その際、単に「御社の◯◯のビジネスに大変興味がありまして」みたいな話をしていてはダメだ。「めっちゃ興味あるんです!」みたいにその度合いをアピールしても、面接官の頭には全く入らない。また、「御社のビジネスはこういう点で素晴らしいと思うから」系の話もダメだ。これは特に気をつけて欲しいのだが、「優れた会社だから受けに来ました」なんて言われても、面接官にはまったく響かないのである。
 そうじゃなく、「あ、なるほど、そういう経緯で君はこの会社や業種を受けに来てるんだね」と思わせられるような「ストーリー」を組み立てて、志望理由を説明できないといけないのだ。「経緯」とか「エピソードのつながり」とか「話の流れ」が大事なわけ。しかしたぶん、こう言ってもわからない学生も多いだろうとは思う。うーん伝えるのが難しい……。


 志望動機のストーリーというのは、履歴書に書いた他の情報(たとえば所属している学部)とストレートに繋がるものではなくてもよい。たとえば逆に、「大学では◯◯を専攻してるんですが、実は結果的にそれにはあまり興味を持てませんでして(笑)、ここ最近はずっと個人的にこういうことを調べてて、その関連で御社の▲▲事業に関心を持ったんです」みたいに、「関係ない」ということをあえて積極的に説明するストーリーだってあり得ると思う。
 また、美しいストーリーや面白いストーリーであるかどうかは、意外と重要ではない。それよりも、「なるほど、まぁ、ありそうな経緯だな」と腹落ちさせることがまず大事なのだ。文系だろうが理系だろうが、学部生だろうが院生だろうが、学部や専攻が何であろうが、何のバイトをして何のサークルに入ってようが、とにかく「それはありそうだなと思えるストーリー」を考えることから全ては始まるのだ。


 院生だと、「大学院ではどんな研究してるんですか?」という話を振られることは文系でも多いだろう。で、研究と志望動機を結びつけるストーリーはもちろん用意しておかなければならないのだが、その内容は色々あり得る。
 「研究の具体的内容」については、あえて触れないほうが話を作りやすい場合だってある。たとえば、入社後はマーケティング調査とかをする仕事に興味ありますということにしておいて、「大学院では◯◯の研究をしてたんですが、論文を書く際に、先行研究とか公的な統計情報とかを徹夜しながら死ぬほど調べました。そういう、調べて何かを明らかにするという作業が自分は好きだし向いているんだと分かりまして〜」みたいな言及の仕方をしたっていいだろう。
 これはまぁ、企業の志望動機というより部署や業務内容の志望動機だが*5、実際に調べ物をろくにしてない人でも言えるし、会社の仕事に調べ物はつきものなので、どこの部署を希望するにしても関係なく使えそうだ。大して面白い話ではないが。


 また、「なぜ大学院に進もうと思ったのか」も聞かれる可能性は高く、そこにもストーリーが必要だ。これはぜひ覚えておいてほしいのだが、日本の文系サラリーマンは大学院がどういうところか知らないので、実際は修士課程なんて単にモラトリアムで進学しただけの院生も多いのに、「院生」=「ホンネでは研究者志望の人たち」と思い込んでいる場合がけっこうある。だから、「なぜ大学院に進もうと思ったのか」という質問は、「院生なのになぜ民間企業を受けに来てるのか」という疑問をも含んでいる。
 文系サラリーマンからみると、修士であっても「大学院生なのに民間企業を受けに来きている」ということ自体がけっこう謎というか、「よく分からない存在」になってしまっていて、これが文系院生の就活における最大のネックとなっている側面はある。だからそういう「謎」感があることを前提に、その謎感を払拭するようなストーリーを説明してあげる必要がある。
 私が文系院生だったら、自分からまず「院生なのでよく『研究者志望なの?』って聞かれるんですけども〜」という前置きをして話を始めると思う。この言い方であれば、面接官が持っている「謎」感にまず理解を示すことで、安心というか分かってる感を与えることができるし、相手が院生に対する偏見の持ち主ではなかった場合も失礼にはあたらない。その上で、「もともとは研究職というのも少し考えてたんですが、大学院に入ってから◯◯(人でも知識でもよい)との出会いがあって、民間就職したいという思いが強くなりまして〜」という話にするか、「もともと研究職志望では全くなく、修士を出たら就職するつもりだったんですが〜(何か院に行った理由を続ける)」というパターンでいくかは、人にもよるし状況次第だ。


 就活において、「謎な感じ」をなくすことは全ての出発点である。たとえば有名企業の場合、「有名だから受けに来ている」という学生も多く、採用する側もそれは知ってるからその点では謎はないのだが、「本当にうちの仕事に興味があるのか」が分からないという意味では、やはり謎である。褒められようとか、目立とうとか、そんなことを考える前に、まず「謎が残らない学生」になっておかないと、いくら頑張っても無駄である。「不思議ちゃんの未知の魅力に賭ける」みたいなことは、現実の企業ではほぼ無いと思ったほうがよい。「実はうちの社員なのではないか」と錯覚するほど違和感のない学生というのは、滅多にいるものではないが、目指すべき方向性としてはそっちである。
 
 

失敗する原因はたぶん「準備不足」

 理系に比べると、文系の場合は大学院に進学する割合が低いから、面接を受けにくる学生のなかで多少目立つとは言える。目立つということは、上で述べた「謎」感の解消もそうなのだが、「納得のいく説明を求めるポイント」が少し増えるわけで、「腹落ち」までのハードルという意味では少しだけ不利だとも言えるのかもしれない。
 しかし、たとえば面接官に「あなたは大学院で◯◯を専攻してるよね。それってうちの会社の仕事とは全然関係なさそうな気がするけど、いいの?」と聞かれて、相手に「なるほど」と言わせる回答が即座にできないのは、ハッキリいってただの準備不足だと言わざるを得ない。そして、そこさえクリアすれば何も不利ではないのだ。


 学生時代にやっていた活動の延長上にあるような企業を受ける場合は、理由を「でっち上げる」必要はない。しかしたいていの人は、1社や2社ではなく、数社から十数社(40社ぐらいという人も珍しくはない)を幅広く受けるだろうから、そういう工夫はどこかで必ず必要になる。
 そのストーリーでっち上げの工夫というのは、大して高度なものではないのだが、意外とできない人、やらない人が多い。私が就活生に一番言いたいのはこれだ。
 何か強いこだわりを持っていて、相手にあわせてストーリーをでっち上げるなんてことには抵抗があるという人もいるだろうけど、それよりは単に「いいストーリーを思いつかない」人、さらにそれよりも「そういうストーリーの準備が必要だと分かってない」人が多いように見える。


 履歴書やESというのは、面接官にどういう質問をさせたいか、面接官とどういう話がしたいかを考えて「誘導する」ように書くべきものだと学生時代に教わったのだが、たぶんそのとおりだ。これは、会社に入ってから営業提案とか社内稟議の書類を作る場合だって同じ話である。
 そしてその際に、もちろん「面白い話」や「すごい話」になっていればそれに越したことは無いのだが、それには能力や特殊な経験が必要だ。でもそれ以前にまず、「ストーリーとして流れが不自然ではない話」にする必要があり、これは準備さえすればできることなのだが、その努力をサボって脱落するパターンが半分ぐらいあるように思う。


 たとえば、ものすごくローカルな企業(や市役所)を受ける時に、「あえてその地域で就職したいと思った理由」を全く考えてなかったら話にならない。特にその地域の出身者でないのであれば、「なんでわざわざこんなところで就職するの?」と聞かれるのは当然なのであって、事前に「なるほど」と思わせる回答を考えておかないといけない。でも案外、その程度の準備もしてない就活生が、けっこうな割合でいるのだ。


 就活の面接では「コミュニケーション能力」が問われるとよく言われるが、そのアドバイスはあまり役に立たない。コミュニケーション能力なんて、短期間では大して向上しないからだ。
 それより私が言っておきたいのは、合否を分ける、コミュ力と同じぐらい重要な要素があって、それは「準備してきてる感」だ。「俺が学生だったら、このぐらいは準備して面接を受けるだろうな」という感覚的な基準が面接官の側にはあって、その水準の準備を「してきてない感」が感じられると、その学生の評価は一気に下がるのである。これについては対策が可能なのだから、気をつけてほしい。
 「入社後はどんな部署で働きたいですか」とか「競合他社ではなくうちの会社に入りたいのはなぜですか」という質問をすると、その学生がうちの会社のことをどれだけ調べて来ているかというレベルは一瞬で分かる。学生が思っている以上に、マジで一瞬で分かる。ここで一定のレベルを下回ってしまうと、どれだけコミュニケーション能力があっても高評価にはなりづらい。「いや、嘘でもいいから、そこは何か考えてからくるでしょ普通……」って思ってしまうのだ。


 こういうことは就活対策をする過程で誰かに教わったり、就活セミナーに行ってきた同級生から聞かされることが多いと思う。ただ、文系の院生は少数派=外れ者ではあって、学部3〜4年生の時にみんなと一緒にそういう「最低限の準備」をする経験をしておらず、そのせいで「準備の必要性」をあまり認識していないパターンはけっこうあるはずだ。文系院生に不利な点があるとすれば、肩書ではなく、まずそこだろう。 
  

就活はたいていの人が思うより多様

 私が書いてるこのエントリについても言えることなのだが、就活や採用というものについて1人の人間が知っている側面は非常に限られているので、ほとんどのアドバイスは話半分に聴くべきだ。
 どういう人材が求められるかは、業種によっても、職種によっても、会社の規模によっても、会社の文化によっても、その時会社が抱えている課題によっても、さらには会社内の部署によっても、その部署にいる社員のパーソナリティによっても、異なってくる。私も含めて大抵の人は、自分が知っている狭い範囲の経験に基づいて語っているのだが、だいたい人間は自分の視野の広さを過信しがちで、自分の考えが一般的に当てはまると勘違いするものなので、注意が必要だ。


 就活には、結局「やってみないとわからん」面が結構ある(スキルが絶望的に低かったり、神レベルで高かったりすると別だろうけど)。上記のような「準備」を全くしてなかったら落ちるということは分かるが、それなりの準備をしているのであれば、あとは運だと思って数をこなすしかないと思う。動いたもん勝ちというのは、けっこう正しい。


 私の印象では、準備を十分にしない学生は、数をこなすことにも後ろ向きな傾向がある。「企業の人はこう思っているはず」「私に向いてるのはこういう仕事のはず」「あの会社はこういう人材を求めているはず」みたいな思い込みを勝手に持っているせいで、選択肢を必要以上に絞り込んでしまっている。「こういう業界や職種には私は向いてない」みたいな思い込みが多くて、なかなか視界が広がってこないのだが、非常にもったいない。
 そういえば去年まで働いてた会社に、東大卒でアメリカでMBAを取った先輩がいて、その人からはいろいろ教わって勉強になったのだが、そんな人でも「この会社の中にこんな仕事があるとは、入る前は想像してなかった」みたいなことを言っていた。会社というのはそういうもんで、外から見たってよく分からないのである。
 何十年も働いている社会人ですら、自分の会社や業界以外については、どんな人がどんな仕事をしているのかなんて大して知らない。ましてや学生にそんなものが想像できるわけがない。だから、特殊な専門業種にこだわるのでなければ、ある程度は盲目になって色々受けてみるというのは大事なことだと思う。


 ところで、ついでにもう一本、就活エントリを書いておきました。こっちは文系事務職ではなく、研究・開発職の話です。
 blog.statsbeginner.net


【2018/12/10 追記】
「アカリク アドベントカレンダー2018」に掲載されました。
大学院生向けの就活情報をまとめたサイトで、けっこう役に立つのでは?
https://adventcalendar.acaric.jp

*1:「専門性を生かしたい」とか思ってる人は自分で間口を狭めてるだけだから、考察の対象外とし、ここでは「学部卒の奴らと同等に就職したい」と思っている文系院生のみを想定してるので、主に事務職・総合職の採用について考える。

*2:古臭い業界の、巨大企業。

*3:1件100円ぐらいかかると聞いた気がするけどうろ覚え。でもとにかく、けっこう高いという話だった。

*4:私自身の会社員経験では、周りを見ていて大学のランクと仕事で活躍できるかどうかはあまり関係がなかったので、フィルタリングは良いことだとは思わない。

*5:内定までの段階で部署なんか決まらないのだが、面接の話題として、どんな部署で働きたいと思うかはよく聞かれる。

Python3でのメール送信時に日本語の差出人名を使う

以前のエントリで、Pythonからのメールの送信を試しましたが、


www.statsbeginner.net


この時は文中にも書いているとおり、差出人名を日本語表示するのがうまく出来ませんでした。
ところがその問題は、下記の方法で解決しました。


teratail.com


要するに、'差出人名 <アドレス>'という文字列を用意する時に、まるごとMIMEエンコードしてはダメで、「差出人名」のところだけがエンコードされるようにしなければならない。
それは前回のエントリ時点でも分かっていたんですが、なんか書き方が間違ってたようです。
どうやら、まず差出人名の文字列を.encode()メソッドでエンコードした上で、それをHeader()関数に与える際もHeader()関数の引数にエンコードを指定し、さらに、Headerオブジェクトそのものに.encode()メソッドを書き加えるということをしなければならなかったようです。
ただ、1個めの.encode()は要するに、Header()関数の引数としてエンコードされたバイト文字列を渡しているわけですが、べつにここにstr型で渡しても問題なく作動しました。
最後の.encode()は、これをつけることでRFCに沿ってMIMEエンコードされた文字列をstr型で受け取ることができるということのようです(説明)。これをつけないとこの部分がemail.header.Headerクラスのままになるので、あとで%sするときに不都合が起きるようです。


ということで、下記のように、

sender = '%s <%s>'%(Header('差出人名'.encode('iso-2022-jp'),'iso-2022-jp').encode(), メアド)


というように書いて、これをMIMEオブジェクトに与えて送信したら、ちゃんと表示されました。
一件落着です。


あと、何回か使ってみて、送信エラーが起きる理由は大きくわけて、

  1. 本文や名前(文中に宛名を差し込みする時)の日本語文字に'iso-2022-jp'でエンコードできないテキストが含まれている場合
  2. 送信途中でネットの回線が切れた場合

ですね。
なんかもうべつにUTF8で良い気はしてきました。

東京一極集中に関するデータ(ソースのメモ)

以下は、分析とかではなくデータのソースについてのメモである。
人口に関する「東京一極集中」がいかに凄いかは、世銀のサイトにある以下のデータをみるのが分かりやすい。


Population in the largest city (% of urban population) | Data


主要国では、日本の30%(都市人口の30%が東京圏に集中している)というのは極めて高いほうで、G20内ではアルゼンチンの35%負けるもののそれに次ぐ2位で、3位はサウジアラビアの20%。米・独・伊・中・露などは10%未満となっている。
ただ、後述するように韓国がソウルの人口しかカウントされておらず、首都圏という概念に広げると人口の半数を占めて堂々の1位となるようだ。


しかし韓国は国土面積が日本の4分の1ぐらいしかないし、サウジは砂漠だらけの国、アルゼンチンは歴史的にもブエノスアイレスという中世以来の貿易都市に後背地の草原をくっつけて国にしたようなところだから、日本のようにある程度広い国で歴史的にも有力な地方都市がある国の状況としては、異例ではある。しかも集中率が年々上昇している。(ドイツも年々上昇しているが、そもそもの水準が日本よりだいぶ低い。)


上記データはどういう由来かというと、国連の"World Urbanization Prospects"というレポートにおいて各国の「都市人口」が取りまとめられており、この数字を元に割合を出しているようだ。


World Urbanization Prospects - Population Division - United Nations


上記ページにまとまっているデータのうち、先ほどの世銀の集中率が使っているのは恐らく、

  1. 各国の、30万人以上が集積して住んでいる都市圏の、都市圏ごとの人口("Urban Agglomerations"中の"WUP2018-F12-Cities_Over_300K.xls")
  2. 各国の都市人口("Urban and Rural Populations"中の"WUP2018-F03-Urban_Population.xls")*1


の2つで、前者のうちその国で最大のものの人口を、後者で割っているのだと思う。分母が「都市人口」であって「総人口」ではないという点に注意が必要だ。日本の場合、その都市人口というのが1億1千万人ぐらいになっていたので、ほとんど全員が都市人口にカウントされているが。


なお、計算すると小数点以下が微妙に合わない。「年初」「年末」「年中」の違いとか、センサス未実施年のデータをどうするかとかの調整の都合が何かあるのかな?(具体的には確認していない。)
ちなみに、ここでいう「都市」というのは、"urban area"と"rural area"の対比でいう前者なので、「都会」と言ったほうが分かりやすいかもしれない。


都市(urban area)の定義は各国政府によるとされ、微妙な調整法などについては下記の2014年のレポートに注記がある。


https://esa.un.org/unpd/wup/publications/files/wup2014-highlights.pdf


日本の東京圏の定義がどうなっているかというと、先ほどの"WUP2018-F12-Cities_Over_300K.xls"のNOTES 70によれば、

(70) Major Metropolitan areas (M.M.A.) are defined by the Statistics Bureau of Japan. Census figures for 2005, 2010 and 2015 refer to the Kanto M.M.A.; figures from 1990 to 2000 are based on the Keihinyo M.M.A., and figures from 1960 to 1985 are based on the Keihin M.M.A. As a reference, the population of Tokyo-to was estimated at 12.1 million persons and of the Tokyo Ku-area at 8.1 million in 2000.


とされており、時期によって定義がちがうが、たとえば最新の"the Kanto M.M.A."とは、以下のページに載っている"Kantō Major Metropolitan Area (関東大都市圏)"であろう。


Greater Tokyo Area - Wikipedia


なお韓国のソウルについては「ソウル特別市」の人口が採用されている(NOTES 355)のだが、「首都圏」という意味ではもっと広いエリアが定義されるらしく、これだと総人口の半分ぐらいが首都圏に住んでいるらしいから、日本の東京集中度(約30%)を上回ることになるだろう。


首都圏 (韓国) - Wikipedia


また、台湾も、台北市が首都でその隣の新北市のほうが(恐らくベッドタウン化で)人口が多いのだが、この2つを合わせると集中度は38%ぐらいになる。ただし国土面積が日本の38万平方キロに対して、韓国は10万平方キロ、台湾はわずか3.6万平方キロと狭いので、日本とは事情が違うと考えたほうがよいだろう。


ところで、研究室に飾っておくために「立体日本地図」を買ったのだが、関東平野がいかに異常な広さかということがよく分かる。昔住んでいた茨城県つくば市では、目が良ければ筑波山の山頂から東京の新宿まで見通せるというのは有名な話だった。


f:id:midnightseminar:20180524173457j:plain


細かい定義を知らないが、関東平野の面積は1万7000平方キロメートルで、四国の1万8000平方キロメートルにほぼ匹敵する。
こんなに広い平地は北海道にすらなく、要するに日本の国土というのは、「殆どが山であり、点々と平野があってそこに都市が発達してきたが、関東にだけ四国と同じ広さの巨大平野がある」という構造になっている。


平野の定義がよくわからないのだが、以下のページに載っている都道府県別の地形・傾斜別面積をみると、関東1都6県の「丘陵地」「台地」「低地」面積を合わせると1万8,571平方キロメートルになる。


統計局ホームページ/第1章 国土・気象


日本全体では13万7,768平方キロだから、だいたい平野の13.5%が関東地方にあるということになる。
以下のページの「自然環境」のデータをみると都道府県別の可住地面積が分かるのだが、日本全体では12万4,038平方キロメートルであるところ、関東1都6県で1万8,261平方キロメートルなので、こちらは14.7%が関東にあるということになる。


社会・人口統計体系 統計でみる都道府県のすがた2018 | ファイルから探す | 統計データを探す | 政府統計の総合窓口


最初にあげた東京一極集中率の30%には、茨木・栃木・群馬などは含まれない*2はずだから、東京・千葉・神奈川・埼玉の1都3県の可住地面積が全国に占める割合を見てみると、だいたい7%ぐらいだ。
関東平野が恐ろしく広いとは言え、7%の可住地に30%の人が住んでいるのは、やはり偏っているようには思える。しかし関東平野全体ではまだ余力があるとも言えるので、北関東へのアクセスが劇的に改善した場合、さらに尋常ではない都市圏が形成されるという可能性もあるのかもしれない。

*1:30万人未満の「都市」人口も含まれている

*2:茨木南部は微妙に入る?未確認

RでVARモデル&インパルス応答関数を求めるとき、「ショックの値」をどうやって出すのか?

RでVARモデルを推定してインパルス応答関数を出す時に、インパルス応答関数が対応しているところの「ショック」の大きさが幾らなのかを、どこから得たらいいのかという疑問がわきました。


f:id:midnightseminar:20180504222113p:plain


こういう図を見せられたとして、まぁ増えるのか減るのかさえ分かればいい場合が多いかもしれませんが、タテ軸の数字はレスポンス側の変数の値だから意味が分かるものの、これがインパルス側の変数の当期の値に「どれだけのショック」を与えた場合に生まれる変動なのか数字で言ってくれ、って頼まれたらどう答えるのかなと。


で、{vars}パッケージの仕様書を見ると、コレスキー分解をしているようなので、たぶんショック側の変数の「撹乱項の標準偏差」だろうと思うのですが、確かめ方が私には俄かには分からなかったので、不躾ながらパッケージの開発者(Bernhard Pfaff氏)にメールで「ショックの大きさは、撹乱項の標準偏差の推定値ってことで合ってますか?」と聞いてみました。
そしたら親切にも速攻で返事が返ってきて、「そのとおりや! "vars:::Psi.varest" と打って俺のPsiのコードを見とけ!」と言われました。
ここでいうPsiは、


https://cran.r-project.org/web/packages/vars/vars.pdf


この仕様書の28ページの上の方に載ってる式のΨのことで、この行列の中身が直交化インパルス応答に対応しています。なおこれはVARのVMA表現ですね。*1
で、コードをみてみると、

> vars:::Psi.varest
function (x, nstep = 10, ...) 
{
    if (!(class(x) == "varest")) {
        stop("\nPlease provide an object of class 'varest', generated by 'VAR()'.\n")
    }
    nstep <- abs(as.integer(nstep))
    Phi <- Phi(x, nstep = nstep)
    Psi <- array(0, dim = dim(Phi))
    params <- ncol(x$datamat[, -c(1:x$K)])
    sigma.u <- crossprod(resid(x))/(x$obs - params)
    P <- t(chol(sigma.u))
    dim3 <- dim(Phi)[3]
    for (i in 1:dim3) {
        Psi[, , i] <- Phi[, , i] %*% P
    }
    return(Psi)
}


ここでsigma.uとなっているものが、残差の分散共分散行列ですね!
ということは、この行列と同じものを自分で求めて、対角要素の平方根を取ればショックの値になるはずです。
これは、VARモデルの推定結果であるx(varestクラスオブジェクト)の中に入っている残差の行列


resid(x)


を取り出してクロス積をとって自由度で割ったものです。
自由度は、元のデータがN変量×T期分あって、VAR(p)モデルを構築したのであれば、


df = (T-p) - (Np + 1) # +1は定数項の分


になります。
以下、念のため実際にサンプルデータで推定してみてやり方を確認しておくことにします。


まずデータを読み込みます。変数が4個ありますが、労働生産性と実質賃金だけ使おうと思います。

> library(vars)
> 
> # 練習データのCanadaを時系列データ型でインポート
> # e: 千人あたりの雇用
> # pros: 労働生産性
> # rw: 実質賃金
> # U: 失業率
> 
> data(Canada)
> 
> # 私はts型に慣れてないのでデータフレームにしますw
> canada <- as.data.frame(as.matrix(Canada))
> 


どんなデータか描画しておきます。

> split.screen(c(2,1))  # 描画デバイス分割
> screen(1)
> plot(canada$prod, type='l', main='Productivity')  # 労働生産性
> screen(2)
> plot(canada$rw, type='l', main='Real Wage')  # 実質賃金


f:id:midnightseminar:20180504222758p:plain


では、VARモデルを推定していきます。
簡単にするため、労働生産性(prod)と実質賃金(rw)という2つの変数だけでやってみます。

> ### 労働生産性と実質賃金のデータだけでVARモデルを構築します
> # ラグの選択
> lag <- VARselect(canada[,c(2:3)], lag.max=10)$selection[1]  # AIC最適ラグ数を選択
> print(lag)
AIC(n) 
     3 
> 
> # VARの推定
> var.canada <- VAR(canada[,c(2:3)], p=lag, type='const')
> summary(var.canada)

VAR Estimation Results:
========================= 
Endogenous variables: prod, rw 
Deterministic variables: const 
Sample size: 81 
Log Likelihood: -174.944 
Roots of the characteristic polynomial:
0.9843 0.813 0.813 0.5431 0.5431 0.4038
Call:
VAR(y = canada[, c(2:3)], p = lag, type = "const")


Estimation results for equation prod: 
===================================== 
prod = prod.l1 + rw.l1 + prod.l2 + rw.l2 + prod.l3 + rw.l3 + const 

        Estimate Std. Error t value Pr(>|t|)    
prod.l1  1.21318    0.11423  10.620   <2e-16 ***
rw.l1   -0.02120    0.09222  -0.230   0.8188    
prod.l2 -0.21853    0.18092  -1.208   0.2309    
rw.l2   -0.14257    0.13835  -1.031   0.3061    
prod.l3 -0.04157    0.11778  -0.353   0.7251    
rw.l3    0.16883    0.08846   1.909   0.0602 .  
const   17.21994   10.69523   1.610   0.1116    
---
Signif. codes:  
0***0.001**0.01*0.05 ‘.’ 0.1 ‘ ’ 1


Residual standard error: 0.6841 on 74 degrees of freedom
Multiple R-Squared: 0.976,	Adjusted R-squared: 0.974 
F-statistic: 501.3 on 6 and 74 DF,  p-value: < 2.2e-16 


Estimation results for equation rw: 
=================================== 
rw = prod.l1 + rw.l1 + prod.l2 + rw.l2 + prod.l3 + rw.l3 + const 

        Estimate Std. Error t value Pr(>|t|)    
prod.l1 -0.12808    0.13563  -0.944  0.34808    
rw.l1    1.08616    0.10949   9.921  3.1e-15 ***
prod.l2 -0.27601    0.21480  -1.285  0.20281    
rw.l2   -0.17954    0.16426  -1.093  0.27793    
prod.l3  0.44228    0.13984   3.163  0.00227 ** 
rw.l3    0.06736    0.10502   0.641  0.52323    
const   -3.05700   12.69828  -0.241  0.81042    
---
Signif. codes:  
0***0.001**0.01*0.05 ‘.’ 0.1 ‘ ’ 1


Residual standard error: 0.8122 on 74 degrees of freedom
Multiple R-Squared: 0.9987,	Adjusted R-squared: 0.9985 
F-statistic:  9176 on 6 and 74 DF,  p-value: < 2.2e-16 



Covariance matrix of residuals:
         prod       rw
prod 0.467974 0.002593
rw   0.002593 0.659676

Correlation matrix of residuals:
         prod       rw
prod 1.000000 0.004666
rw   0.004666 1.000000

> 


VAR(3)の推定が終わりました。
次に「労働生産性→実質賃金」という方向の、直交インパルス応答関数を求めます。あわせてグラフの描画もしておきます。

> irf.canada <- irf(var.canada,impulse='prod', 
+                   response='rw', 
+                   ortho = TRUE, 
+                   n.ahead=10,ci=0.95,
+                   cumulative = FALSE,
+                   runs=300
+                   )
> 
> print(irf.canada$irf)
$prod
                rw
 [1,]  0.003789932
 [2,] -0.083499262
 [3,] -0.386475239
 [4,] -0.440968850
 [5,] -0.394311432
 [6,] -0.341204111
 [7,] -0.296874634
 [8,] -0.234418701
 [9,] -0.160965629
[10,] -0.089254559
[11,] -0.023464820

> plot(irf.canada)


f:id:midnightseminar:20180504222113p:plain


これでつまり、当期(第1期)のprod(労働生産性)に撹乱項の1標準偏差分のショックが加えられた時の、各期のrw(実質賃金)の増減が得られました。


で、問題は「その労働生産性の撹乱項1標準偏差分ってどんだけやねん」ということですが、これは次のようにして計算できます。回りくどい書き方ですが、

> # 自由度
> Obs <- var.canada$obs  # 推定されるyの期数(元データの行数-ラグ次数)
> N  <- var.canada$K     # 変数の数
> p <- lag               # ラグ次数
> df <- Obs - (N*p + 1)
> 
> # 残差の分散共分散行列
> sigma.u <- crossprod(resid(var.canada))/df
> print(sigma.u)
            prod          rw
prod 0.467973610 0.002592639
rw   0.002592639 0.659676363
> 
> # irf()関数でそれぞれをimpulsに設定したときのショック=撹乱項の標準偏差
> shock.prod <- sqrt(sigma.u[1,1])
> shock.rw <- sqrt(sigma.u[2,2])
> 
> print(shock.prod)  # prodの撹乱項1標準偏差分の値
[1] 0.684086
> 


ここまでで、ショックの値は計算できました。
つまりさっきのインパルス応答関数と合わせていうと、当期の労働生産性の撹乱項に0.684086のショックを加えると、当期の実質賃金には0.003789932、2期目には-0.083499262...の影響があるということが分かったわけです。(実際は先に単位根とか共和分とかを見ないといけませんがここでは分析自体が目的ではないので省略。)


ちなみにこの撹乱項の標準偏差の値、どっかに入ってるのではないかと思って探してみたら、いちいち計算しなくても、以下のようにすれば一発で取り出すことができました。実務上はこれを使えばいいと思います*2。summaryをprintしたときの出力にも、'residual standard error'として載っています*3
念のためですが、さっきのsigma.uの対角要素は分散、こっちのsigmaは標準偏差の推定値です。

> summary(var.canada)$varresult$prod$sigma
[1] 0.684086
> 
> summary(var.canada)$varresult$rw$sigma
[1] 0.8122046


念のため、これがインパルス応答関数のショックの値に使われているという理解であってるのかどうか、


沖本(2010).経済・ファイナンスデータの計量時系列分析,朝倉書店.


に書いてある方法に照らしながら手計算でインパルス応答を出してみて、それが{vars}パッケージのirf()関数の結果と確認するかを見ておきます。ただし後述の通り、使われているショックの値が合ってるかどうかを確認するだけなら、1年後、2年後…の逐次計算をしなくても、当期のresponseだけ見れば分かります。


まず、沖本(2010)のp.87-90あたりに書いてある「三角分解」(ほかの呼び方もあるようですが)の行列Aは、以下のように作れますね。

a <- sigma.u[2,1]/sigma.u[1,1]
A <- matrix(c(1,a,0,1),2,2)


で、1つ目の変数から2つ目の変数*4へのインパルス応答のうち、「当期の値」(今回の例でいうと1期目のrwのレスポンスの値)については、「2つ目の変数の撹乱項のうち、1つ目の変数から影響を受けてる部分」がその値に一致すると思います。
沖本(2010)のp.89の、


f:id:midnightseminar:20180504223144p:plain


この部分に「0.3u_1t」ってのがありますが、要するに2つ目の変数の撹乱項ってのは、2つ目の変数に固有の撹乱項と、1つ目の変数の撹乱項を0.3倍した成分に分かれるということですね。これを分けたのが直行化ってやつです。
で、インパルス応答関数とVARモデルの定義から言って、2つ目の変数の1期目のレスポンスには、1つ目の変数の1期目に与えられたショックを0.3倍(今回の場合でいうとa倍)した値だけが入ることになるので、これだけなら手計算がすぐできます。2期目以降の手計算は面倒ですが。
今回の例でいうと、以下のようになります。

> response.rw.1 <- a * shock.prod
> print(response.rw.1)
[1] 0.003789932
> 


この通り、さっきの「0.003789932」と一致してるので、合ってると思います。


いつも忘れてしまうのですが、非直交化インパルス応答関数であれば、インパルス側の当期の値にショックがあっても、レスポンス側の当期の値は変わりません。しかし直交化インパルス応答関数は、インパルスとレスポンスの攪乱項同士に相関があることを仮定するものなので、当期のインパルス側変数にショックが入ると、当期のレスポンス側変数にもちょっとだけ影響があります。
Rで出力されるグラフの、「1」というのは当期のことで、「10」は第10期、つまり9期先ということですね。

*1:VMA表現についての解説はハミルトン『時系列解析』の10-11章を見るのがいいと思います。

*2:個人的には、撹乱項の標準偏差を推定する上で自由度をいくらにするか自信がなかったので、確認できてよかったですw

*3:eとかrwの推定値の標準誤差だから、撹乱項の標準偏差のことになります。

*4:沖本(2010)のp.90でいう再帰性、つまり変数の順序性があるので、1つ目、2つ目という意識は意外と重要ですね。

Rでの単位根検定はadf.test()関数よりCADFtest()関数がいいのでは?

時系列データをあまり扱わないのでまじめに考えてなかったんですが、Rで単位根検定をする場合、拡張ディッキー=フラー検定(augmented Dickey–Fuller test)を実施してくれるadf.test()という関数があります。
しかしこの関数は、

  • 考慮するラグの次数を指定しなかった場合、サンプルサイズ(時系列データの長さ)を基準にして自動選択している
  • 定数項もトレンド項も含むパターンしかやってくれない


という制限があり、後者についてはたいていの場合含めといたほうがいいらしいので問題ないとして、前者はよくわからない基準であって*1、本来はAICなどに基づいて選択されたラグ次数を用いたモデルで検定したほうがいいと思われます。実際ラグ次数によって結果がけっこう変わることもあるので、慎重に選んだほうがいいかと思います。


ということで、以下の記事で説明されているように、CADFtestパッケージのCADFtest()関数をつかっとけば簡単でいいんじゃないでしょうか。


定常過程かどうかのチェック(ADF検定)


上の記事だと色々やってて分かりづらいかもしれないので、パッケージの仕様書を見たほうがいいと思いますが、


Package ‘CADFtest’


これを読むと、共変量付きのADF検定ってのもできるらしいです。てうかそもそも,頭の"C"がCovariateのCで、それ用のパッケージみたいですね。
で、一番単純な使い方としては、

#dに時系列データがベクトルで入ってるとする

CADFtest(d, 
   type="trend",   # トレンド項も定数項もあり
   max.lag.y=10,  # ラグの最大次数を自分で適当に指定
   criterion='AIC'  # ラグ次数はAIC基準で選ぶ
)


でいいんじゃないでしょうか(共変量を考えるときは、dを入れている最初の引数にモデル式を記述するとのこと)。
typeのところを"trend"にすると定数項もトレンド項もあり、"drift"にするとトレンド項なし、"none"にするとどっちもなしになるようです。よほどの理論的理由がない限り、両方入れておくのが保守的らしいです。
単純に結果だけ知りたい場合は、上記をprintして出てくるp-valueが0.05を下回っていれば、5%水準で「単位根あり」の帰無仮説を棄却できることになります。0.05より大きければ、単位根過程の疑いありです。


なお、正確に理解してないのですが、CADFtestでラグ0が選択されることがあり、そういう場合は、ADF検定ではなくDF検定に切り替えたほうがよく、adf.test()でk=0としてやればいいようです。(リンク


詳しい使用例が以下のドキュメントにのってました。
Covariate Augmented Dickey-Fuller Tests with R


間違ってたらごめんなさい。

*1:「このRの自動選択基準はきわめていい加減なので、信じてはいけません」と評している方もいます(リンク

Rで要素番号の指定の仕方をミスった

 考えてみればそりゃそうか、という感じではあるのですが、またいつかミスりそうなのでメモしておきます。
 たとえば以下のような感じで、startとendの値を変えて適切な期間を取りたいとします。

> v <- c(1961, 1962, 1963, 1964, 1965, 1966, 1967, 1968, 1969, 1970)
> start <- 3
> end <- 5
> v[start:end]
[1] 1963 1964 1965


 それで何かの都合から、startとendの値を少しずらしたいことがあったとします。
 たとえば終了年度を1年早くして、1963年から1964年を取りたくなって、end-1みたいなことをするとミスります

> v[start:end-1]
[1] 1962 1963 1964


 このように、意図としては(1963, 1964)という出力が欲しかったのに、(1962, 1963, 1964)になってしまっています。
 なんでこうなるかというと、上の書き方だと、start:endの部分でまず(3, 4, 5)というベクトルが生成され、この各要素から1を引くという処理になってしまって(2, 3, 4)になるからですね。
 ちなみに対処としては、start:c(end-1)にしておけば意図どおりになります

 同様の理屈で、

> v[start+1:end]
[1] 1964 1965 1966 1967 1968


 これは1:endつまり(1, 2, 3, 4, 5)のそれぞれの要素に、start=3を加えるという処理になっています。

> v[start-1:end]
Error in v[start - 1:end] : 
  only 0's may be mixed with negative subscripts


 これはエラーになっていますが、なぜかというと、1:endの部分で(1, 2, 3, 4, 5)という数列が生成され、start=3からそれぞれを引いた数の列になるからです。
 すなわちこの場合、(2, 1, 0, -1, -2)という数列になり、要素番号が適切に指定できなくなります。

Pythonの簡単なコードでメールを自動送信してみる

意外と簡単にできた

 メールを300人ぐらいに発信する必要がありまして、Toに全員入れるわけにはいかないし、BCCで送るのもダサいかなと思って、「1人1人を個別にToに指定して、同じ件名・同じ文面のメールを送る」ってのをPythonでやってみました。*1
 標準モジュールのemailってのとsmtplibってのを使って、50行程度のコードで簡単に送れました。
 1点心残りなのは、後述のとおりFromの欄に日本語の差出人名を表示させるやつが、色々調べたものの結局できませんでした。

用意するもの

 アドレスリストをCSVで用意して、本文はテキストファイルに書いておきました。

f:id:midnightseminar:20180212202431p:plain
f:id:midnightseminar:20180212202409p:plain

コード

 ネットでsmtplibを使ったPythonでのメール送信の解説を探すと、sendmail()というメソッドで送っているものと、send_message()というメソッドで送っているものがあります。sendmail()が基本なのですが、send_message()はそれをより簡単に扱えるようにラップしてくれているような感じらしいです。今回はsend_message()を使いました。


 コードは以下の通りですが、全体としては、

  1. モジュールを読み込む
  2. 差出人アドレスやメールサーバの認証情報などの設定項目をまとめて書いておく
  3. メールサーバに接続する
  4. emailモジュールのMIMETextでテキスト形式のメール本体(MIME文書)をつくる
  5. MIME文書に、差出人、件名、宛先等の情報を入れていく
  6. smtplibのsend_messageでメールを送信する
  7. サーバとの接続を終了する

 という流れになっています。

# モジュールの読み込み
import time
import smtplib
from email.mime.text import MIMEText
from email.header import Header
import pandas as pd

# 基本的な設定たち
srv_smtp = 'XXXXXX.XXXXXX.jp'  # SMTPサーバ
srv_port = 587                 # ポート番号
srv_user = 'XXXXXX'            # サーバのユーザ名(ちなみに私が使ってるやつだとメアドがユーザ名)
srv_pw   = 'XXXXXXXX'          # サーバのパスワード
jp_encoding = 'iso-2022-jp'    # 日本語文字エンコーディングの指定
add_sender = 'XXXX@XXXXXX.jp'  # 差出人(自分)アドレスの設定
add_bcc = 'XXXX@XXXXXX.jp'     # BCCの複製を送るアドレス
add_rcp_path = '/XXXXX/XXXXX/address_test.csv'  #アドレス一覧が入ったCSVの置き場
body_path =    '/XXXXX/XXXXX/body_test.txt'     # 本文を書いたテキストファイルの置き場
mail_subject = 'くさめの件につきまして'         # 共通の件名

# 本文ファイルの読み込み
with open(body_path, 'r', encoding='utf-8') as file:
    mail_body = file.read()


# 宛先リスト読み込み
# 元ファイルには名前も入れてるけどとりあえず使わないことにする
add_rcp_df = pd.read_csv(add_rcp_path, encoding='utf-8')  # csvの読み込みはpandasでしかやったことないので…
add_rcp_list = add_rcp_df['Address'].tolist()


# SMTPサーバへの接続
server = smtplib.SMTP(srv_smtp, srv_port)
server.ehlo()
server.starttls()  # TLSでアクセス
server.ehlo()
server.login(srv_user,srv_pw)  # ログイン認証

# 送信を繰り返す
for add in add_rcp_list:
    try:
        msg = MIMEText(mail_body.encode(jp_encoding), 'plain', jp_encoding,)
        msg['From'] = add_sender
        msg['Subject'] = Header(mail_subject, jp_encoding)
        msg['Bcc'] = add_bcc
        msg['To'] = add
        server.send_message(msg)  # 送信する
        time.sleep(3)  # 3秒まつ
    except:
        # なんかあった時用
        print('An error occured when sending a mail to ' + add)
        

# サーバ接続を終了
server.close()


 MIMETextでMIME文書を作って、件名等の情報を入れた後、特定の情報だけ差し替えるというのが上手く行かなかったので、forループでメールを1通1通送る際に、MIME文書の生成自体をまるごとやり直しています。これが適切なのかよく分かってませんがとりあえずメール送信には成功しました。
 あと、メールソフトに送信済みメールが残らないので、記録用にBCCで自分のアドレス宛にメールを飛ばしています。
 1万件とか送るのであれば、受信側のメールサーバにSPAM判定されないように時間を空けて送る必要があるかと思いますが*2、300件ぐらいならべつに全部即時送信してしまっていいような気はします。上記では一応3秒ずつ空けています。

なんか止まってた

 300件の送信中、2回止まりました。
 たぶん回線が不安な環境だったので、ネット接続が切れたんだと思いますw
 エラーが出たアドレスのところを確認して、あと一応BCCでコピーを飛ばしていたメールも確認して、未送信の人だけのアドレスリストを作ってやり直しました。
 上記のコードでは、何らかのエラーが出た時の対処はまったく記述していないので、簡単なコードでむやみに大量のメール送信をすると何が起きるかわからんという点には注意が必要かと思います。

日本語文字のエンコード

 エンコーディングのところに関して、参考にしたブログ記事などが一様に、日本語のメールで伝統的に使われているという'iso-2022-jp'を指定していたので、上記コードではその通りにしてますが、↓のページに書かれているように、今はべつにUTF-8でも問題ないようです。
 実際、UTF-8でも自分の持っている幾つかのメールボックスに送ってみましたが、ちゃんと見れました(ただ、iPhoneとMacでしか確認してないので見れて当然なのかもしれません)。
 
Pythonで日本語メールを送る方法をいろいろ試した
 
 受信側の環境にも拠るのかもしれないので、私は念のため伝統的なほうを使いましたが、実際どっちのほうが安全なのかはよく知りません。
 
 

差出人表示を日本語でする方法が分からない

 上記コードで、

add_sender = 'XXXX@XXXXXX.jp'

のところを

add_sender = 'K.Yoshida <XXXX@XXXXXX.jp>'

にすると、受信側のメールソフトで差出人名を「K.Yoshida」として表示してくれたりします。


f:id:midnightseminar:20180212202526p:plain:w300


 それは今回もできたんですが、ここに日本語の名前を入れる方法というのが色々難しく、結局ちゃんとはできませんでした。
 下記のようなページで紹介されているように、

  • send_message()ではなくsendmail()で送る
  • アドレス部分はそのままに、日本語の差出人名の部分だけエンコードする。その際単に文字列としてではなくHeaderインスタンスとして生成する

 という方法でできるらしいのですが、自分でやってみたところ、受信側サーバによっては受信拒否、一応送れたサーバでも、差出人名のあとに「@」と受信サーバの情報を表す文字列がくっついた状態で表示されてしまい、要するに不正なメールとして判定されたんだと思います。この辺、正式にできるやり方を調べる必要があります。
 Stackoverflow等をみると海外でもウムラウト付きの文字などを表示させようとして苦労している人がいました。


Python3 日本語でメール送信 - textbook
Pythonでメール送信時に送信者に日本語を使用する : fujishinko 雑記帳


[追記]
下記のとおり、成功しました。
Python3でのメール送信時に日本語の差出人名を使う - StatsBeginner: 初学者の統計学習ノート
[/追記]

 

拡張

 上記のようにとりあえず単純なメールを送れる状態にしておけば、あとは

  • アドレスリストから名前を取得して、本文の一行目に「◯◯様」と可変で入れる。
  • そもそも本文自体を人に合わせて変える。
  • 途中でネット回線が切れたりするのが怖いのでAWS等の仮想マシンから発射する。
  • multipartして、base64した添付ファイルをつける


 など、今後いろいろ工夫できるかと思いました。
 ただ、私のような素人が自前のコードでメール送信をすると、なんか事故が起きそう(宛先と添付ファイルが1個ずつズレるとか)なのでなるべくやりたくはないですね。
 
 

関連リンク

mimeTEXTの説明書
https://docs.python.jp/3.3/library/email.mime.html

smtplibの説明書
https://docs.python.jp/3/library/smtplib.html

ここにemailモジュールとsmtplibモジュールを使ってメールを送る際のコード例が載っています。
https://docs.python.jp/3.3/library/email-examples.html

ここに書かれているように、From欄とかnon-ascii文字を使いたければ、Headerモジュールを使ってHeaderインスタンスとして投入する必要があると書いてあります。
https://docs.python.jp/3.3/library/email.header.html

*1:MacのAutomatorでも、group mailっていうアクションを使うとアドレス帳で指定したグループあてに「1人1人をToに指定した別々のメール」として一斉送信ができるけど、冒頭に'Dear Bob,'みたいなgreetingを入れる必要があり、しかもこれが英語仕様しかないので強制的に最後にカンマが入るという、日本人にとっては中途半端な仕様です。

*2:1万件あれば、docomo.ne.jp等に同時に数百から数千通発射することになる