朝日新聞に載ってないニュースExcludeNewsはじめました




id:medtoolz先生が言っていた、
「新聞の裏側」というサービスがほしい - レジデント初期研修用資料
がずっと頭から離れなくて、誰か作ってくれるだろう・・・と思っていたけど誰も作ってくれないので作ってみました。
ExcludeNews 朝日新聞に載ってないニュース

たとえば「その日朝日新聞が報道しなかった記事」の一覧が読めたなら、朝日新聞それ自体を、ずいぶん違った目線で読めるようになる。その日の紙面を作った記者の人たちが何を考え、どんなゆがみを抱えて、あるいは押しつけられているのかを考察できる。
今のマスメディアは「全てゆがんでいる」ことになっているけれど、記事の数は十分に莫大で、ネットを通じて容易に収拾できる。その日にネットで公開された全ての新聞記事をクロールして、タグ付けを行った上で、そこから朝日なら朝日新聞に載った記事を引き算すると、「その日朝日新聞が報道しなかった記事」を閲覧することができる。タグ付けさえ終了すれば、裏朝日、裏日経、裏毎日、裏赤旗みたいな記事リストが、クリック一つで選択できる。

「新聞の裏側」というサービスがほしい - レジデント初期研修用資料より

medtoolz先生のアイディアのとおりにはできていませんが、1時間に一回ニュースをチェックして、その時点で朝日新聞が載せていないニュースをフィルタして表示しています。
朝日新聞が載せていないニュースだけを眺めてると、いろいろ気づきがあるかもしれません。

「気づき」をいかに設計するか

ここのところ、この「気づき」と言うか、意図せずしてふと入ってくる情報、というのをいかに意識してうまくサービスに取り込めるよう設計するか、に興味を持っています。

一時期のはてブホッテントリがそういう心地よい「気づき」が適度に混ざった奇跡的な情報源だった時があるのですが、昨今は2chのまとめサイトばかりで残念です。
naoyaさんのHBFavもそういう「気づき」を得られる可能性をいかに設計するかという点で同じなのかもしれません。

ExcludeNewsも「気づき」という点だと普段見ているニュースでは見られないニュースを抽出しようとしている点では気づきを目指す目的において共通しているのだとは思いますが、HBFavがお気に入りを通じて視野を拡大するようなイメージであるのに対し、ExcludeNewsでは「見えていなかった」ものに光をあてる面が強いのだと思います。

「気づき」のヒット率だとExcludeNewsみたいなやり方はたぶんヒット率は低いのだろうけれど、大きなホップになっているのではないかと期待しています。しばらくは眺めてみて、「気づき」があるかどうか試してみようと思います。

一週間程眺めていた感じだと、特に政治カテゴリだとマイナーなニュースに偏る傾向はありますが、大手が報道してるのになぜ朝日新聞だけ報道してないんだろう?というのもチラホラ。

まずは裏朝日新聞だけですが、裏読売、裏毎日なども同じようにできそうなので調整中です。

制約など

「その時点」で朝日新聞が載せていないだけなので、「その後」載せる可能性もあります。何日か分まとめて解析したほうがよいかも。
論調が朝日だけ逆だったりすると気づけません。たとえばTPP反対の記事は反対だけでグルーピングされていて、その中に朝日新聞が入っていると表示されません。

技術的なお話

形態素解析及び機械学習によるニュース記事のグルーピング、がまっとうな手段だと思ったので素直に勉強がてらやろうとしていたのですが、Googleニュースがそのまま使えそうだったのでそこから記事を引っ張ってきてフィルタしてるだけです。技術的に難しいことは全然してません。

バックエンドはNode.js+zappasでも使おうかな、と思っていじっていたのですが遅々として進まないのでいつものHeroku+Sinatra(Padrino)+Haml+Sass、DOMはnokogiri、データ保存用にAmazon S3です。はじめてTwitter bootstrapを使いましたが、使いやすいですね。気に入った。ウェブフォントもうまく使えば見栄えよくできそう。