食べログやらせ問題:やらせ業者への依頼店舗を特定できないか?

ヤバい経済学とか自然言語処理NLP、不自然言語処理系の人たちがギンギンになってしまう話題なので誰かしらやってると思いますが、楽しそうなのでヤラセ店舗を特定できないか遊んでみました。

もう少し解析というか遊びと言うか調べられることがありそうなのでつづきます。
文体の癖から著者をクラスタリングするとか、そういう研究している人いないのかなぁ。

結論

うーん、今のところ確信をもって「発見!」とまでは言えません。
もう少し詳しく見て行かないとダメなのかな。つづく。

↓の方に調べた店舗のレビュー推移のグラフを載せておいたので、「これ変じゃない?」っていうグラフがないか見てみると楽しいです。
店舗リストも載せたので、解析してみると結構遊べそうです。

こういうレビュー点数と件数の推移は変じゃないのかな

グラフを描いて、ボーっと眺めて、「この中から仲間はずれを選びなさい」をやると、ふたつ仲間はずれっぽいのがありました。



女の勘、というわけではないですが、この動きはなんか変だなぁ、と思います。
(脱線しますが、「かわいげのない女だ」とか「女って〜」とかブコメがつくとわりと気にします)
横軸は年月、縦軸は棒グラフがレビュー件数、ラインのグラフが月毎のレビュー平均点です。

二店舗とも、テレビで紹介されたとか、雑誌に載ったとかでこういういきなり2011年10月あたりから大人気店になっちゃって高評価の書き込みが殺到中になったのだと思いますが、レビューには雑誌を見たとかテレビを見たとかさっぱり書いてないのが不思議です。どうしていきなり人気店になったのだろうか。広告を出したとかHotpepperとかの影響もありそうですね。

もう少しこの2つを掘り下げて遊んでみようと思います。

いくつか気になるグラフをピックアップ

これはたぶん本当に人気店。人気店はこういう感じの安定したグラフになってるっぽい。
閑古鳥な店。寂しい感じ。

2011年春頃から人気店化。テレビとかで紹介されるとこういう動きになるのかも。

動機

以前にも食べログのレビューの削除方針について書いたことがあるのですが、
こう見えても根に持つ方なので食べログをその後も愛しています。
食べログ(tabelog)に酷い店をありのままに書くと消されるのを知ってますか? - Money does not hurt your heart

最近のステマやらやらせ関連の報道で、店舗の特定ができていない、というニュースを見たのですが、
「複数の面から見て、矛盾や不自然さがない、異常がないイカサマデータを混入させるのは難しいんじゃないか?」
と考えました。その一方で「まさかヤラセ業者もそんな簡単にわかるようなヤラセ書き込みするほど馬鹿じゃないよねぇ・・・」という思いもありつつ。

もし、ヤラセ業者にそれが出来るのだったら、相当なやり手というか複数分野の専門性に長けたエキスパートの仕事、ということなのかもしれません。ちゃんと考えてるしプロの仕事だなぁ、ということでそれはそれで感心。

もっとも、口コミのデータはノイズだらけのデータだろうし、少しぐらいやらせデータを混ぜた所で影響は顕在化しないのかもしれませんけれど。

食べログは何がしたいんだろう?

そもそも、以前にも書きましたが、食べログは悪い口コミを削除して回るんじゃなくて、悪い口コミがたくさんついた店に改善のコンサルをするとか引導を渡すのが口コミサイトの社会的責任なんじゃないでしょうか。
悪い口コミは削除していい口コミしか残らない変なバイアスがかかっているあげくに、やらせ書き込みまで混ざってたらそれもう口コミじゃないと思う。

食べログがあるばっかりに悪い店がやらせ業者に依頼して行列の出来る店になる一方で、まじめにやってる店は客を奪われてるんだろうし、お客も食べログの口コミを信じて悪い店に来店してまずいもの食べることになるし、食べログしか得をしていないような気がします。

そんなんだったら食べログがない時代みたいに、みんながそれぞれのブログで好き放題書いていた時代のほうが良かったんじゃないでしょうか。

食べログに削除された口コミだけを集めた裏食べログ的なサービスがあると楽しいんじゃないでしょうか。訴訟にはなるんでしょうけれど、覚悟のある人が運営してくれたらいいなぁ。悪いことが見えない==悪いことが存在しない、ではないし。

やらせを言うなら新聞とかテレビのほうがひどくないか?

テレビとか雑誌のほうがヤラセを言うならひどいよね、と思うのですが、ここぞとばかりに新聞やテレビがネット叩きしているのは恥知らずと言うかなんというか。恥を知れと言うか。あるあるとか変態新聞とか忘れたの?

ともあれ、こうやって「第三者が検証できる」ことがネットの良さだと思います。テレビや雑誌や新聞は検証不可能なので、信頼度どうこう言うならばネットのほうがはるかにマシではないかと思っています。
食べログはテレビとか新聞に対して「お前らのほうがやらせやってるだろバカ」ぐらい言ってもいいと思うのですが、殴られっぱなしですねもったいない。

今回のやらせ業者は、ターゲットの店を先に悪い口コミで埋めて評価を下げておいて、瀕死になった所で営業に行く、というマッチポンプやってそうなのがたちが悪いですね。そもそも食べログの評価システムが店に行かなくても書けたりよくわからない方針で削除をしていたりするのも混乱の原因だと思いますが、いずれにしても口コミサイトとしては機能不全かな。
そのうち来店証明書みたいなものを発行するソリューションを販売することになるんでしょうか。

食べログやらせ問題でわかっていること

  • 2011年1月以前から存在していた
  • 月島のもんじゃ屋のうち2件がやらせ業者に依頼
  • その2件は月島もんじゃ振興会協同組合 加盟店 http://www.monja.gr.jp/map.html
  • 食べログに登録されている月島のもんじゃ屋は 90店舗弱
  • 月5件投稿で12万円10件、5件10万円(39社やらせ業者があるそうなので、他のプランがあるはず)

http://sankei.jp.msn.com/affairs/news/120105/crm12010520570027-n1.htm

  • もんじゃ振興会協同組合は、やらせを依頼した店舗の特定には至っていない

→よって、書き込みは消されて”いない”はず。このタイミングで書き込みを削除したりする不審な動きをすると特定される懸念があるので削除していない、と思う。

  • 好意的な書き込みを行う
  • アクセス数を増やす

の2つのプランがある

やらせ業者が「料理の量や質、店の雰囲気」について具体的に「好印象」を書き込む方法のほか、食べログ上の店舗紹介ページへのアクセス数を増やし、注目順を上位に押し上げる方法だ。報酬は月額固定や成果に応じて支払うという

これらのわかっていることから、月島もんじゃ振興会協同組合加盟店の全書き込みを解析し、やらせ書き込みの特定を試みる。

解析にあたっての前提

1 やらせ依頼店舗には好意的な書き込みが残っている
2 やらせ依頼店舗が依頼した月には5件以上の好意的な書き込みがある

どうやれば特定できるか?案

特定のプランは次の通り。
めんどうなので統計とか難しいことは言わず目視で探す。
定量評価とか難しい事言わずに定性的に変な動きしてるデータがグラフにすれば見えるんじゃない?ぐらいの感覚です。

事前準備

1 食べログ登録店舗 && 月島もんじゃ振興会協同組合 の抽出
2 1の店舗の全レビューを抽出

案1:書き込み件数の推移を時系列でグラフを書いてみる

5件/月以上増えている店舗を絞り込む?→依頼したことの裏付け
テレビとかの影響でいきなり話題のお店になったのかもしれないけれど。

案2:評価点数の推移を時系列でグラフに書いてみる ←イマココ

突然上がってないか?
下がった後で急に上がっていないか?→やらせ業者のマッチポンプを想定

案3:書き込み内容の形態素解析→感情分析

不自然に好意的な書き込みはないか?
文章に特徴はないか?

案4:(不審な書き込みを絞れたら)レビューアの書き込み件数と来店日時・場所の解析

同じ日もしくは一週間以内に北海道と沖縄行ったりしてないか?
レビューの信頼性に関わるため使い捨てのアカウントではない、と思う。

案5:投稿された画像のExifの確認

同じ業者なら同じ機種を使ってるかも。
やけにレビューに画像が多いとかも怪しいか。
来店日と差異があったりしないかな。


レビュー件数とレビュー点数をグラフにしてみた

冒頭に書いたように、グラフにして眺めるだけでも、違和感を感じるレビュー推移っていうのはいくつかある。
やっぱり冒頭の店のレビューの変化はおかしいんじゃないかなぁ。













店舗一覧

月島もんじゃ協会加盟店のうち、食べログに店舗情報がある店一覧。ない店があったけど、検索の仕方が悪いだけかも。

竹の子 竹の子 http://r.tabelog.com/tokyo/A1313/A131302/13012772/
はざま支店 http://r.tabelog.com/tokyo/A1313/A131302/13077484/
好美家 好美家 http://r.tabelog.com/tokyo/A1313/A131302/13077485/
つきしま小町 つきしま小町 http://r.tabelog.com/tokyo/A1313/A131302/13007567/
友 友 http://r.tabelog.com/tokyo/A1313/A131302/13029521/
あんず あんず http://r.tabelog.com/tokyo/A1313/A131302/13029516/
五平 五平 http://r.tabelog.com/tokyo/A1313/A131302/13024299/
能登 能登 http://r.tabelog.com/tokyo/A1313/A131302/13049285/
つくしや つくしや http://r.tabelog.com/tokyo/A1313/A131302/13031308/
月島 月島 http://r.tabelog.com/tokyo/A1313/A131302/13093901/
はざま本店 http://r.tabelog.com/tokyo/A1313/A131302/13007582/
たんぽぽ本店 http://r.tabelog.com/tokyo/A1313/A131302/13007566/
おしお本店 http://r.tabelog.com/tokyo/A1313/A131302/13007575/
弘 弘 http://r.tabelog.com/tokyo/A1313/A131302/13096805/
錦2号店 http://r.tabelog.com/tokyo/A1313/A131302/13012776/
近どう2号店 nil
近どう本店 http://r.tabelog.com/tokyo/A1313/A131302/13012771/
あじろ あじろ http://r.tabelog.com/tokyo/A1313/A131302/13029357/
まぐろ家本店 http://r.tabelog.com/tokyo/A1313/A131302/13007576/
しなのや http://r.tabelog.com/tokyo/A1313/A131302/13021322/
ま乃 ま乃 http://r.tabelog.com/tokyo/A1313/A131302/13041704/
錦本店 http://r.tabelog.com/tokyo/A1313/A131302/13012775/
宝島 宝島 http://r.tabelog.com/tokyo/A1313/A131302/13034734/
もん吉西仲店 http://r.tabelog.com/tokyo/A1313/A131302/13053597/
来る実 来る実 http://r.tabelog.com/tokyo/A1313/A131302/13025565/
もん吉本店 http://r.tabelog.com/tokyo/A1313/A131302/13012758/
いろは西仲店 http://r.tabelog.com/tokyo/A1313/A131302/13052710/
バンビ3号店 http://r.tabelog.com/tokyo/A1313/A131302/13116022/
蔵 蔵 http://r.tabelog.com/tokyo/A1313/A131302/13029520/
いろは本店 http://r.tabelog.com/tokyo/A1313/A131302/13012757/
バンビ2号店 http://r.tabelog.com/tokyo/A1313/A131302/13051039/
えびすや えびすや http://r.tabelog.com/tokyo/A1313/A131302/13046542/
一樹 一樹 http://r.tabelog.com/tokyo/A1313/A131302/13029517/
バンビ本店 http://r.tabelog.com/tokyo/A1313/A131302/13012761/
おしお和(なごみ)店 http://r.tabelog.com/tokyo/A1313/A131302/13021098/
みっちゃき みっちゃき http://r.tabelog.com/tokyo/A1313/A131302/13099331/
風月 風月 http://r.tabelog.com/tokyo/A1313/A131302/13012784/
哲ちゃん 哲ちゃん http://r.tabelog.com/tokyo/A1313/A131302/13078207/
おしおNST店 http://r.tabelog.com/tokyo/A1313/A131302/13012765/
麦西仲店 http://r.tabelog.com/tokyo/A1313/A131302/13086075/
麦本店 http://r.tabelog.com/tokyo/A1313/A131302/13007584/
片岡 片岡 http://r.tabelog.com/tokyo/A1313/A131302/13010747/
けい けい http://r.tabelog.com/tokyo/A1313/A131302/13036880/
太郎 太郎 http://r.tabelog.com/tokyo/A1313/A131302/13007571/
かぶき http://r.tabelog.com/tokyo/A1313/A131302/13079987/
おしお居店 http://r.tabelog.com/tokyo/A1313/A131302/13099689/
おしおATARU http://r.tabelog.com/tokyo/A1313/A131302/13096127/
てまり てまり http://r.tabelog.com/tokyo/A1313/A131302/13052226/
丸山 丸山 http://r.tabelog.com/tokyo/A1313/A131302/13012770/
大江戸坂井 大江戸坂井 http://r.tabelog.com/tokyo/A1313/A131302/13051005/
近どう3号店 nil
めんこ めんこ http://r.tabelog.com/tokyo/A1313/A131302/13007579/
つくしや十八番地 http://r.tabelog.com/tokyo/A1313/A131302/13090061/
ひろ仲通店 http://r.tabelog.com/tokyo/A1313/A131302/13132420/
だるま だるま http://r.tabelog.com/tokyo/A1313/A131302/13093901/
ことぶきや ことぶきや http://r.tabelog.com/tokyo/A1313/A131302/13033677/
風月2号店 http://r.tabelog.com/tokyo/A1313/A131302/13130047/