Ржевский Дмитрий Rzhevskiy Dmitry

hadoop livejournal

Недавно я установил дома распределённую и масштабируемую базу даных hadoop и в качестве эксперимента я написал задачу для анализа livejournal.com

Ходя по ссылкам я находил сайты с поддоменами livejournal.com

всего обнаружилось 796 тыс аккаунтов. (вообще их должно быть больше). Также посчитал сколько у кого находится в друзьях(ссылки из профилей).

в скаченном множестве такая статистика:

больше всего ссылок у 

http://cheaptrip.livejournal.com   -  на него 9929 ссылок это сообщество.

среди обычных пользователей лидирует http://drugoi.livejournal.com/ на него 8967 ссылок

вот тридцатка лидеров:

http://news.livejournal.com    19838
http://users.livejournal.com    15645
http://paidmembers.livejournal.com    10829
http://cheaptrip.livejournal.com    9929
http://drugoi.livejournal.com    8967
http://advertka.livejournal.com    8913
http://shtuki.livejournal.com    7208
http://tema.livejournal.com    6993
http://navalny.livejournal.com    6753
http://sergeydolya.livejournal.com    6678
http://ruguru.livejournal.com    6088
http://dolboeb.livejournal.com    5173
http://shpilenok.livejournal.com    4940
http://zyalt.livejournal.com    4891
http://belonika.livejournal.com    4600
http://dewarist.livejournal.com    4501
http://fotoforge.livejournal.com    4468
http://kosmetichka.livejournal.com    4134
http://demidov.livejournal.com    4132
http://rabota.livejournal.com    4092
http://borisakunin.livejournal.com    4083
http://zhgun.livejournal.com    3765
http://malyshi.livejournal.com    3694
http://miumau.livejournal.com    3484
http://paparazzi.livejournal.com    3456
http://darom.livejournal.com    3370
http://tanyant.livejournal.com    3259
http://aforism.livejournal.com    3251
http://kitya.livejournal.com    3087
http://fritzmorgen.livejournal.com    3024
http://olegtinkov.livejournal.com    3014

теперь буду ставить hbase поверх hadoop и оптимизировать алгоритм.

Posted at 01:52AM янв 08, 2012 by Дима in Java  |  Комментарии[0]