标签归档:推荐系统

狗熊报告之一:社交网络数据分析与应用

周静、朱雪宁

北京大学光华管理学院营销系、商务统计与经济计量系

根据最近的一份调查数据显示,美国互联网媒体的市值已达10890亿美元,是传统媒体的3倍,类似的在中国,根据艾瑞咨询发布的2014年第二季度网络经济核心数据显示,截止2014年6月30日,中国主要上市互联网公司市值前五的为腾讯(1405.6亿美元)、百度(654.5亿美元)、京东(389.7亿美元)、奇虎360(120.9亿美元)、唯品会(111.9亿美元)。与此同时,以Facebook,Twitter,微博,微信等为代表的社交网络应用正蓬勃发展,开启了互联网时代的社交概念。据全球最大的社会化媒体传播咨询公司We Are Very Social Limited分析指出,目前社交类软件使用的人数已达25亿——占世界总人数约的35%,另据艾瑞咨询发布的2014年第二季度社区交友数据显示,2014年5月,社区交友类服务月度覆盖人数达到4.7亿,在总体网民中渗透率为92.5%;2014年5月社交服务在移动App端月度覆盖人数为1.9亿人,其中微博服务在移动端优势较为明显,月度覆盖人数达到1.1亿人;互联网媒体和社交网络是Web2.0时代两个非常重要的应用,那么一个自然的问题是这两个领域将会如何互动发展?本报告主要从数据分析(非财务、非战略)的角度尝试探讨网络结构会给互联网媒体带来什么样的机遇和挑战。具体而言,我们根据自己的研究经验只关注以下几个方面:新闻、影音和搜索,根据艾瑞咨询发布的2013网络经济核心数据显示,这三部分的收入占到中国市值TOP20互联网企业总市值的32.16%,其重要性不可忽视。我们通过具体的案例并结合理论前沿做探索性的研讨。

一、音乐推荐

继续阅读狗熊报告之一:社交网络数据分析与应用

COS每周精选:统计速递(2)

本期投稿:施涛 冷静 王小宁

编辑:王小宁

推荐系统

推荐系统现已广泛应用于很多领域,其中最典型并具有良好的发展和应用前景的领域就是电子商务领域。我们看看今年的ACM推荐系统大会有那些新的内容呢?

概率简史

在有很多人为弄不明白什么是贝叶斯公式而焦虑的时候,一项新的发现却让人们大吃一惊:人类天生懂概率,这是真的么?英文在这里

概率模型

光棍节马上要到了,你准备好脱光了么?很多人一直在怀疑是什么导致自己依旧单身,我们今天揭晓谜底:只是概率惹的祸。

继续阅读COS每周精选:统计速递(2)

COS沙龙第22期(北京)


2014-10-19 162807

 

2014年10月19日,第22期COS沙龙(北京站)在北京大学光华管理学院如期举行。各位统计爱好者冒着京城茫茫的雾霾前来,统计沙龙为大家呈现了一场主题为“移动音频推荐系统实践二三事”的精彩分享。本次沙龙由人大统院本科生闫晗主持,嘉宾是考拉FM&考拉电子狗推荐系统的负责人陈开江继续阅读COS沙龙第22期(北京)

RHadoop实践系列之三 R实现MapReduce的协同过滤算法

Author:张丹(Conan)
Date: 2013-04-07

Weibo: @Conan_Z
Email: bsspirit@gmail.com
Blog: http://www.fens.me/blog

APPs:
@晒粉丝 http://www.fens.me
@每日中国天气 http://apps.weibo.com/chinaweatherapp

RHadoop实践系列文章

RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者,有更强大的工具处理大数据。1G, 10G, 100G, TB,PB 由于大数据所带来的单机性能问题,可能会一去联复返了。

RHadoop实践是一套系列文章,主要包括”Hadoop环境搭建”,”RHadoop安装与使用”,”R实现MapReduce的算法案 例”,”HBase和rhbase的安装与使用”。对于单独的R语言爱好者,Java爱好者,或者Hadoop爱好者来说,同时具备三种语言知识并不容 易。

由于rmr2的对hadoop操作有一些特殊性,代码实现有一定难度。需要深入学习的同学,请多尝试并思考key/value值的设计。

本文难度为中高级。

继续阅读RHadoop实践系列之三 R实现MapReduce的协同过滤算法

首届全国大学生数据挖掘邀请赛圆满结束

 

2011年5月8日,来自浙江大学、厦门大学、复旦大学、浙江大学、北京大学、东南大学、中山大学、北京航空航天大学大学等多所高校的获奖队伍聚集于中国科学技术大学进行比赛的最终答辩环节,确定了最终的名次和奖项,标志着经过一个多月的群雄逐鹿,首届全国大学生数据挖掘邀请赛终于圆满结束。首届全国大学生数据挖掘邀请赛是由中国科技大学管理学院、中国人民大学统计学院和统计之都发起并主办,由上海花千树信息科技有限公司提供资金赞助和服务器支持。在一个多月的比赛时间中,共有来自大陆、香港及海外多所高校的1115支队伍注册参赛,期间有303支队伍成功提交预测结果,最终有240只队伍全程参与比赛。

赛题背景

以某大型婚恋网站交友数据为依托的推荐系统

队伍信息

总注册队伍1115支,其中本科生队伍794支,研究生队伍321支,分别来自以下一百多所高校及研究所:

安徽大学、安徽理工大学、安徽农业大学、北方工业大学、北方民族大学、北京大学、北京工商大学、北京航空航天大学、北京理工大学、北京林业大学、北京信息科技大学、北京邮电大学、北京语言大学、大连理工大学、大连民族学院、电子科技大学、电子科学技术大学、东北大学、东北师范大学、东华大学、东南大学、多伦多大学、福州大学、复旦大学、广东工业大学、广东省中山大学、广东外语外贸大学、广西大学、广州大学、桂林理工大学、国防科学技术大学、哈尔滨工业大学、哈尔滨工业大学深圳研究生院、杭州电子科技大学、合肥工业大学、河南工业大学、河南科技大学、湖北大学、湖南大学、华东理工大学、华东师范大学、华南理工大学、华南农业大学、华中科技大学、华中农业大学、华中师范大学、暨南大学、江西财经大学、兰州大学、洛阳理工学院、南昌大学、南方医科大学、南京财经大学、南京大学、南京航空航天大学、南京理工大学、南京农业大学、南京医科大学、南开大学、清华大学、人民大学、厦门大学、山东大学、山东科技大学、汕头大学、上海财经大学、上海大学、上海交通大学、上海师范大学、深圳大学、首都经济贸易大学、四川大学、苏州大学、太原理工大学、天津大学、天津工业大学、同济大学、乌普萨拉大学、武汉大学、武汉理工大学、西安财经学院、西安电子科技大学、西安交通大学、西安交通大学、西南财经大学、西南科技大学、香港科技大学、新加坡国立大学、新疆大学、云南财经大学、浙江财经学院、浙江大学、浙江大学城市学院、浙江工业大学、浙江理工大学、浙江师范、浙江师范大学、郑州大学、中国地质大学、中国地质大学(北京)、中国地质大学(武汉)、中国计量学院、中国科学技术大学、中国矿业大学、中国人民大学、中科院合肥研究院、中科院计算所、中科院声学所、中科院研究生院、中南财经政法大学、中南大学、中山大学、中央财经大学、重庆邮电大学、周口师范学院

 

获奖信息

本科生组:

名次 团队 队员 学校 院系
1 FooBar 仝子飞、刘佳硉 浙江大学 计算机科学与技术学院-计算机科学与工程学系
2 OldCubic 彭兵月、 刘宇辰 北京航空航天大学、清华大学 软件学院-软件工程系、经济管理学院-管理科学与工程系
3 LightSpeed 解浚源、陈宇澄 中国科学技术大学 计算机学院-计算机系
4 SiNZeRo 田文涛、洪诗保、胡亚光、叶挺 厦门大学 信息科学与技术学院-计算机科学与技术系
5 FDM 王超、张俊、董家为、王玥 复旦大学 计算机科学技术学院
6 forever 杨洋、陈章麒、姜涛、竺紫威 中国科学技术大学 少年班学院
7 兰州烧饼 蓝润荣 中国科学技术大学 管理学院-统计与金融系
8 zaq1xsw2tktk 唐坤、徐东昊 北京大学 数学科学学院-信息科学系、数学科学学院-科学与工程计算系

 

研究生组:

名次 团队 队员 学校 院系
1 RecSys1 宝腾飞、刘淇、程文华、聂鹏宇 中国科学技术大学 计算机学院
2 ForeverDream 张驰原、 李成 浙江大学 计算机学院-计算机应用技术系
3 数据掘金 徐童、曾广翔、季波、陈永环 中国科学技术大学 计算机学院-计算机系(1、2)、信息学院-自动化系(3、4)
4 totoro 杜龙志 北京大学 信息科学技术学院-计算机软件与理论
5 DataAnts 谢妍、刁瑞、来斯惟 中国科学院 数学与系统科学研究院(1、2)、自动化研究所(3)
6 icebergs 黄凯明、陆建、蒋玖川、章平 东南大学 信息科学与工程学院
7 Crystal 杨飞雕 中山大学 信息科学与技术学院-计算机科学与技术
8 napoloen 黄浩 浙江大学 计算机学院-计算机科学与工程学系

其中,第1名为一等奖(奖金10000¥),第2名为二等奖(奖金5000¥),第3~8名为三等奖(3~5名奖金2000¥,6~8名奖金500¥)。

附:首届全国大学生数据挖掘邀请赛结果排名(前100名)

竞赛相关数据展示

每天注册的队伍数:

上图为3月16日~4月15日每天注册的队伍数(注:竞赛于3月19日全面公开注册,在此之前在对中科大学生提前公布了注册网站以测试系统)。

每日有效提交次数:

上图为3月23日~4月27日每天成功提交的符合规范的预测结果数目,总共提交的次数为11162次。

提交次数频数:

上图为提交次数的频数图,从上图可以看出,大部分队伍提交次数很少。提交次数超过10的队伍有217个,超过50的有70个,超过100的有29个。最终获奖的队伍的提交总次数都很高。

赛后相关博文及帖子

旁门左道:第一届全国大学生数据挖掘邀请赛-数据集分析篇

JiangFeng:第一届数据挖掘邀请赛 – 缘来如此

ruikoeln:数据挖掘邀请赛-一个酱油党的感言

rainywh269:数据挖掘邀请赛 赛后感

cloud_wei:中科大之行及数据挖掘竞赛小总结

Mantous: 第一届全国大学生数据挖掘邀请赛-总结