--- layout: default ---

<!-- Image to hack wechat -->
<!-- <img src="/img/icon_wechat.png" width="0" height="0"> -->
<!-- <img src="/img/post-bg-recommend-sys-2.jpg" width="0" height="0"> -->

<!-- Post Header -->
<style type="text/css">
    header.intro-header {
        position: relative;
        background-image: url('/img/post-bg-recommend-sys-2.jpg')
    }
    
    {
        % if page.header-mask %
    }
    
    header.intro-header .header-mask {
        width: 100%;
        height: 100%;
        position: absolute;
        background: rgba(0,
        0,
        0,
        {
            {
                page.header-mask
            }
        }
        );
    }
    
    {
        % endif %
    }
    
    body div.content {}
    
    body div.content code.has-jax {
        font: inherit;
        font-size: 100%;
        background: inherit;
        border: inherit;
        color: #000000;
    }
</style>
<!-- MathJax Section -->
<script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script>
<script>
    MathJax.Hub.Config({
        tex2jax: {
            skipTags: ['script', 'noscript', 'style', 'textarea', 'pre']
        }
    });
    MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax(),
            i;
        for (i = 0; i < all.length; i += 1) {
            all[i].SourceElement().parentNode.className += ' has-jax';
        }
    });
</script>
<header class="intro-header">
    <div class="header-mask"></div>
    <div class="container">
        <div class="row">
            <div class="col-lg-8 col-lg-offset-2 col-md-10 col-md-offset-1">
                <div class="post-heading">
                    <div class="tags">
                        
                        <a class="tag" href="/tags/#Technology" title="Technology">Technology</a> 
                        <a class="tag" href="/tags/#Algorithm" title="Algorithm">Algorithm</a> 
                        <a class="tag" href="/tags/#Machine Learning" title="Machine Learning">Machine Learning</a> 
                        <a class="tag" href="/tags/#Recommend System" title="Recommend System">Recommend System</a> 
                    </div>
                    <h1>动用12个Core+64G内存来找电影</h1>
                     
                    <h2 class="subheading"> "推荐系统系列文章之二"</h2>
                    
                    <span class="meta">Posted by Xz Yao on July 3, 2016</span>
                </div>
            </div>
        </div>
    </div>
</header>

<!-- Post Content -->
<article>
    <div class="container">
        <div class="row">

            <!-- Post Container -->
            <div class="
                col-lg-8 col-lg-offset-2
                col-md-10 col-md-offset-1
                post-container">

                <p>这是推荐系统的第二篇文章。</p>

<p>准备下载一些电影明天考完试之后看，那怎么找到我喜欢的电影呢？一个个搜索未免太浪费时间，这种时候就要出动推荐系统了。</p>

<h3 id="背景知识">背景知识</h3>

<p>在协同过滤算法中，我们通过用户之间共同的偏好来进行推荐。其背后的假设是，如果用户A和B在某件事上有共同点，那么用户A和B在另一件事也很有可能有着近似的观点或偏好。这个概率至少是比随机选择的一个用户要高的。</p>

<p><img src="https://ws1.sinaimg.cn/large/651b652ejw1f5j4kqyxjkg20du0dcww6.gif" alt="collaborative filter" /></p>

<p>上图的例子展示了一个典型的推荐系统的工作流程。根据喜好相近的用户的评分状况对图中问号区域的得分进行了估计。</p>

<h4 id="矩阵分解">矩阵分解</h4>

<p>通常来说，一个用户-物品的矩阵都是非常稀疏的，原因在于用户有很多，物品有很多，但与此同时用户看过的物品、有过评分记录的物品却是非常有限的。</p>

<h3 id="处理能力">处理能力</h3>

<p>我搭建了一个Spark的集群来进行这个操作。在这个Spark的集群里，每台机器有24个CPU和12G的内存，我没有在家用PC上运行这个程序，不过我估计也不会用太久。</p>

<h3 id="数据来源">数据来源</h3>

<p>有了处理能力之后还要考虑到电影的数据。这里使用了Movielens的数据。</p>

<p>http://grouplens.org/datasets/movielens/</p>

<p>在我的实例中，我使用了complete的数据集，大约有150MB的大小。测试使用的话也可以使用small的数据集，会小很多。</p>

<h3 id="数据格式">数据格式</h3>

<p>MovieLens中的数据集中，用户评分保存在了ratings.csv中，每一行的格式都是：</p>

<div class="highlighter-rouge"><pre class="highlight"><code>userId,movieId,rating,timestamp
</code></pre>
</div>

<p>而电影的数据则保存在movie.csv中，每一行的格式都是：</p>

<div class="highlighter-rouge"><pre class="highlight"><code>movieId,title,genres
</code></pre>
</div>

<p>在其中genres指的是电影的风格，其格式如下：</p>

<div class="highlighter-rouge"><pre class="highlight"><code>Genre1|Genre2|Genre3
</code></pre>
</div>

<h3 id="推荐引擎的实现">推荐引擎的实现</h3>

<p>首先我们读入这些数据：</p>

<div class="highlighter-rouge"><pre class="highlight"><code>complete_ratings_raw_data = sc.textFile(small_ratings_file)
complete_ratings_raw_data_header = small_ratings_raw_data.take(1)[0]
</code></pre>
</div>

<p>将其添加到一个Spark Resilient Distributed Dataset中</p>

<div class="highlighter-rouge"><pre class="highlight"><code>complete_ratings_data = complete_ratings_raw_data.filter(lambda line: line!=complete_ratings_raw_data_header).map(lambda line: line.split(",")).map(lambda tokens: (tokens[0],tokens[1],tokens[2])).cache()
</code></pre>
</div>



                <hr> 
                <!-- 多说 Share start -->
                </style>
                <div class="ds-share" style="text-align: right" data-thread-key="/2016/07/03/recommend-system2" data-title="动用12个Core+64G内存来找电影" data-url="http://stevefermi.github.io/2016/07/03/recommend-system2/" data-images="http://stevefermi.github.io/img/post-bg-recommend-sys-2.jpg"
                    data-content="这是推荐系统的第二篇文章。

准备下载一些电影明天考完试之后看，那怎么找到我喜欢的电影呢？一个个搜索未免太浪费时间，这种时候就要出动推荐系统了。

背景知... | TechBuilds | Xz's Blog ">
                    <div class="ds-share-inline">
                        <ul class="ds-share-icons-16">
                            <li data-toggle="ds-share-icons-more"><a class="ds-more" href="#">分享到：</a></li>
                            <li><a class="ds-wechat flat" href="javascript:void(0);" data-service="wechat">微信</a></li>
                            <li><a class="ds-weibo flat" href="javascript:void(0);" data-service="weibo">微博</a></li>
                            <li><a class="ds-douban flat" href="javascript:void(0);" data-service="douban">豆瓣</a></li>
                        </ul>
                        <div class="ds-share-icons-more">
                        </div>
                    </div>
                    <hr>
                </div>
                <!-- 多说 Share end-->
                


                <ul class="pager">
                    
                    <li class="previous">
                        <a href="/2016/07/01/interesting-github/" data-toggle="tooltip" data-placement="top" title="Github上的有趣事实">
                        Previous<br>
                        <span>Github上的有趣事实</span>
                        </a>
                    </li>
                     
                    <li class="next">
                        <a href="/2016/07/12/React-Native-1/" data-toggle="tooltip" data-placement="top" title="一个技术文章阅读器">
                        Next<br>
                        <span>一个技术文章阅读器</span>
                        </a>
                    </li>
                    
                </ul>


                
                <!-- 多说评论框 start -->
                <div class="comment">
                    <div class="ds-thread" data-thread-key="/2016/07/03/recommend-system2" data-title="动用12个Core+64G内存来找电影" data-url="http://stevefermi.github.io/2016/07/03/recommend-system2/">
                    </div>
                </div>
                <!-- 多说评论框 end -->
                 

            </div>

            <!-- Side Catalog Container -->
            
            <div class="
                col-lg-2 col-lg-offset-0
                visible-lg-block
                sidebar-container
                catalog-container">
                <div class="side-catalog">
                    <hr class="hidden-sm hidden-xs">
                    <h5>
                        <a class="catalog-toggle" href="#">CATALOG</a>
                    </h5>
                    <ul class="catalog-body"></ul>
                </div>
            </div>
            

            <!-- Sidebar Container -->
            <div class="
                col-lg-8 col-lg-offset-2
                col-md-10 col-md-offset-1
                sidebar-container">

                <!-- Featured Tags -->
                
                <section>
                    <hr class="hidden-sm hidden-xs">
                    <h5><a href="/tags/">FEATURED TAGS</a></h5>
                    <div class="tags">
                         
                        <a href="/tags/#Technology" title="Technology" rel="15">
                                    Technology
                                </a>   
                        <a href="/tags/#Algorithm" title="Algorithm" rel="5">
                                    Algorithm
                                </a>   
                        <a href="/tags/#Machine Learning" title="Machine Learning" rel="4">
                                    Machine Learning
                                </a>     
                        <a href="/tags/#Anything" title="Anything" rel="3">
                                    Anything
                                </a>   
                        <a href="/tags/#Life" title="Life" rel="2">
                                    Life
                                </a>     
                        <a href="/tags/#Visualize" title="Visualize" rel="2">
                                    Visualize
                                </a>   
                        <a href="/tags/#Recommend System" title="Recommend System" rel="2">
                                    Recommend System
                                </a>     
                        <a href="/tags/#Engineering" title="Engineering" rel="8">
                                    Engineering
                                </a>       
                        <a href="/tags/#Others" title="Others" rel="2">
                                    Others
                                </a>  
                    </div>
                </section>
                

                <!-- Friends Blog -->
                
                <hr>
                <h5>FRIENDS</h5>
                <ul class="list-inline">
                    
                    <li><a href="https://szuinog.github.io/">INOG</a></li>
                    
                    <li><a href="http://blog.csdn.net/new_aiden">Aiden的博客</a></li>
                    
                    <li><a href="http://blog.jerryliao.cn">廖荣杰的博客</a></li>
                    
                    <li><a href="http://blog.askfermi.me/newsfeed.html">TBD News</a></li>
                    
                    <li><a href="https://zhitantech.github.io/">只谈科技</a></li>
                    
                    <li><a href="http://bbs.ifevent.com/">INOG BBS</a></li>
                    
                </ul>
                
            </div>
        </div>
    </div>
</article>



<!-- 多说公共JS代码 start (一个网页只需插入一次) -->
<script type="text/javascript">
    // dynamic User by Hux
    var _user = 'techbuilds';
    // duoshuo comment query.
    var duoshuoQuery = {
        short_name: _user
    };
    (function() {
        var ds = document.createElement('script');
        ds.type = 'text/javascript';
        ds.async = true;
        ds.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') + '//static.duoshuo.com/embed.js';
        ds.charset = 'UTF-8';
        (document.getElementsByTagName('head')[0] ||
            document.getElementsByTagName('body')[0]).appendChild(ds);
    })();
</script>
<!-- 多说公共JS代码 end -->
  
<!-- async load function -->
<script>
    function async(u, c) {
        var d = document,
            t = 'script',
            o = d.createElement(t),
            s = d.getElementsByTagName(t)[0];
        o.src = u;
        if (c) {
            o.addEventListener('load', function(e) {
                c(null, e);
            }, false);
        }
        s.parentNode.insertBefore(o, s);
    }
</script>
<!-- anchor-js, Doc:http://bryanbraun.github.io/anchorjs/ -->
<script>
    async("http://cdn.bootcss.com/anchor-js/1.1.1/anchor.min.js", function() {
        anchors.options = {
            visible: 'always',
            placement: 'right',
            icon: '#'
        };
        anchors.add().remove('.intro-header h1').remove('.subheading').remove('.sidebar-container h5');
    })
</script>
<style>
    /* place left on bigger screen */
    
    @media all and (min-width: 800px) {
        .anchorjs-link {
            position: absolute;
            left: -0.75em;
            font-size: 1.1em;
            margin-top: -0.1em;
        }
    }
</style>