利用Hadoop实现求共同好友的示例详解

利用Hadoop实现求共同好友需要以下几个步骤：

1. 划分好友关系
2. 拆分好友关系，生成单向二元组
3. 合并具有相同好友的二元组
4. 在合并结果中找到共同好友

下面的示例中，我们假设有三个人A、B、C，他们之间的好友关系如下所示：

A的好友：B、C、D

B的好友：A、C、E

C的好友：A、B、D、E

使用Hadoop来实现求A和B的共同好友和A和C的共同好友。

划分好友关系

在Hadoop中，我们需要将好友关系的数据转换为key-value对的形式输入到MapReduce中进行处理。划分好友关系的Map过程如下：

class Map:
    def map(self, _, line, output):
        # line格式: A:B,C,D,E
        fields = line.split(':')
        user = fields[0]
        friends = fields[1].split(',')
        for friend in friends:
            output.write(friend, user)

上述代码表示，将每个人的好友都作为key，以其本身作为value输出。输出格式为(key, value)。

拆分好友关系，生成单向二元组

在Map过程中，我们已经将好友的关系划分为了单项关系，即好友关系中A是B的好友，那么在output中就会有一条记录(key=B, value=A)。在这一步中，我们需要将这些单向关系转换成双向关系后输出。这一过程可以将数据封装成一个Reducer，实现如下：

class Reduce:
    def reduce(self, key, values, output):
        friends = set()
        for value in values:
            friends.add(values)
        friends = sorted(friends)
        for i in range(len(friends)):
            for j in range(i + 1, len(friends)):
                output.write(friends[i] + ',' + friends[j], key)

上述代码中，我们对每个人的好友列表进行了拆分，将其中的任意两个好友作为key，同时在对应的value中输出该人的名称。这样就实现了由单向关系转化为双向关系的效果。

合并具有相同好友的二元组

在上一步骤中，我们已经获得了所有好友之间的双向关系，我们需要将具有相同好友的所有关系合并起来。这一过程同样可以封装成一个Reducer，实现如下：

class Reduce:
    def reduce(self, key, values, output):
        friends = set()
        for value in values:
            friends.add(value)
        friends = sorted(friends)
        output.write(key, ','.join(friends))

上述代码中，我们将由前两步生成的(key, value)数据输入到Reducer中，对于每个key，将所有value中包含的好友名称进行合并，并在输出的value值中输出。

在合并结果中找到共同好友

在上一步骤中，我们已经将所有的好友关系合并，生成了一个新的关系列表。这个过程包含了所有好友之间的关系信息，我们可以轻松地找到A和B以及A和C共同的好友。同样的，我们可以封装一个Reducer来实现这个功能，实现如下：

class Reduce:
    def reduce(self, key, values, output):
        friends = set()
        for value in values:
            for friend in value.split(','):
                friends.add(friend)
        friends = sorted(friends)
        output.write(key, ','.join(friends))

上述代码中，我们对每个关系进行了合并，对于每个key，我们将其中包含的所有value中的好友名称都加入friends中。这样我们就能够得到A和B以及A和C的共同好友。

以上就是利用Hadoop实现求共同好友的攻略，这里简单介绍了其中的四个步骤，并给出了两个示例。这个过程比较繁琐，但是可以通过代码封装来简化。