【深度和广度优先搜索】:如何找出社交网络中的三度好友关系?

上一节我们讲了图的表示方法,讲到如何用有向图、无向图来表示一个社交网络。在社交网络中,有一个六度分割理论,具体是说,你与世界上的另一个人间隔的关系不会超过六度,也就是说平均只需要六步就可以联系到任何两个互不相识的人。

一个用户的一度连接用户很好理解,就是他的好友,二度连接用户就是他好友的好友,三度连接用户就是他好友的好友的好友。在社交网络中,我们往往通过用户之间的连接关系,来实现推荐“可能认识的人”这么一个功能。今天的开篇问题就是,给你一个用户,如何找出这个用户的所有三度(其中包含一度、二度和三度)好友关系

这就要用到今天要讲的深度优先和广度优先搜索算法。


什么是“搜索”算法?

我们知道,算法是作用于具体数据结构之上的,深度优先搜索算法和广度优先搜索算法都是基于“图”这种数据结构的。这是因为,图这种数据结构的表达能力很强,大部分涉及搜索的场景都可以抽象成“图”

图上的搜索算法,最直接的理解就是,在图中找出从一个顶点出发,到另一个顶点的路径。具体方法有很多,比如今天要讲的两种最简单、最“暴力”的深度优先、广度优先搜索,还有 A*、IDA* 等启发式搜索算法。

我们上一节讲过,图有两种主要存储方法,邻接表和邻接矩阵。今天我会用邻接表来存储图。

我这里先给出图的代码实现。需要说明一下,深度优先搜索算法和广度优先搜索算法,既可以用在无向图,也可以用在有向图上。在今天的讲解中,我都针对无向图来讲解。

using namespace std;

//无向图
class Graph{
public:
    Graph(int v){
        this->v = v;
        adj = new vector<int>[v];
    }

    ~Graph(){
        delete adj;
        adj = NULL;
    }

    //无向图一条边存两次
    void addEdge(int s, int t){
        adj[s].push_back(t);
        adj[t].push_back(s);
    }

private:
    int v; //顶点的个数
    vector<int> *adj;
};

广度优先搜索(BFS)

广度优先搜索(Breadth-First-Search),我们平常都把简称为 BFS。直观地讲,它其实就是一种“地毯式”层层推进的搜索策略,即先查找离起始顶点最近的,然后是次近的,依次往外搜索。理解起来并不难,所以我画了一张示意图,你可以看下。

【深度和广度优先搜索】:如何找出社交网络中的三度好友关系?

尽管广度优先搜索的原理挺简单,但代码实现还是稍微有点复杂度。所以,我们重点讲一下它的代码实现。

这里面,bfs() 函数就是基于之前定义的,图的广度优先搜索的代码实现。其中 s 表示起始顶点,t 表示终止顶点。我们搜索一条从 s 到 t 的路径。实际上,这样求得的路径就是从 s 到 t 的最短路径。

//无向图
class Graph{
public:
    Graph(int v){
        this->v = v;
        adj = new vector<int>[v];
    }

    ~Graph(){
        delete adj;
        adj = NULL;
    }

    //无向图一条边存两次
    void addEdge(int s, int t){
        adj[s].push_back(t);
        adj[t].push_back(s);
    }

    void bfs(int s, int t){
        if(s==t) return;

        //visited用来记录已经被访问的顶点,true表示被访问过
        vector<bool> visited(v,false);
        visited[s] = true;
        
        //myqueue用来存储已经被访问,但是相邻的顶点还没被访问的顶点
        queue<int> myqueue;
        myqueue.push(s);

        //prev用来记录搜索路径这个路径是反向存储的。prev[w] 存储的是,顶点 w 是从哪个前驱顶点遍历过来的。
        //比如,我们通过顶点 2 的邻接表访问到顶点 3,那 prev[3] 就等于 2。为了正向打印出路径,我们需要递归地来打印
        vector<int> prev(v,-1);

        while( !myqueue.empty() ){
            int w = myqueue.front();
            myqueue.pop();

            for(int i=0; i<adj[w].size(); ++i){
                int q = adj[w].at(i);
                if(!visited[q]){
                    prev[q] = w;
                    if(q==t){
                        print(prev, s, t);
                        return;
                    }

                    visited[q] = true;
                    myqueue.push(q);
                }
            }
        }
    }

private:
    int v; //顶点的个数
    vector<int> *adj;

    //打印s->t的路径
    void print(const vector<int> &prev, int s, int t){
        if(prev[t]!=-1 && t!=s){
            print(prev, s, prev[t]);
        }

        cout << t << " ";
    }
};

这段代码不是很好理解,里面有三个重要的辅助变量 visited、queue、prev。只要理解这三个变量,读懂这段代码估计就没什么问题了。

visited是用来记录已经被访问的顶点,用来避免顶点被重复访问。如果顶点 q 被访问,那相应的 visited[q] 会被设置为 true。

myqueue是一个队列,用来存储已经被访问、但相连的顶点还没有被访问的顶点。因为广度优先搜索是逐层访问的,也就是说,我们只有把第 k 层的顶点都访问完成之后,才能访问第 k+1 层的顶点。当我们访问到第 k 层的顶点的时候,我们需要把第 k 层的顶点记录下来,稍后才能通过第 k 层的顶点来找第 k+1 层的顶点。所以,我们用这个队列来实现记录的功能。

prev用来记录搜索路径。当我们从顶点 s 开始,广度优先搜索到顶点 t 后,prev 数组中存储的就是搜索的路径。不过,这个路径是反向存储的。prev[w] 存储的是,顶点 w 是从哪个前驱顶点遍历过来的。比如,我们通过顶点 2 的邻接表访问到顶点 3,那 prev[3] 就等于 2。为了正向打印出路径,我们需要递归地来打印,你可以看下 print() 函数的实现方式。

为了方便你理解,我画了一个广度优先搜索的分解图,你可以结合着代码以及我的讲解一块儿看。

【深度和广度优先搜索】:如何找出社交网络中的三度好友关系?

掌握了广优先搜索算法的原理,我们来看下,广度优先搜索的时间、空间复杂度是多少呢?

最坏情况下,终止顶点 t 离起始顶点 s 很远,需要遍历完整个图才能找到。这个时候,每个顶点都要进出一遍队列,每个边也都会被访问一次,所以,广度优先搜索的时间复杂度是 O(V+E),其中,V 表示顶点的个数,E 表示边的个数。当然,对于一个连通图来说,也就是说一个图中的所有顶点都是连通的,E 肯定要大于等于 V-1,所以,广度优先搜索的时间复杂度也可以简写为O(E)。

最坏情况下,终止顶点 t 离起始顶点 s 很远,需要遍历完整个图才能找到。这个时候,每个顶点都要进出一遍队列,每个边也都会被访问一次,所以,广度优先搜索的时间复杂度是 O(V+E),其中,V 表示顶点的个数,E 表示边的个数。当然,对于一个连通图来说,也就是说一个图中的所有顶点都是连通的,E 肯定要大于等于 V-1,所以,广度优先搜索的时间复杂度也可以简写为
O(E)。

广度优先搜索的空间消耗主要在几个辅助变量 visited 数组、queue 队列、prev 数组上。这三个存储空间的大小都不会超过顶点的个数,所以空间复杂度是 O(V)


深度优先搜索(DFS)

深度优先搜索(Depth-First-Search),简称 DFS。最直观的例子就是“走迷宫”。

假设你站在迷宫的某个岔路口,然后想找到出口。你随意选择一个岔路口来走,走着走着发现走不通的时候,你就回退到上一个岔路口,重新选择一条路继续走,直到最终找到出口。这种走法就是一种深度优先搜索策略。

走迷宫的例子很容易能看懂,我们现在再来看下,如何在图中应用深度优先搜索,来找某个顶点到另一个顶点的路径。

你可以看我画的这幅图。搜索的起始顶点是 s,终止顶点是 t,我们希望在图中寻找一条从顶点s 到顶点 t 的路径。如果映射到迷宫那个例子,s 就是你起始所在的位置,t 就是出口。

我用深度递归算法,把整个搜索的路径标记出来了。这里面实线箭头表示遍历,虚线箭头表示回退。从图中我们可以看出,深度优先搜索找出来的路径,并不是顶点 s 到顶点 t 的最短路径

【深度和广度优先搜索】:如何找出社交网络中的三度好友关系?

实际上,深度优先搜索用的是一种比较著名的算法思想,回溯思想。这种思想解决问题的过程,非常适合用递归来实现。回溯思想我们后面会有专门的一节来讲,我们现在还回到深度优先搜索算法上。

我把上面的过程用递归来翻译出来,就是下面这个样子。我们发现,深度优先搜索代码实现也用到了 prev、visited 变量以及 print() 函数,它们跟广度优先搜索代码实现里的作用是一样的。不过,深度优先搜索代码实现里,有个比较特殊的变量 found,它的作用是,当我们已经找到终止顶点 t 之后,我们就不再递归地继续查找了。

我把上面的过程用递归来翻译出来,就是下面这个样子。我们发现,深度优先搜索代码实现也用到了 prev、visited 变量以及 print() 函数,它们跟广度优先搜索代码实现里的作用是一样的。不过,深度优先搜索代码实现里,有个比较特殊的变量 found,它的作用是,当我们已经找到终止顶点 t 之后,我们就不再递归地继续查找了

bool found = false;
void dfs(int s, int t) {
	found = false;

	//visited用来记录已经被访问的顶点,true表示被访问过
	vector<bool> visited(v, false);

	//prev用来记录搜索路径这个路径是反向存储的。prev[w] 存储的是,顶点 w 是从哪个前驱顶点遍历过来的。
	//比如,我们通过顶点 2 的邻接表访问到顶点 3,那 prev[3] 就等于 2。为了正向打印出路径,我们需要递归地来打印
	vector<int> prev(v, -1);

	recurDfs(s, t, visited, prev);
	print(prev, s, t);

}

void recurDfs(int w, int t, vector<bool> &visited, vector<int> &prev) {
	if (found == true)  return;

	visited[w] = true;
	if (w == t) {
		found = true;
		return;
	}

	for (int i = 0; i<adj[w].size(); ++i) {
		int q = adj[w].at(i);
		if (!visited[q]) {
			prev[q] = w;
			recurDfs(q, t, visited, prev);
		}
	}
}

理解了深度优先搜索算法之后,我们来看,深度优先搜索的时、空间间复杂度是多少呢?

从我前面画的图可以看出,每条边最多会被访问两次,一次是遍历,一次是回退。所以,图上的深度优先搜索算法的时间复杂度是 O(E),E 表示边的个数

深度优先搜索算法的消耗内存主要是 visited、prev 数组和递归调用栈。visited、prev 数组的大小跟顶点的个数 V 成正比,递归调用栈的最大深度不会超过顶点的个数,所以总的空间复杂度就是 O(V)


解答开篇

了解了深度优先搜索和广度优先搜索的原理之后,开篇的问题是不是变得很简单了呢?我们现在来一起看下,如何找出社交网络中某个用户的三度好友关系

上一节我们讲过,社交网络可以用图来表示。这个问题就非常适合用图的广度优先搜索算法来解决,因为广度优先搜索是层层往外推进的。首先,遍历与起始顶点最近的一层顶点,也就是用户的一度好友,然后再遍历与用户距离的边数为 2 的顶点,也就是二度好友关系,以及与用户距离的边数为 3 的顶点,也就是三度好友关系。

我们只需要稍加改造一下广度优先搜索代码,用一个数组来记录每个顶点与起始顶点的距离,非常容易就可以找出三度好友关系

//找出k度好友关系
void find_k_friend(int s, int k) {
	typedef pair<int, int> pf;

	vector<bool> visited(v, false);
	queue<pf> myqueue;

	int count = 0; //记录好友关系层数
	pf me = make_pair(s, count);
	myqueue.push(me);
	visited[s] = true;

	vector<int> kth_friends; //保存第k度好友

	while (!myqueue.empty()) {
		pf cur = myqueue.front();
		myqueue.pop();
		int next_count = cur.second + 1;

		for (int i = 0; i < adj[cur.first].size(); ++i) {
			int next = adj[cur.first].at(i);			

			if (!visited[next]) {
				if (next_count == k) {
					kth_friends.push_back(next);
					visited[next] = true;
					myqueue.push(make_pair(next, next_count));
				}
				else if (next_count < k) {
					visited[next] = true;
					myqueue.push(make_pair(next, next_count));
				}
				else {
					//当出现超过第k度的好友时结束输出所有第k度好友并直接返回
					show_all_k_friends(kth_friends);
					return;
				}
			}
		}
	}
		
	//如果不添加这个,当第k度好友是最远的好友时就不会有输出了
	if (!kth_friends.empty()) {
		show_all_k_friends(kth_friends);
	}
}

void show_all_k_friends(vector<int> &t_f) {
	for (const auto &a : t_f) {
		cout << a << " ";
	}
	cout << endl;
}

内容小结

广度优先搜索和深度优先搜索是图上的两种最常用、最基本的搜索算法,比起其他高级的搜索算法,比如 A*、IDA* 等,要简单粗暴,没有什么优化,所以,也被叫作暴力搜索算法。所以,这两种搜索算法仅适用于状态空间不大,也就是说图不大的搜索。

广度优先搜索,通俗的理解就是,地毯式层层推进,从起始顶点开始,依次往外遍历。广度优先搜索需要借助队列来实现,遍历得到的路径就是,起始顶点到终止顶点的最短路径。深度优先搜索用的是回溯思想,非常适合用递归实现。换种说法,深度优先搜索是借助栈来实现的。在执行效率方面,深度优先和广度优先搜索的时间复杂度都是 O(E),空间复杂度是 O(V)。


课后思考

1. 我们通过广度优先搜索算法解决了开篇的问题,你可以思考一下,能否用深度优先搜索来解决呢?

对于单向路径,DFS递归时传多一个离初始节点的距离值,访问节点时,递归层数超过3的不再继续递归。这个方法在应用到多连通图的时候有个问题,在深度递归时可能会先往距离远的节点搜索再往距离近的节点搜索,这样出来的搜索结果就是错的。


2. 学习数据结构最难的不是理解和掌握原理,而是能灵活地将各种场景和问题抽象成对应的数据结构和算法。今天的内容中提到,迷宫可以抽象成图,走迷宫可以抽象成搜索算法,你能具体讲讲,如何将迷宫抽象成一个图吗?或者换个说法,如何在计算机中存储一个迷宫?

关于迷宫存储问题。类似于欧拉七桥问题,需要将迷宫抽象成图,每个分叉路口作为顶点,顶点之间连成边,构成一张无向图,可以存储在邻接矩阵或邻接表中。