孙女被他人收养，爷爷是否有权取回监护权

张先生：我的邻居李大爷今年63岁,很不幸的是他的儿子因得癌症,不久前去世了。为了给他儿子治病,他们家花掉了所有的积蓄,而且还借了不少外债。他儿媳妇的身体状况也很差,已经根本没有能力抚养自己的女儿了。儿媳妇在李大爷不知情的情况下,将女儿送给了一家家境殷实且无子女的远房亲戚收养,而且已经在民政部门办理了收养手续。李大爷知道后非常生气,认为自己也是监护人,未经其允许就将孙女给了别人,儿媳妇办理的收养手续无效,想将孙女接回家。请问,李大爷是否有权取回监护权？