昨天写了Facebook_scraper的文章。
在用这个包之前,尝试了很多的方法,但是不是请求失败就是获取的内容有问题。所以接下来我要把踩过的坑和我自己的问题总结一下,相当于我的个人笔记了。
1、splash
splash请求的时候出现了登录的问题,跟浏览器直接打开网页一样,直接跳转登录界面。进因为没有深究splash的cookie登陆问题这个方法就放弃了。

之后splash的cookie登录方法还可以接着尝试......
2、selenium和playwright
两个自动化测试浏览器访问的问题大同小异,直接地访问出错。
无论是更换代理,更换网络环境,代码写法等等尝试皆是徒劳。所以觉得Facebook是不是对浏览器模拟做了对应的反爬,所以放弃了。
这个自动化测试目前是最大的问题,不知道问题出在哪。现在也是毫无头绪。


博主分享了在使用Facebook_scraper之前尝试多种方法爬取Facebook数据遇到的问题,包括splash的登录难题、selenium和playwright的自动化测试访问障碍、requests的乱码问题以及Cookie处理。尽管发现电脑端请求能获取数据,但仍然存在基础问题待解决。总结中提到,大部分问题是由于基础知识不扎实导致,将针对这些问题进行优化。
2万+

被折叠的 条评论
为什么被折叠?



