python爬取酒店人脸信息

### 使用Python编写的爬虫程序抓取酒店网站上的人脸图像数据 #### 准备工作 为了完成此任务，需要先安装一系列必要的库。主要使用的编程语言为Python[^1]。对于发送HTTP请求并获取网页内容的操作，可以利用`requests`库；而解析HTML页面以及提取其中的图片链接，则可以通过`BeautifulSoup`来达成目的。如果遇到的是动态加载的内容，可能还需要借助像`Selenium`这样的工具来模拟浏览器的行为。 ```bash pip install requests beautifulsoup4 selenium opencv-python face_recognition pandas ``` #### 编写基本爬虫脚本 下面是一个简单的例子，展示了如何构建一个基础版本的爬虫以从指定的目标站点中抽取图片链接： ```python import os from urllib.parse import urljoin import requests from bs4 import BeautifulSoup def fetch_image_urls(base_url, page_limit=5): image_links = [] for i in range(1, page_limit + 1): response = requests.get(f"{base_url}?page={i}") soup = BeautifulSoup(response.text, 'html.parser') images = soup.find_all('img') for img in images: src = img.get('src') if not src.startswith('http'): src = urljoin(base_url, src) image_links.append(src) return list(set(image_links)) # Remove duplicates by converting to set then back to list. ``` 这段代码会遍历给定的基础URL下的多个分页，并从中找到所有的`<img>`标签，进而收集它们的源地址(`src`)属性作为图片的真实路径。注意这里做了相对路径转换成绝对路径的工作，确保最终得到完整的文件位置。 #### 图片下载与保存 有了上述函数返回的一系列图片链接之后，下一步就是把这些资源实际地拉下来存入本地磁盘里去了。这一步同样依赖于`requests`来进行网络传输操作。 ```python def download_images(links, save_dir='./images/'): try: os.makedirs(save_dir, exist_ok=True) except Exception as e: print(e) for idx, link in enumerate(links, start=1): filename = f'{save_dir}{idx}.jpg' with open(filename, 'wb') as file_handle: content = requests.get(link).content file_handle.write(content) ``` #### 集成人脸识别功能 一旦拥有了足够的原始素材——即已经成功下载下来的那些照片们，就可以着手考虑加入人脸识别的部分了。这里推荐采用`face_recognition`这个基于深度学习框架开发出来的第三方包来做这项工作。它能够帮助快速定位每张照片里面是否存在人脸特征点，并据此做出进一步判断或处理动作。 ```python import cv2 import face_recognition for root, dirs, files in os.walk('./images/'): for name in files: filepath = os.path.join(root, name) image = face_recognition.load_image_file(filepath) locations = face_recognition.face_locations(image) if len(locations) > 0: top, right, bottom, left = locations[0] cropped_face = image[top:bottom, left:right] output_path = './faces/' + name cv2.imwrite(output_path, cv2.cvtColor(cropped_face, cv2.COLOR_RGB2BGR)) ``` 以上代码片段实现了对之前所获得的所有图片执行一次扫描过程，寻找其中含有的任何一张面孔的位置坐标信息。当确实发现了某些符合条件的对象时，便会裁剪出对应的区域部分单独另存一份副本至新的文件夹内供后续研究之用。