面试中最常被问到的竟然是...通过Python爬取面经并分词统计

俗话说：“知己知彼，百战不殆”，在准备面试的过程中，大家基本都会在网上搜集前辈们的面经，借此来了解各个公司在面试过程中常常提问的问题，这样就能够针对性的做出准备

那你想不想知道，在某个领域，最常被提问到的知识点是什么呢？使用Python写一个脚本，马上就能知道

1.爬取面经

以牛客网为例

首先打开面经汇总页面

找到自己感兴趣的领域或者公司，这里我选择了golang

点开之后发现面经内容相关的部分是通过Ajax加载的，如果直接爬取页面是得不到这些内容的

读取Ajax可以使用Python的selenium库，通过WebDriverWait方法可以等待Ajax加载之后再读取内容

具体实现如下:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome(executable_path='C:/user/selenium/chromedriver.exe')  # 自己的chromedriver位置
driver.get('https://www.nowcoder.com/discuss/experience?tagId=2656')  # 对应的页面url

# 等待ajax内容加载
wait = WebDriverWait(driver, 10)
# 一直等到 class='js-nc-wrap-link'(对应页面的ajax部分)加载出来
wait.until(
    EC.presence_of_element_located((By.CLASS_NAME, 'js-nc-wrap-link'))
)

• 注意，由于selenium要调用浏览器，所以首先要下载对应浏览器的驱动，这部分在selenium官方文档中有详细说明

等Ajax加载完毕，就可以获得每一条面经对应的链接了，不过每次打开页面，默认只会显示20几条内容，需要向下刷新页面才能继续加载，所以为了一次性能所爬