[python爬虫]使用Python爬取网易新闻

Magicfrogman

于 2017-04-11 15:23:25 发布

阅读量3.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： scrapy

本文链接：https://blog.csdn.net/Magicfrogman/article/details/70053874

本文介绍了如何使用Python进行网络爬虫，详细步骤包括爬取网易新闻的标题和链接，以及将这些数据存储到MySQL数据库中，提供了相应的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分两步：

①爬取网易新闻标题和链接

②存入mysql中

上代码！

# -*- coding: utf-8 -*-
"""
Created on Thu Apr 06 17:04:37 2017

@author: Administrator
"""

# -*- coding: utf-8 -*-
"""
Created on Thu Apr 06 15:00:19 2017

@author: Administrator
"""

import pandas as pd
from mysql import connector
import urllib2
import re
from bs4 import BeautifulSoup
import time
url="http://www.163.com"
html=urllib2.urlopen(url).read()
soup=BeautifulSoup(html)
links=soup.find_all(name="a",attrs={"href":re.compile("http://news")})
z=[]
for i in links:
    z.append((i.get("href"),
              i.get_text(),
             time.strftime("%Y-%m-%d %X", time.localtime())))
df=pd.DataFrame(z)
df.columns=["news_url","news_title","record_time"] #df列名要和mysql中的字段名一致
"""**************************分割线以下为mysql操作*********************************************"""
"""
CREATE TABLE 'news2' (
'news_url' TEXT,
'news_title' VARCHAR(100) DEFAULT NULL,
'record_time' DATETIME NOT NULL