使用php采集网页内容

最新推荐文章于 2023-12-25 04:43:23 发布

原创最新推荐文章于 2023-12-25 04:43:23 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#自动采集

web前端同时被 3 个专栏收录

36 篇文章

订阅专栏

php

9 篇文章

订阅专栏

插件

7 篇文章

订阅专栏

本文介绍了如何使用PHP的file_get_contents()函数获取网页全文，并详细讲解了如何采集网页的特定部分，包括从指定字符串开始截取内容以及提取特定类别的段落。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、file_get_contents()获取网页

获取网页http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml全部内容

<?php 
	$url = "http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml";
  	$html = file_get_contents($url);
  	//如果出现中文乱码使用下面代码
  	//$getcontent = iconv("gb2312", "utf-8",$html);
	echo "<textarea style='width:800px;height:600px;'>".$html."</textarea>";
?>

二、采集网页部分内容

$need=getNeedBetween($html, 'id="artibody"' , '<p class="article-editor">' );

内容中从字符串–id="artibody"开始截取
内容中从字符串-- < p class=“article-editor”>开始结束

	<?php
		$need=getNeedBetween($html, 'id="artibody"' , '<p class="article-editor">' );
  		function getNeedBetween($kw1,$mark1,$mark2){
			$kw=$kw1;
			$kw='123'.$kw.'123';
			$st =stripos($kw,$mark1);
			$ed =stripos($kw,$mark2);
			if(($st==false||$ed==false)||$st>=$ed)
			return 0;
			$kw=substr($kw,($st+1),($ed-$st-1));
			return $kw;
		}
		echo $need;
?>

三、整个php文件

<?php
	$url = "http://news.sina.com.cn/c/nd/2016-10-23/doc-ifxwztru6951143.shtml";
	 $html = file_get_contents($url);
	 //如果出现中文乱码使用下面代码  		
	 //$getcontent = iconv("gb2312", "utf-8",$html);	
	 
     $need=getNeedBetween($html, 'id="artibody">' , '<p class="article-editor">' );
  	function getNeedBetween($kw1,$mark1,$mark2){
		$kw=$kw1;
		$kw='123'.$kw.'123';
		$st =stripos($kw,$mark1);
		$ed =stripos($kw,$mark2);
		if(($st==false||$ed==false)||$st>=$ed)
		return 0;
		$kw=substr($kw,($st+1),($ed-$st-1));
		return $kw;
	}
	echo $need;
 ?>