在批量的数据采集在php中很少会使用file_get_contents函数来操作,但是如果是小量的我们可以使用file_get_contents函数操作,因为它不但好用而且简单易学,下面我来介绍file_get_contents用法与使用过程中的问题解决办法。
先来看问题file_get_contents不能获取带端口的网址
例如:
代码如下复制代码file_get_contents('http://localhost:12345');没有任何获取。
解决方法是 :关闭selinux立即学习“PHP免费学习笔记(深入)
”;
1 永久方法 – 需要重启服务器修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启服务器。
PHP 8.5.5 PHP 8.5.5 是 PHP 8.5 分支的维护更新版本。该版本延续了“小步快跑”的迭代逻辑,通过深度错误修复、底层性能微调以及安全加固,旨在为开发者提供一个更健壮、更高效的运行环境。该版本严格遵守语义化版本规范,不包含破坏性变更。
下载2 临时方法 – 设置系统参数使用命令setenforce 0
附:
setenforce 1 设置SELinux 成为enforcing模式setenforce 0 设置SELinux 成为permissive模式file_get_contents超时代码如下复制代码function _file_get_contents($url){$context = stream_context_create(array('http' => array('timeout' => 180 //超时时间,单位为秒)));return @file_get_contents($url, 0, $context);}好了上面的问题得到解决之后我们可以开始采集了。
代码如下复制代码//全国,判断条件是$REQUEST_URI是否含有htmlif (!strpos($_SERVER["REQUEST_URI"],".html")){$page="http://qq.ip138.com/weather/";$html = file_get_contents($page,'r');$pattern="/全国主要城市、县当天和未来五天天气趋势预报在线查询(.*?)/si";//正则匹配之间的htmlpreg_match($pattern,$html,$pg);echo "";//正则替换远程地址为本地地址$p=preg_replace('//weather/(w+)/index.htm/', 'tq.php/$1.html', $pg[1]);echo $p;}//省,判断条件是$REQUEST_URI是否含有?else if(!strpos($_SERVER["REQUEST_URI"],"?")){//yoyo推荐的使用分割获得数据,这里是获得省份名称$province=explode("/",$_SERVER["REQUEST_URI"]);$province=explode(".",$province[count($province)-1]);$province=$province[0];//被注释掉的是我自己写出来的正则,感觉写的不好,但效果等同上面//preg_match('/[^/]+[.(html)]$/',$_SERVER["REQUEST_URI"],$pro);//$province=preg_replace('/.html/','',$pro[0]);$page="http://qq.ip138.com/weather/".$province."/index.htm";//获取html数据之前先尝试打开页面,防止恶意输入地址导致出错if (!@fopen($page, "r")) {die("对不起,该地址不存在!点击这里返回");exit(0);}$html = file_get_contents($page,'r');$pattern="/五天天气趋势预报(.*?)请输入输入市/si";preg_match($pattern,$html,$pg);echo "";//正则替换,获取省份,城市$p=preg_replace('//weather/(w+)/(w+).htm/', '$2.html?pro=$1', $pg[1]);echo $p;}else {//市,通过get传递省份$pro=$_REQUEST['pro'];$city=explode("/",$_SERVER["REQUEST_URI"]);$city=explode(".",$city[count($city)-1]);$city=$city[0];//preg_match('/[^/]+[.(html)]+[?]/',$_SERVER["REQUEST_URI"],$cit);//$city=preg_replace('/.html?/','',$cit[0]);$page="http://qq.ip138.com/weather/".$pro."/".$city.".htm";if (!@fopen($page, "r")) {die("对不起,该地址不存在!点击这里返回");exit(0);}$html = file_get_contents($page,'r');$pattern="/五天天气趋势预报(.*?)请输入输入市/si";preg_match($pattern,$html,$pg);echo "";//获取真实的图片地址$p=preg_replace('//image//', 'http://qq.ip138.com/image/', $pg[1]);echo $p;}?>如果上面办法无法采集到数据我们可以使用来处理代码如下复制代码$url = "http://www.bKjia.c0m ";$ch = curl_init();$timeout = 5;curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);//在需要用户检测的网页里需要增加下面两行//curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_ANY);//curl_setopt($ch, CURLOPT_USERPWD, US_NAME.":".US_PWD);$contents = curl_exec($ch);curl_close($ch);echo $contents;?>
