使用curl获取页面的meta中keywords和description

作者:enenba | 发表于:2012-05-22 21:54 | 分类:php采集

meta获取前面的文章《php正则得到网页的keywords和description部分》已经提到正则提取keywords和description了,现在再介绍使用curl的来提取meta中的keywords和description。相对get_meta_tags,cURL拿来采集更为强大。
下面cURL拿来采集meta ,php函数:

阅读全文>>

0人成功匹配 3535人撸过

使用curl获取页面所有链接

作者:enenba | 发表于:2012-05-21 22:55 | 分类:php采集

一般php采集网络数据会用file_get_contents、file和cURL。当然我听说cURL会比file_get_contents、file更快更专业,更适合采集。今天我试试用cURL来获取网页上的所有链接。

<?php
/*
 * 使用curl 采集hao123.com下的所有链接。  
 */
include_once('function.php');

$ch =...

阅读全文>>

2人成功匹配 4464人撸过

如何用php正则去掉得到img标签中的 border属性

作者:enenba | 发表于:2012-05-13 00:07 | 分类:php采集

    请问php正则如何去掉得到img标签中的 border属性,例如:<img src="test.gif" border="0" alt="test1" />   替换后的  <img src="test.gif" alt="test1" />

 

一开始我就想到要 只去掉border="" 很简单的写出

$search = '/(<img.*?)(border=".*?")([^>]+\/?>)/is';

它只能去掉形如<img src="囧1" border="囧2" />这样的border,一般的 <img>标签会有这样几种含有boder的情况

阅读全文>>

9人成功匹配 4646人撸过

php使用strip_tags的完整去除所有html标签

作者:enenba | 发表于:2012-05-12 00:17 | 分类:php采集

     PHP中的strip_tags函数是PHP自带的函数,在采集中可以效率地处理采集到的数据,当然使用正则也可以达到一样的效果,在使用strip_tags后发现其过滤有遗漏。如:<style>中的样式内容<script>JS 中的代码。一般在PHP采集时。JS和CSS不

阅读全文>>

0人成功匹配 3671人撸过

【转】PHP实现简单爬虫

作者:enenba | 发表于:2012-05-06 13:20 | 分类:php采集
这是网上找到的一个php小爬虫程序,PHP实现最简单爬虫原型。上源码就OK了说明:此爬虫会生成一个url.txt文件,里面记录有爬过的URL。是一个非常简单的爬虫。

阅读全文>>

0人成功匹配 2265人撸过

php正文提取原理演示——提取篇

作者:enenba | 发表于:2012-05-02 22:38 | 分类:php采集

看了《基于行块分布函数的网页正文抽取算法》是觉得是个好东西, 可以利用。先简单介绍

基于行块分布函数的通用网页正文抽取:线性时间、不建DOM树、与HTML标签无关

简述:

对于Web信息检索来说,网页正文抽取是后续处理的关键。虽然使用正则表达式可以准确的抽取某一固定格式的页面,但面对形形色色的HTML,使用规则处理难免捉襟见肘。能不能高效、准确的将一个页面的正文抽取出来,并做到在大规模网页范围内通用,这是一个直接关系上层应用的难题。

作者提出了《基于行块分布函数的通用网页正文抽取算法》,首次将网页正文抽取问题转化为求页面的行块分布函数,这种方法不用建立Dom树,不被病态HTML所累(事实上与HTML标签完全无关)。通过在线性时间内建立的行块分布函数图,直接准确定位网页正文。同时采用了统计与规则相结合的方法来处理通用性问题。作者相信简单的事情总应该用最简单的办法来解决这一亘古不变的道理。整个算法实现不足百行代码。但量不在多,在法。

项目网址:http://code.google.com/p/cx-extractor/

 以上是介绍了,具体可以去下那个pdf和源码下来看,我就不陈述,接下来上我的修改代码

直接上演示: 猛击这里去测试吧

阅读全文>>

2人成功匹配 5151人撸过
1 2 3 4 5 6 7 8 9 10