windows下 curl命令行下载工具使用方法小结

作者:enenba | 发表于:2014-09-19 17:33 | 分类:php采集
获取curl

curl 命令行下载工具

curl的官方网站为:
http://curl.haxx.se
官方下载页面为:http://curl.haxx.se/download.html

你可能并不清楚你需要下载哪个版本,没关系,官方提供了下载向导:

http://curl.haxx.se/dlwiz/你可以根据自己的情况一步步选择后下载。我使用的版本
我的最终选择页面为:

ht...

阅读全文>>

2人成功匹配 1253人撸过

curl模块模拟登录后采集页面【详解】

作者:enenba | 发表于:2013-10-10 12:01 | 分类:php采集

今天接到的功课是从一个网站获取商品库存,但是这个网站需要登录,我用fsockopen传递了整个header头都没用,只能求助于curl了。
  附带说一下curl模块的开启办法:
  (1)从php目录下拷贝:libeay32.dll,ssleay32.dll 到windows目录下。
  (2)打开php.ini,查找“extension_dir = xxxxx”,确认后面的文件目录内有p...

阅读全文>>

6人成功匹配 1994人撸过

【转】php CURL模拟访问网页

作者:enenba | 发表于:2013-10-10 11:56 | 分类:php采集

CURL参数详解:

bool curl_setopt (int ch, string option, mixed value)

curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置,value是这个选项给定的值。

下列选项的值将被作为长整形使用(在option参数中指定): 

*CURLOPT_INFILESIZE: 当你上传一个文件到远程站点,这个选项告诉PHP你上...

阅读全文>>

4人成功匹配 1629人撸过

使用curl获取Location:重定向后url

作者:enenba | 发表于:2012-11-29 16:30 | 分类:php源码

在php获取http头部信息上,php有个自带的函数get_headers(),我以前也是用这个的,听说效率在win上不咋地,再加上最近研究百度url无果,写了cURL获取重定向url的php代码来折腾。
以前我是用get_headers来获取跳转后的url

get_headers的代码

//curl的百度百科
$url = 'http://www.baidu.com/link?url=77I2...

阅读全文>>

2人成功匹配 11378人撸过

使用curl获取页面所有链接

作者:enenba | 发表于:2012-05-21 22:55 | 分类:php采集

一般php采集网络数据会用file_get_contents、file和cURL。当然我听说cURL会比file_get_contents、file更快更专业,更适合采集。今天我试试用cURL来获取网页上的所有链接。

<?php
/*
 * 使用curl 采集hao123.com下的所有链接。  
 */
include_once('function.php');

$ch =...

阅读全文>>

2人成功匹配 4603人撸过