中文字幕日韩一区二区_国产一区二区av_国产毛片av_久久久久国产一区_色婷婷电影_国产一区二区精品

分享下頁(yè)面關(guān)鍵字抓取www.icbase.com站點(diǎn)代碼(帶asp.net參數(shù)的)

2014-10-22 19:40:30 分類：php技術(shù) 閱讀()

復(fù)制代碼 代碼如下:
<?php
/**
 * HOST: www.icbase.com
 */
//set_time_limit(0);
// base function
function curl_get($url, $data = array(), $header = array(), $timeout = 15, $port = 80, $reffer = '', $proxy = '')
{
 $ch = curl_init();
 if (!empty($data)) {
 $data = is_array($data)?http_build_query($data): $data;
 $url .= (strpos($url,'?')? '&': "?") . $data;
 }
 curl_setopt($ch, CURLOPT_URL, $url);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
 curl_setopt($ch, CURLOPT_POST, 0);
 curl_setopt($ch, CURLOPT_PORT, $port);
 curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //是否抓取跳轉(zhuǎn)后的頁(yè)面
 $reffer && curl_setopt($ch, CURLOPT_REFERER, $reffer);
 if($proxy) {
 curl_setopt($ch, CURLOPT_PROXY, $proxy);
 curl_setopt($ch, CURLOPT_PROXYPORT, 1723);
 curl_setopt($ch, CURLOPT_PROXYUSERPWD,"andhm001:andhm123");
 }

$result = array();
 $result['result'] = curl_exec($ch);
 if (0 != curl_errno($ch)) {
 $result['error'] = "Error:/n" . curl_error($ch);

}
 curl_close($ch);
 return $result;
}

復(fù)制代碼 代碼如下:
function curl_post($url, $data = array(), $header = array(), $timeout = 5, $port = 80)
{
 $ch = curl_init();
 curl_setopt($ch, CURLOPT_URL, $url);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
 //curl_setopt($ch, CURLOPT_PORT, $port);
 !empty ($header) && curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
 curl_setopt($ch, CURLOPT_POST, 1);
 curl_setopt($ch, CURLOPT_POSTFIELDS, $data);

$result = array();
 $result['result'] = curl_exec($ch);
 if (0 != curl_errno($ch)) {
 $result['error'] = "Error:/n" . curl_error($ch);

}
 curl_close($ch);

return $result;
}

/**
 * 獲取列表頁(yè)的html源碼
 * @param string $keywords 搜索關(guān)鍵字
 * @param int $page 頁(yè)數(shù)
 * @return boolean|array
 */
function getListHtml($keywords, $page=1)
{
 if ($page < 0)
 {
 return false;
 }
 $page = $page == 0 ? 1 : intval($page);
 if ($page == 1)
 {
 $result = curl_get('http://www.icbase.com/ProResult.ASPx', array('ProKey' => $keywords));
 if ( isset($result['error']) )
 {
 return false;
 //exit($result['error']);
 }
 $result = $result['result'];

 // ASP.NET post提交數(shù)據(jù)
 if(! defined('__VIEWSTATE') && preg_match('/<input/s+type="hidden"/s+name="__VIEWSTATE"/s+id="__VIEWSTATE"/s+value="(.[^"]+)"/isU', $result, $matches))
 {
 define('__VIEWSTATE', $matches[1]);
 } else {
 return false;
 }

 if(! defined('__PREVIOUSPAGE') && preg_match('/<input/s+type="hidden"/s+name="__PREVIOUSPAGE"/s+id="__PREVIOUSPAGE"/s+value="(.[^"]+)"/isU', $result, $matches))
 {
 define('__PREVIOUSPAGE', $matches[1]);
 } else {
 return false;
 }

 if(! defined('__EVENTVALIDATION') && preg_match('/<input/s+type="hidden"/s+name="__EVENTVALIDATION"/s+id="__EVENTVALIDATION"/s+value="(.[^"]+)"/isU', $result, $matches))
 {
 define('__EVENTVALIDATION', $matches[1]);
 } else {
 return false;
 }

 return $result;
 }
 $data = array(
 '__EVENTTARGET' => 'pager',
 '__EVENTARGUMENT' => $page,
 '__VIEWSTATE' => __VIEWSTATE,
 '__PREVIOUSPAGE' => __PREVIOUSPAGE,
 '__EVENTVALIDATION' => __EVENTVALIDATION,
 );
 $result = curl_post('http://www.icbase.com/ProResult.ASPx?ProKey=' . $keywords, $data);
 if ( isset($result['error']) )
 {
 return false;
 //exit($result['error']);
 }
 $result = $result['result'];
 return $result;
}

/**
 * 獲取列表頁(yè) a鏈接的url
 * @param string $html html源碼
 * @return array
 */
function getListHref($html)
{
 $pattern = '/<a/s+href=/'(.[^/']+)/'/s+target="_blank"/s*>[/s/n]*<img.+[^>]//>/isU';
 if (preg_match_all($pattern, $html, $matches))
 {
 return $matches[1];
 } else {
 // 沒(méi)有匹配項(xiàng)
 return array();
 }
}

/**
 * 獲取數(shù)字
 * @param string $html html源碼
 * @return number
 */
function getListNextPage($html)
{
 $pattern = '/<div/s+id="Pager".+[^>]>.+<a/s+href="Javascript/:__doPostBack/(/'Pager/',/'(/d+)/'/)">><//a>/isU';
 if (preg_match($pattern, $html, $matches))
 {
 return intval($matches[1]);
 } else {
 return -1;
 }
}

/**
 * 獲取列表也所有的href
 * @param string $keywords 搜索關(guān)鍵字
 * @return boolean|array
 */
function getListHrefAll($keywords)
{
 if (empty($keywords))
 {
 return false;
 }

 $html = getListHtml($keywords);
 $hrefList = getListHref($html);
 if (empty($hrefList))
 {
 // 沒(méi)有結(jié)果
 return array();
 }
 $nextPage = getListNextPage($html);
 while ($nextPage > 0)
 {
 $html = getListHtml($keywords, $nextPage);
 $tmpHrefList = getListHref($html);
 $hrefList = array_merge($hrefList, $tmpHrefList);
 $nextPage = getListNextPage($html);
 }
 return $hrefList;
}

/**
 * 獲取詳情頁(yè)信息
 * @param string $url url地址或者是抓取到的html源代碼 根據(jù)@see $is_url 區(qū)分
 * @param int $is_url 1使用的是url地址 0直接處理html源代碼
 * @return boolean|multitype:|multitype:string
 */
function getDetail($url, $is_url = 1)
{
 if ( empty($url) )
 {
 return false;
 }
 $host = 'www.icbase.com';
 $html = $url;
 if ($is_url) {
 $url = '/' . ltrim($url, '/');
 $result = curl_get($host . $url);
 if ( isset($result['error']) )
 {
 exit($result['error']);
 }
 $html = $result['result'];
 }

 $result = array(
 'sup_part' => '', // 供應(yīng)商型號(hào)
 'sup_id' => '', // 供應(yīng)商ID
 'mfg_part' => '', // 制造商型號(hào)
 'mfg_name' => '', // 制造商名稱
 'cat_name' => '', // 分類名稱
 'para' => '', // 屬性
 'desc' => '', // 描述
 'pdf_url' => '', // PDF地址
 'sup_stock' => '', // 庫(kù)存
 'min_purch' => '', // 最小訂購(gòu)量
 'price' => '', // 價(jià)格
 'img_url' => '', // 圖片地址
 'createtime' => '', // 創(chuàng)建時(shí)間
 'datacode' => '', // 批號(hào)
 'package' => '', // 封裝
 'page_url' => '', // 頁(yè)面地址
 );

// mfg_part
 $pattern = '/<td>產(chǎn)品型號(hào)<//td><td>(.[^<]+)</isU';
 if (preg_match($pattern, $html, $matches))
 {
 $result['mfg_part'] = trim($matches[1]);
 } else {
 // 此項(xiàng)木有，說(shuō)明也沒(méi)處處了
 return array();
 }

 // mfg_name
 $pattern = '/<td>廠商<//td>[/s/n]*<td>(.+)<//td>/isU';
 if (preg_match($pattern, $html, $matches))
 {
 $result['mfg_name'] = trim($matches[1]);
 }

 // para
 $pattern = '/<tr/s+style="background-color:#E9E9E9;color:black; font-weight:bold;">(.+)<//tr><//table>/isU';
 if (preg_match($pattern, $html, $matches))
 {
 if (preg_match_all('/<td>(.+)<//td>/isU', $matches[1], $matches))
 {
 $count = count($matches[1]);
 $count = intval($count / 2 );
 foreach ($matches[1] as $k=>$v)
 {
 if ($k >= $count)
 {
 break;
 }
 if (trim($v) == '描述')
 {
 // desc
 $result['desc'] = trim($matches[1][$count + $k]);
 continue;
 }
 $v = trim($v);
 $result['para'][$v] = trim($matches[1][$count + $k]);
 }
 }
 }

 // pdf_url
 $pattern = '/<td>詳細(xì)資料<//td><td><a/s+href="(.[^"]+)"/isU';
 if (preg_match($pattern, $html, $matches))
 {
 $result['pdf_url'] = trim($matches[1]);
 }

 // sup_stock
 $pattern = '/<td>庫(kù)存數(shù)量<//td>[/s/n]*<td>(/d+)<//td>/isU';
 if (preg_match($pattern, $html, $matches))
 {
 $result['sup_stock'] = trim($matches[1]);
 }

 // price
 $pattern = '/<tr><td.[^>]+>(/d+)/+<//td><td.[^>]+>.[^/d]*([/d.]+)<//td><//tr>/isU';
 if (preg_match_all($pattern, $html, $matches))
 {
 foreach ($matches[1] as $k=>$v)
 {
 $result['price'][$v] = '￥' . $matches[2][$k];
 }
 }

 //img_url
 $pattern = '/<td>圖片<//td><td><img/s+src="(.[^"]+)"/isU';
 if (preg_match($pattern, $html, $matches))
 {
 $result['img_url'] = trim($matches[1]);
 }

 // page_url
 if ($is_url)
 {
 $result['page_url'] = $host . $url;
 }

return $result;
}

/**
 * 最終調(diào)用函數(shù)
 * @param string $keywords 搜索關(guān)鍵字
 * @return array
 */
function getData($keywords)
{
 $hrefList = getListHrefAll($keywords);
 $result = array();

 foreach ($hrefList as $k=>$v)
 {
 $result[] = getDetail($v);
 }

 return $result;
}

// Test Script
$keywords = trim($_GET['keywords']);
$result = getData($keywords);

print_r($result);

php技術(shù)：分享下頁(yè)面關(guān)鍵字抓取www.icbase.com站點(diǎn)代碼(帶asp.net參數(shù)的)，轉(zhuǎn)載需保留來(lái)源！

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。

標(biāo)簽：
主站蜘蛛池模板： 亚洲伊人久久综合 | 国产精品不卡一区 | 欧美一区二区在线视频 | 欧美成人精品 | 五月婷婷激情网 | 国产精品91网站 | 亚洲欧美视频 | 亚洲黄色国产 | 成人三级av | 亚洲国产精品一区二区久久 | 看a网站 | 在线视频一区二区 | 婷婷色网 | 男女视频在线观看免费 | 欧美日韩精品一区二区 | 成人一区二区在线 | 欧美aaa一级片| 国产极品粉嫩美女呻吟在线看人 | 一区二区三区在线播放视频 | 久久精品亚洲成在人线av网址 | 国产成人精品一区二区在线 | 最新日韩av | 黄色精品 | 一级片在线观看 | 日韩av在线一区二区 | 国产精品免费观看 | 国产在线资源 | 亚洲97 | 久久高清 | 九九在线精品视频 | 青青草社区| 午夜精品久久久久久久星辰影院 | 翔田千里一区二区 | 日本精品视频一区二区 | 五月激情六月婷婷 | 欧洲av在线 | 涩在线 | 狠狠涩| 日韩二区 | 精品一二三区 | 丁香五月缴情综合网 |