用cURL解析
问题描述:
解析我需要的页面的某个部分时出现问题。发现了一个代码,这有助于解决任务(完全解析的页面),试图现代化,但没有任何结果(用cURL解析
function get_web_page($url)
{
$uagent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // возвращает веб-страницу
curl_setopt($ch, CURLOPT_HEADER, 0); // не возвращает заголовки
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // переходит по редиректам
curl_setopt($ch, CURLOPT_ENCODING, ""); // обрабатывает все кодировки
curl_setopt($ch, CURLOPT_USERAGENT, $uagent); // useragent
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120); // таймаут соединения
curl_setopt($ch, CURLOPT_TIMEOUT, 120); // таймаут ответа
curl_setopt($ch, CURLOPT_MAXREDIRS, 50); // останавливаться после 10-ого редиректа
curl_setopt($ch, CURLOPT_COOKIEJAR, $_SERVER[DOCUMENT_ROOT]."/my_cookies.txt");
curl_setopt($ch, CURLOPT_COOKIEFILE, $_SERVER[DOCUMENT_ROOT]."/my_cookies.txt");
$content = curl_exec($ch);
curl_close($ch);
return $content;
}
$response=get_web_page('http://group.aliexpress.com/ruNew.htm?spm=2114.11020108.300.1.PDAme1&tracelog=rugroupbuyyt01');
echo $response;
如何删除网页中不需要的部分?比如我需要带班只有一个街区“组产品清单”
谢谢
答
您需要使用PHP Simple HTML DOM Parser它可以让你选择特定HTML和检索 例如:。
// Create DOM from URL or file
$html =file_get_html('http://www.google.com/');
// Find all images
foreach($html->find('img') as $element)
echo $element->src . '<br>';
// Find all links
foreach($html->find('a') as $element)
echo $element->href . '<br>';
文档:Manual
+0
谢谢,那么css呢?我应该自己做吗? –
+0
您可以将类添加到您的标签或使用ID。只是为了让他们通过CSS选择器进行选择。有关更多信息,请参阅http://www.w3schools.com/cssref/css_selectors.asp – naqushab
您需要HTML DOM解析器,例如, PHP简单的HTML DOM解析器。 – vitozev