如何实现多任务爬虫?

天下爬虫,唯快不破,配合多进程使用,phpspider可以快到你怕,下面我们来看看如何实现一个多任爬虫.

举个栗子:
同时开启8个任务

$configs = array(
    'name' => '糗事百科测试样例',
    'tasknum' => 8,   // 爬虫任务数
    ...
);
$spider = new phpspider($configs);
$spider->start();

运行界面:

results matching ""

    No results matching ""