如何使用express.js正确地分配有效负载到GET函数

Question

我正在尝试使用node + express + cheerio构建爬网程序。 在路线我把这个：

[index.js]  
app.get('/api/crawler/android', crawlerController.android); 

它调用到控制器

[crawler-controller.js] 
var androidCrawler = require('../crawlers/android') 
module.exports.android = androidCrawler.androidget; 

然后我调用爬虫（基于cheerio）

[crawler.js] 
var request = require('request'); 
var cheerio = require('cheerio'); 

var androidget =request('https://www.developer-tech.com/categories/Android/', function (error, response, html){ 
      if (!error && response.statusCode == 200) { 
       var $ = cheerio.load(html); 
       var result = {result:[]}; 
       $('article').each(function (i, element) { 
        var Title = $(this).find("h2").text(); 
        var Link = $(this).find("a").attr("href"); 
        var Image = $(this).find("img").attr("src"); 
        var payload = { 
         "Title":Title, 
         "Link":Link, 
         "Image":Image 
        }; 
        result['result'].push(payload);    
       }); 
      console.log("aaa", result); 
      console.log(typeof result); 
      return result; 
     }}); 
module.exports = { 
    getAndroid: function (androidget, res) { 
     res.send(JSON.stringify(result)); 
    } 
} 

当我安慰直接登录到履带.js通过终端它正确地返回JSON对象，但我认为我导出app.get所调用的函数的方式是我错了，我无法弄清楚。

也许有人可以帮我正确调用爬虫在我的情况？

Answer 1

在回调函数中返回结果没有任何意义，这样做什么也不做。

你可以做的是包装您的请求的功能，并调用您创建一个回调： // file.js 常量wrapFunction =（URL，回调）=> { 请求（URL，（（错误，对此，HTML）=> { // ... 回调（结果）;} ） }

，然后使用它：

// just an example 
wrapFunction(yourUrl, (result) => { 
    // deal with your result 
}) 

当你有，你可以将其导出并然后在你的中间件中使用它/控制器：

// file.js 
module.exports = wrapFunction; 

// index.js 
const wrapFunction = require('file.js'); // here is your function 
app.get('/yourRoute', (req, res) => { 
    wrapFunction(yourUrl, (result) => { 
    res.send(JSON.stringify(result)); 
    }); 
}) 

您还可以使用承诺：

const wrapFunction = (url) => { 
    return new Promise((resolve, reject) => { 
    request(url, ((error, response, html) => { 
     if (error) reject(error); 
     resolve(result); 
    }); 
    }); 
}; 

然后：

wrapFunction(yourUrl).then(result => { 
    // deal with your result ... 
}).catch(error => { 
    // deal with your error ... 
}); 

希望它有帮助，
致以问候