Quali sono le migliori pratiche per selezionare i selettori per i web scrappers?

1

Quello che segue è un esempio che utilizza il link

'use strict';

const puppeteer = require('puppeteer');

(async() => {

// const browser = await puppeteer.launch();
// const page = await browser.newPage();

const browser = await puppeteer.launch({
    headless: true
});
const page = await browser.newPage();

await page.goto('https://quora.com', {waitUntil: 'networkidle'});

await page.click('.form_column input[name="email"]');
await page.type('MY_EMAIL');

await page.click('.form_column input[name="password"]');
await page.type('MY PASSWORD');

await page.waitFor(2 * 1000);

await page.click('.form_column input[type="submit"]');

// Wait for the results to show up
await page.waitForSelector('.question_text .rendered_qtext');

// Extract the results from the page
const links = await page.evaluate(() => {
  const anchors = Array.from(document.querySelectorAll('.question_text .rendered_qtext'));
  return anchors.map(anchor => anchor.textContent);
});
console.log(links.join('\n'));
browser.close();

})();

Lo script accede a Quora e registra il titolo di alcune risposte.

La mia scelta dei selettori è buona? Quali sono alcune buone pratiche?

    
posta alex 31.08.2017 - 15:06
fonte

0 risposte

Leggi altre domande sui tag