![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2023\/11\/ch2-page-4-web-crawling-1.png\")
Idea tratta da \u201cSearch \u00a0engine \u00a0crawlers\u201d \u00a0di \u00a0Seobility, pubblicatacon licenza CC BY-SA 4.0. Per visualizzare una copia di questa licenza, visitare https:\/\/www.seobility.net\/en\/wiki\/Creative_Commons_License_BY-SA_4.0<\/a>[\/caption]\n
Dopo che un utente ha inserito una query di ricerca, \u00e8 troppo tardi per andare a cercare tutti i contenuti disponibili in Internet1<\/sup>. I documenti web sono previamente visionati e il loro contenuto viene frazionato e archiviato in slot diversi. Quando la query \u00e8 disponibile, tutto ci\u00f2 che bisogna fare \u00e8 combinare il contenuto della query con quello degli slot.<\/p>\n\n I web crawler sono frammenti di codice che trovano e scaricano documenti dal web. Iniziano con una serie di indirizzi di siti web (URL) cercando al loro interno collegamenti a nuove pagine web. Poi scaricano le nuove pagine e al loro interno cercano ulteriori collegamenti. Purch\u00e9 l\u2019elenco iniziale fosse sufficientemente diversificato, i crawler finiscono per visitare qualsiasi sito consenta loro l\u2019accesso, spesso svariate volte, alla ricerca di aggiornamenti.<\/p>\n\n<\/div>\n Una tabella \u00e8 costituita da sezioni pi\u00f9 piccole denominate tablet, ogni riga di un tablet \u00e8 dedicata a una pagina web.<\/p>\n Queste righe sono disposte secondo un ordine registrato insieme a un registro per gli aggiornamenti. Ogni colonna riporta delle informazioni specifiche collegate alla pagina web che possono essere di aiuto nel combinare il contenuto del documento ai contenuti di query future. Le colonne riportano:<\/p>\n\n Una colonna della tabella, forse la pi\u00f9 importante, presenta il contenuto principale del documento, che deve essere identificato tra tutti i link e gli annunci pubblicitari esterni. Una tecnica utilizza un modello di apprendimento automatico per \u201capprendere\u201d quale sia il contenuto principale di una pagina web.<\/p>\n Possiamo naturalmente combinare delle parole esatte tratte dalla query con le parole contenute in un documento web, come faremmo con il pulsante Find<\/em> (Trova) di un programma di videoscrittura. Ma non \u00e8 una soluzione molto efficace in quanto le persone usano parole diverse per definire il medesimo oggetto. Registrare semplicemente i termini separati non aiuter\u00e0 a catturare il modo in cui essi si combinano tra loro per creare significato: in definitiva \u00e8 il pensiero dietro le parole che ci aiuta a comunicare e non le parole di per s\u00e9 stesse. Pertanto, tutti i motori di ricerca trasformano il testo in un modo che renda pi\u00f9 semplice combinarlo con il significato del testo della query. Successivamente, la query viene elaborata in modo analogo.<\/p>\n In quanto segmenti di parole, il numero totale di token diversi che devono essere archiviati si riduce. I modelli attuali archiviano da trentamila a cinquantamila token2<\/sup>. Delle parole scritte in modo scorretto possono essere individuate in quanto parti di esse continuano a corrispondere ai token archiviati. Delle parole sconosciute possono emergere dai risultati delle ricerche, dal momento che parti di esse potrebbero corrispondere con i token archiviati.<\/p>\n Nel nostro caso, il set di addestramento per l\u2019apprendimento automatico \u00e8 costituito da testi esemplificativi. Iniziando da singoli caratteri, spazi e segni di interpunzione, il modello fonde caratteri che si presentano frequentemente per formare nuovi token. Se il numero di token non \u00e8 sufficientemente elevato, il processo di fusione continua in modo da coprire parti di parole pi\u00f9 grandi o meno frequenti. In questo modo si riescono a coprire la maggior parte delle parole, delle terminazioni delle parole e tutti i prefissi. Quindi, fornito un nuovo testo, la macchina lo pu\u00f2 suddividere facilmente in token e archiviare.<\/p>\n \n<\/a><\/p>\n Quando i dati sono inseriti in BigTable, si crea un indice. Similarmente al concetto degli indici dei libri, l\u2019indice di ricerca elenca i token contenuti in un documento web e la loro posizione, insieme a statistiche come quelle inerenti al numero di volte in cui un token si rinviene all\u2019interno di un documento, quanto importante sia per il documento ecc. e a informazioni sulla sua posizione, per esempio se il token si trovi nel titolo o in un\u2019intestazione, sia concentrato in una parte del documento e se un token ne segua sempre un altro.<\/p>\n\n<\/div>\n Oggi, molti motori di ricerca utilizzano una combinazione di modelli di indicizzazione tradizionali e linguistici generati da reti neurali profonde. I secondi codificano dettagli semantici del testo e consentono una miglior comprensione delle query3<\/sup>.<\/p>\n Aiutano i motori di ricerca a superare la query al fine di catturare le informazioni necessarie alla base della creazione della query.<\/p>\n\n 1<\/sup> Croft, B., Metzler D., Strohman, T., Search Engines, Information Retrieval in Practice<\/em>, 2015<\/p>\n 2 <\/sup>Sennrich,R., Haddow, B., and Birch, A., Neural Machine Translation of Rare Words with Subword Units,<\/em> In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715\u20131725, Berlin, Germany. Association for Computational Linguistics, 2016.<\/p>\n 3<\/sup> Metzler, D., Tay, Y., Bahri, D., Najork, M., Rethinking Search: Making Domain Experts out of Dilettantes<\/em>, SIGIR Forum 55, 1, Article 13, June 2021.<\/p>","rendered":" Un motore di ricerca prende delle parole chiave inserite in una casella di testo, la query di ricerca, e cerca di trovare i documenti web che corrispondono alla necessit\u00e0 di informazioni di un utente. Poi mostra le informazioni in un formato facilmente accessibile, con la pagina pi\u00f9 pertinente in alto. Per farlo, il motore di ricerca deve iniziare a trovare documenti sul web e a taggarli in modo che siano facilmente reperibili. Vediamo a grandi linee come funziona il processo:<\/p>\n Dopo che un utente ha inserito una query di ricerca, \u00e8 troppo tardi per andare a cercare tutti i contenuti disponibili in Internet1<\/sup>. I documenti web sono previamente visionati e il loro contenuto viene frazionato e archiviato in slot diversi. Quando la query \u00e8 disponibile, tutto ci\u00f2 che bisogna fare \u00e8 combinare il contenuto della query con quello degli slot.<\/p>\n I web crawler sono frammenti di codice che trovano e scaricano documenti dal web. Iniziano con una serie di indirizzi di siti web (URL) cercando al loro interno collegamenti a nuove pagine web. Poi scaricano le nuove pagine e al loro interno cercano ulteriori collegamenti. Purch\u00e9 l\u2019elenco iniziale fosse sufficientemente diversificato, i crawler finiscono per visitare qualsiasi sito consenta loro l\u2019accesso, spesso svariate volte, alla ricerca di aggiornamenti.<\/p>\n<\/div>\n Una tabella \u00e8 costituita da sezioni pi\u00f9 piccole denominate tablet, ogni riga di un tablet \u00e8 dedicata a una pagina web.<\/p>\n Queste righe sono disposte secondo un ordine registrato insieme a un registro per gli aggiornamenti. Ogni colonna riporta delle informazioni specifiche collegate alla pagina web che possono essere di aiuto nel combinare il contenuto del documento ai contenuti di query future. Le colonne riportano:<\/p>\n Una colonna della tabella, forse la pi\u00f9 importante, presenta il contenuto principale del documento, che deve essere identificato tra tutti i link e gli annunci pubblicitari esterni. Una tecnica utilizza un modello di apprendimento automatico per \u201capprendere\u201d quale sia il contenuto principale di una pagina web.<\/p>\n Possiamo naturalmente combinare delle parole esatte tratte dalla query con le parole contenute in un documento web, come faremmo con il pulsante Find<\/em> (Trova) di un programma di videoscrittura. Ma non \u00e8 una soluzione molto efficace in quanto le persone usano parole diverse per definire il medesimo oggetto. Registrare semplicemente i termini separati non aiuter\u00e0 a catturare il modo in cui essi si combinano tra loro per creare significato: in definitiva \u00e8 il pensiero dietro le parole che ci aiuta a comunicare e non le parole di per s\u00e9 stesse. Pertanto, tutti i motori di ricerca trasformano il testo in un modo che renda pi\u00f9 semplice combinarlo con il significato del testo della query. Successivamente, la query viene elaborata in modo analogo.<\/p>\n In quanto segmenti di parole, il numero totale di token diversi che devono essere archiviati si riduce. I modelli attuali archiviano da trentamila a cinquantamila token2<\/sup>. Delle parole scritte in modo scorretto possono essere individuate in quanto parti di esse continuano a corrispondere ai token archiviati. Delle parole sconosciute possono emergere dai risultati delle ricerche, dal momento che parti di esse potrebbero corrispondere con i token archiviati.<\/p>\n Nel nostro caso, il set di addestramento per l\u2019apprendimento automatico \u00e8 costituito da testi esemplificativi. Iniziando da singoli caratteri, spazi e segni di interpunzione, il modello fonde caratteri che si presentano frequentemente per formare nuovi token. Se il numero di token non \u00e8 sufficientemente elevato, il processo di fusione continua in modo da coprire parti di parole pi\u00f9 grandi o meno frequenti. In questo modo si riescono a coprire la maggior parte delle parole, delle terminazioni delle parole e tutti i prefissi. Quindi, fornito un nuovo testo, la macchina lo pu\u00f2 suddividere facilmente in token e archiviare.<\/p>\n \n<\/a><\/p>\n Quando i dati sono inseriti in BigTable, si crea un indice. Similarmente al concetto degli indici dei libri, l\u2019indice di ricerca elenca i token contenuti in un documento web e la loro posizione, insieme a statistiche come quelle inerenti al numero di volte in cui un token si rinviene all\u2019interno di un documento, quanto importante sia per il documento ecc. e a informazioni sulla sua posizione, per esempio se il token si trovi nel titolo o in un\u2019intestazione, sia concentrato in una parte del documento e se un token ne segua sempre un altro.<\/p>\n<\/div>\n Oggi, molti motori di ricerca utilizzano una combinazione di modelli di indicizzazione tradizionali e linguistici generati da reti neurali profonde. I secondi codificano dettagli semantici del testo e consentono una miglior comprensione delle query3<\/sup>.<\/p>\n Aiutano i motori di ricerca a superare la query al fine di catturare le informazioni necessarie alla base della creazione della query.<\/p>\n <\/p>\n 1<\/sup> Croft, B., Metzler D., Strohman, T., Search Engines, Information Retrieval in Practice<\/em>, 2015<\/p>\n 2 <\/sup>Sennrich,R., Haddow, B., and Birch, A., Neural Machine Translation of Rare Words with Subword Units,<\/em> In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1715\u20131725, Berlin, Germany. Association for Computational Linguistics, 2016.<\/p>\n 3<\/sup> Metzler, D., Tay, Y., Bahri, D., Najork, M., Rethinking Search: Making Domain Experts out of Dilettantes<\/em>, SIGIR Forum 55, 1, Article 13, June 2021.<\/p>\n","protected":false},"author":1,"menu_order":4,"template":"","meta":{"pb_show_title":"","pb_short_title":"","pb_subtitle":"","pb_authors":[],"pb_section_license":""},"chapter-type":[],"contributor":[],"license":[],"part":47,"_links":{"self":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapters\/71"}],"collection":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapters"}],"about":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/wp\/v2\/types\/chapter"}],"author":[{"embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/wp\/v2\/users\/1"}],"version-history":[{"count":1,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapters\/71\/revisions"}],"predecessor-version":[{"id":72,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapters\/71\/revisions\/72"}],"part":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/parts\/47"}],"metadata":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapters\/71\/metadata\/"}],"wp:attachment":[{"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/wp\/v2\/media?parent=71"}],"wp:term":[{"taxonomy":"chapter-type","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/pressbooks\/v2\/chapter-type?post=71"},{"taxonomy":"contributor","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/wp\/v2\/contributor?post=71"},{"taxonomy":"license","embeddable":true,"href":"https:\/\/aiopentext.itd.cnr.it\/intelligenzaartificiale\/wp-json\/wp\/v2\/license?post=71"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Fase 2: il documento viene scomposto in molteplici parti<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page-4-Bigtable-1.png\")
Il documento scaricato dal crawler potrebbe essere una pagina web chiaramente strutturata con la propria descrizione del contenuto, l\u2019indicazione dell\u2019autore, della data ecc. Pu\u00f2 anche essere un\u2019immagine digitalizzata malamente di un vecchio libro custodito in una biblioteca. Di norma i motori di ricerca sono in grado di leggere un centinaio di tipi diversi di documenti1<\/sup>. Li convertono in formato html o xml e li archiviano in tabelle (denominate BigTable nel caso di Google).<\/p>\n\n \t
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page-4-webpage-1.jpg\")
Il contenuto principale di una pagina spesso \u00e8 nascosto in mezzo ad altre informazioni. The guardian \u00a0da \u00a0Il Fatto Quotidiano, pubblicato con licenza CC BY-NC-SA 2.0. Per visualizzare una copia di questa licenza, visitare: https:\/\/creativecommons.org\/licenses\/by-nc-sa\/2.0\/?ref=openverse.<\/a>[\/caption]\n![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page-4-text-processing-1.png\")
<\/p>\n![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page4-tokens-e1697829526838-1.png\")
\nFase 3: si crea un indice per farvi agevolmente riferimento<\/h3>\n[caption id=\"attachment_70\" align=\"alignright\" width=\"352\"]
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page-4-index-scaled-2.jpg\")
\u201cIndice\u201d di Ben Weiner, pubblicato con licenza CC BY-ND 2.0.
Per visualizzare una copia di questa licenza, visitare: https:\/\/creativecommons.org\/licenses\/by-nd\/2.0\/?ref=openverse<\/a>.
[\/caption]\n\nQueste tre fasi forniscono un resoconto semplificato di ci\u00f2 che viene definito \u201cindicizzazione\u201d, ossia reperire, preparare e archiviare documenti creando un indice. Il passaggio successivo sono le fasi del \u201cranking\u201d consistenti nel combinare query e contenuto e nel mostrare i risultati in base alla pertinenza.<\/h3>\n
![\"\"](\"http:\/\/aiopentext.itd.cnr.it\/wp-content\/uploads\/sites\/12\/2024\/01\/ch2-page4-indexing-process-1.png\")
\n\n \n\n
\nFase 1: i web crawler trovano e scaricano i documenti.<\/h3>\n
con licenza CC BY-SA 4.0. Per visualizzare una copia di questa licenza, visitare https:\/\/www.seobility.net\/en\/wiki\/Creative_Commons_License_BY-SA_4.0<\/a><\/figcaption><\/figure>\nFase 2: il documento viene scomposto in molteplici parti<\/h3>\n
Il documento scaricato dal crawler potrebbe essere una pagina web chiaramente strutturata con la propria descrizione del contenuto, l\u2019indicazione dell\u2019autore, della data ecc. Pu\u00f2 anche essere un\u2019immagine digitalizzata malamente di un vecchio libro custodito in una biblioteca. Di norma i motori di ricerca sono in grado di leggere un centinaio di tipi diversi di documenti1<\/sup>. Li convertono in formato html o xml e li archiviano in tabelle (denominate BigTable nel caso di Google).<\/p>\n\n
<\/p>\n<\/p>\nFase 3: si crea un indice per farvi agevolmente riferimento<\/h3>\n
Per visualizzare una copia di questa licenza, visitare: https:\/\/creativecommons.org\/licenses\/by-nd\/2.0\/?ref=openverse<\/a>.<\/p>\n<\/figcaption><\/figure>\nQueste tre fasi forniscono un resoconto semplificato di ci\u00f2 che viene definito \u201cindicizzazione\u201d, ossia reperire, preparare e archiviare documenti creando un indice. Il passaggio successivo sono le fasi del \u201cranking\u201d consistenti nel combinare query e contenuto e nel mostrare i risultati in base alla pertinenza.<\/h3>\n
<\/p>\n
\n