Slovenská technická univerzita Fakulta informatiky a informačných technológií Ilkovičova 3, 842 16 Bratislava 4 Vyhľadávanie informácií Tomáš Filčák Študijný program: Informatika Ročník: 4 Predmet: Vyhľadávanie informácií Ak. rok: 2012/2013
Obsah 1 Informácie o slovenkých firmách a živnostníkoch... 1 1.1 Motivácia... 1 2 Technológie... 1 2.1 Redis... 1 2.2 Elastic search... 1 2.3 Tire... 2 2.4 Resque... 2 2.5 Nokogiri... 2 3 Stručný postup riešenia... 3 3.1 Dolovanie dát... 3 3.2 Filtrovanie množiny dát... 3 3.3 Parsovanie dát... 3 3.4 Indexovanie dát... 3 3.5 Vyhľadávanie nad množinou dát... 3 4 Podrobný popis krokov... 3 4.1 Dolovanie dát... 3 4.2 Filtrovanie množiny dát... 3 4.3 Parsovanie dát... 4 4.4 Indexovanie dát... 4 Vyhľadávanie... 4 Preferencia vyhľadávania... 4 5 Poskytovaná funkcionalita:... 5 5.1 Kraulovanie ľubovoľného webu... 5 5.2 Kraulovanie obchodného registra... 5 5.3 Parsovanie dát... 5 5.4 CRUD manipulácia s objektami... 5 6 Škáľovateľnosť riešenia... 5 Prílohy... 6
1 Informácie o slovenkých firmách a živnostníkoch Implementovaná aplikácia bude poskytovať účinný nástroj na vyhľadávanie informácií v obchodnom registri. Zároveň bude slúžiť ako krauler. Ako zdroj údajov bude použitý obchodný register Slovenskej republiky. Vyhľadanie informácií bude pozostávať zo zadania "query" selektora. Systém bude poskytovať jednoduchý filter podľa oblasti/adresy, ičo kódu, dátumu založenia a mena spoločnosti. Aplikácia používateľovi uľahčí vyhľadávanie aj vďaka sprístupneniu dát z dvoch rozličných zdrojov. Výstup budú predstavovať meta dáta - základné informácie o hľadanom subjekte ako i pôvodný dokument. 1.1 Motivácia Túto tému som si vybral aj z dôvodu ďalšieho rozvinutia aplikácie ako databázy firiem s používateľskými recenziami a skúsenosťami s jednotlivými obchodnými subjektami. 2 Technológie Systém bude implementovaný ako webová aplikácia postavená nad Ruby on Rails frameworkom. Dáta budú uložené lokálne a ich extrakcia bude zabezpečená kraulovaním pomocou knižnice cobweb. Táto knižnica vyžaduje bežiacu inštanciu Redis servra. Nad dátami bude potrebné implementovať "full-text search engine". Na tento účel som sa rozhodol použiť elasticsearch knižnicu, ktorá je postavená na jadre Apache Lucene. 2.1 Redis Redis je klasickou "key-value" databázov, čo znamená, že pod jedným kľúčom sa uloží hodnota alebo zvolená štruktúra. Dáta sú uchovávané primárne v pamäti a vďaka tomuto spôsobu implementácie je prístup k nim veľmi rýchly. Redis nie je obmedzený pamäťou RAM a od verzie 2.0 využíva na zápis i swap súbor. Redis podporuje MASTER-SLAVE replikáciu s tým, že zo všetkých SLAVE inštancií je možné čítať, ale zapisovať len na MASTER. Redis komunikuje s klientami i so svojimi inštanciami pomocou TCP protokolu. Komunikácia nie je šifrovaná. 2.2 Elastic search Elastic search je jedna z vhodných možností na dosiahnutie stanovených cieľov a kritérií: rýchlosť vyhľadávania by mala byť čo najväčšia indexovanie jednoduché napríklad cez HTTP protokol pomocou JSON objektov vyhľadávací server by mal byť dostupný vždy, keď ho potrebujeme vyhľadávanie by malo prebiehať v reálnom čase Elastic search je knižnica postavená na vyhľadávacom jadre Apache Lucene. Je "open source" distribuovaný a čo je pre našu aplikáciu tiež dôležité, "RESTfull" riešenie. Pre integráciu elasticsearch-u do projektu je potrebné použiť knižnicu, ktorá bude slúžiť ako komunikačné rozhranie medzi samotnou aplikáciou a elasticsearch-om. Zvolil som preto ruby gem Tire. Táto knižnica je z pohľadu veľkosti komunity a používanosti na prvom mieste. Inštalácia sudo apt-get update sudo apt-get install openjdk-7-jre -y wget https://github.com/downloads/elasticsearch/elasticsearch/elasticsear ch-0.19.0.tar.gz -O elasticsearch.tar.gz tar -xf elasticsearch.tar.gz rm elasticsearch.tar.gz 1
sudo mv elasticsearch-* elasticsearch sudo mv elasticsearch /usr/local/share curl -L http://github.com/elasticsearch/elasticsearchservicewrapper/tarball/master tar -xz mv *servicewrapper*/service /usr/local/share/elasticsearch/bin/ rm -Rf *servicewrapper* sudo /usr/local/share/elasticsearch/bin/service/elasticsearch install sudo ln -s `readlink -f /usr/local/share/elasticsearch/bin/service/elasticsearch` /usr/local/bin/rcelasticsearch sudo service elasticsearch start 2.3 Tire Tire je wrapper elasticsearch-u, ktorý nám poskytuje pohodlné použitie tejto knižnice v Ruby. Pomocou tejto knižnice vieme využívať všetku funkcionalitu, ktorú poskytuje elasticsearch a ľahko ju integrovať do Rails aplikácie. Pri každej zmene indexovaného objektu sa vykoná "callback", ktorý dotknutý index podľa vykonanej zmeny buď aktualizuje alebo úplne odstráni. 2.4 Resque Keďže celá aplikácia je implementovaná ako web klient, je potrebné zabezpečiť vykonanie niektorých úloh v pozadí. Toto je nevyhnutné pre spustenie crowlovania a samotného parsovania dát. V opačnom prípade by sa požiadavka správala blokujúco. Pomocou resque api vieme zároveň využiť potenciál viac procesorového výpočtového stroja. Pre použitie je potrebné zadefinovať samotný "working queue" a "workera", ktorý je za činnosť a spustenie kódu zodpovedný. Queues crowler_queue orsr_crowler_queue parser_queue Workers crowler_worker orsr_crowler_worker parser_worker Nasledujúcim príkazom spustíme správu procesov vykonávaných na pozadí aplikácie. rake resque:work QUEUE='*' 2.5 Nokogiri Nokogiri je známa knižnica, ktorá nám poslúži ako api, pre spracovanie HTML dokumentu. Využívame pri tom DOM objekt na prechádzanie a vnáranie elementami. 2
3 Stručný postup riešenia 3.1 Dolovanie dát Ako prvé je potrebné získať množinu dát, nad ktorými budeme pracovať. Pomocou navrhnutého algorytmu spustíme crawler nad obchodným registrom. 3.2 Filtrovanie množiny dát Nasledujúcim krokom odstránime všetky nepotrebné dáta, ktoré vznikli kraulovaním webu. Ide o stránky obsahujúce nepodstatné informácie, všetky stránky mimo výpis informácií jednotlivých firiem. V našom prípade krauler extrahuje dáta v slovenčine, ako i v angličtine a tento krok verzie zároveň oddelí. 3.3 Parsovanie dát Po kroku 2 máme k dispozícií dáta. Tieto dáta sú však v hrubej nespracovanej forme a treba ich dať do stavu, ktorý je pre aplikáciu čitateľný. 3.4 Indexovanie dát Tento krok nám zabezpečí naplnenie vyhľadávacieho mechanizmu dátami. 3.5 Vyhľadávanie nad množinou dát Posledná fáza, ktorá je však veľmi dôležitá. Na čo by nám boli dáta keby sme ich nevedeli použiť? Implementovaním tejto fázy zabezpečíme vyhľadávanie nad získanými dátami. Polia, nad ktorými search prebehne sú definované v nasledujúcej časti. Definované polia registra: Definované polia reprezentujú dáta, nad ktorými je implementované vnútro-aplikačné "full-text" vyhľadávanie. obchodné meno business name sídlo registered seat ičo identification number deň zápisu date fo entry región district predmet činnosti objects of company 4 Podrobný popis krokov 4.1 Dolovanie dát Štruktúra webu obchodného registra nám priamo nedovoľuje štandardný postup kraulovania. Stránky a podstránky navzájom nie sú prepojené a preto základný typ kraulovania nám dokáže extrahovať iba stránky, ktoré popisujú obchodný register a nie samotné hľadané dáta. Tieto stránky nám opisujú, ako sa obchodný register má použiť a za akým cieľom bol portál vytvorený a iné opisné informácie. Keď sa však pozrieme na štruktúru URL adresy konkrétneho záznamu, zistíme, že pomocou zmeny parametra ID sa vieme k dátam pomocou GET metódy ľahko dostať. Kraulovanie preto spustíme ako iteráciu meniacich sa URL adries so zmenou ID parametru. Ako výstup dostávame dáta reprezentované v anglickom, ale i slovenskom jazyku. 4.2 Filtrovanie množiny dát Po detailnejšom prehliadnutí získanej množiny dát zistíme, že hore uvedenou metódou sme získali nie len záznamy konkrétnych firiem, avšak i niektoré stránky, bez informatívneho charakteru. Ide 3
prevažne o stránky zobrazujúce formulár vyhľadávania. Tieto dáta je preto potrebné odfiltrovať. Filtrácia sa deje počas procesu parsovania každého dokumentu. Ak stránka nesplní kritéria je presunutá na automatické zmazanie. 4.3 Parsovanie dát Dáta, ktoré sme získali kraulovaním sú fo formáte html. Je preto potrebné extrahovať len potrebné údaje a uložiť ich do databázy alebo priamo do pamäti "search enginu". V našom prípade sú dáta uložené oboma spomenutými spôsobmi. Parsovanie prebieha nad všetkými súbormi nachádzajúcimi sa v priečinku "root/import". 4.4 Indexovanie dát Po úspešnom parsovaní je potrebné dáta uložiť do indexu. Ak by sme tento krok nevykonali, vyhľadávanie nad množinou dát by nebolo možné. Pomocou "callback" volaní ukladaných objektov (predošlý krok) zadefinujeme JSON objekt a následne vytvoríme prislúchajúci index s jednotným typom "entry". Tento proces vieme explicitne spustiť nad existujúcou množinou dát pomocou akcie "Reindex". Príklad mapovania indexova: mapping do indexes :ico, boost: 100 indexes :name, boost: 10 indexes :adress indexes :subject indexes :judicature indexes :entry end Vyhľadávanie Pomocou nasledujúcej množiny operátorov sme schopný vyhľadať presne definovaný výraz. LIKE - query: *ma* -> "tomas" EXACT - query: "phrase" Specific fields - query: name: tomas -> "tomas" OR - query: fictional OR character AND - query: fictional AND character NOT - query: fictional NOT character BY FIELD - guery: field_name: phrase Preferencia vyhľadávania Elasticsearch nám pomocou "_boost" parametra dovoľuje uprednostňovať poradie vyhľadaných dokumentov. Tento postup som aplikoval na pole "ico" a "name". Prítomnosť hľadaného výrazu v týchto poliach je pre používateľa dôležitejšia ako v iných atribútoch. Zároveň je potrebné uviesť, že základný operátor podľa vyhľadávania termov je AND. Toto nastavenie je však explicitne ľahko meniteľné. 4
5 Poskytovaná funkcionalita: 5.1 Kraulovanie ľubovoľného webu Aplikácia poskytuje nástroj na kraulovanie akejkoľvek adresy. Proces, ktorý beží na pozadí prechádza celý web a dáta ukladá na server do repozitára označeného zvolenou doménou. Táto možnosť je zobrazená na obrázku číslo 1, žltou farbou. 5.2 Kraulovanie obchodného registra Keďže jednotlivé záznamy obchodného registra nie sú medzi sebou nijako previazané, nie je možné klasickým spôsobom tieto dáta kraulovať. Na rozdiel od predošlého prípadu je teraz potrebné stránky sťahovať jednotlivo, podľa určených id-čiek. Tie je nutné zadať ako vstupné parametre tohto requestu. Táto možnosť je zobrazená na obrázku číslo 1, modrou farbou. 5.3 Parsovanie dát Pomocou tejto akcie sa dáta pomocou predošlej operácie uložia do databázy a zároveň sa vytvorí index potrebný pre elasticsearch. Reindexovanie - táto možnosť je potrebná len zriedkavo, kedže proces obnovenia indexu je vykonávaný automaticky. Niekedy sa však môže hodiť. 5.4 CRUD manipulácia s objektami Všetky objekty, ktoré sú v databáze uložené je možné mazať, upravovať, vytvárať a čítať. Vyhľadávanie - činnosť, ktorá tvorí základnú prácu s aplikáciou. Sledovanie bežiacich procesov - obrázok 2 zobrazuje poskytované rozhranie pre správu procesov bežiacich na pozadí. 6 Škáľovateľnosť riešenia Aplikácia je spustiteľná z webového rozhrania a jej funkcionalita je prispôsobená konkrétnemu problému. V našom prípade je to extrakcia dát z obchodného registra Slovenskej republiky a "fulltext" vyhľadávanie nad získanou množinou dát. Aplikácia bola však navrhnutá i za cieľom extrakcie dát z ľubovoľného zdroja. Tento prístup nám umožňuje kraulovať ľubovoľný web, avšak interné vyhľadávanie aplikácie nad takouto množinou podporované nie je. 5
Prílohy Obr. 1 Kraulovanie Obr. 2 Správa procesov Obr. 3 Detail záznamu 6