User:Andrej Sedlacek

Prepis

1 User:Andrej Sedlacek Zadanie Zadaním pre tento projekt je vytvoriť nástroj pre fazetové vyhľadávanie v rámci media monitoring SAV, ktoré bude obsahovať fazety podľa výskytov daných ľudí v och a podľa ústavov, v ktorých títo ľudia pracujú. Projekt nadväzuje na súbežný projekt spracovania media monitoringu SAV. Vstupné dáta Media monitoring SAV po spracovaní: y sú rozdelené do samostatných súborov ľudia ústavy a referencie sú priradené v samostatnom súbore y obsahujú: nadpis zdroj autora dátum telo správy Napríklad:

2 -NAZOV- Akademici podporili akčné plány -ZDROJ- Hospodárske noviny; s. 6 -DATUM AUTOR- Vechter Juraj -TEXT- Predstavitelia akademickej obce včera akceptovali, hoci s niektorými výhradami, dva akčné plány - Vzdelávanie a zamestnanosť a Veda, výskum a inovácie. Plány nadväzujú na nedávno schválenú Stratégiu konkurencieschopnosti. -END- Štatistické priradenie sa skladá zo vzájomného priradenia ľudí, ústavov a referencií na jednotlivé y. JOZEF BADO Fyzikálny ústav SAV HELENA BALKOVA Ústav krajinnej ekológie SAV ERIKA BOROVA Sociologický ústav SAV Výstup Fazetové vyhľadávanie v media monitoringu SAV pomocou Apache Solr, ktoré môže byť prínosom pre zamestnancov pretože maximálne zefektívňuje vyhľadávanie v media monitoringu.

3 Návrh Základným stavebným kameňom tohto softvéru je komplexná dátová štruktúra, ktorá je nutným predpokladom na indexovanie dokumentov pomocou Solr servera. Dátová štruktúra má dva hlavné vstupy: súbory s jednotlivými správami CSV súbor so štatistickým namapovaním osôb, inštitútov a ich referencií na y Aby sme tieto dve štruktúry spojili, potrebujeme vytvoriť grafovú dátovú štruktúru, ktorá bude obahovať všetky dáta namapované podľa ich vzájomných vzťahov.prvým krokom je vytvorenie prvotnej štruktúry z CSV súboru. Pre tento účel budeme potrebovať: 1. ArrayList, ktorý bude obsahovať všetky kombinácie mien a inštitútov 2. HashMap, ktorá bude obsahovať mapovanie indexov ov na indexy pracovníkov SAV v ArrayList štruktúre Druhým krokom je prechádzanie množinou ov a pomocou HashMap dátovej štruktúry jej priraďovať príslušné referencie na ľudí a ústavy. y je samozrejme nutné rozparsovať a extrahovať z nich požadované dáta. Po vyparsovaní u sa overí, či sa jeho index nenachádza v HashMap a ak áno do objektu Mail sa doplnia údaje o človeku (a jeho domovského ústavu), ktorý sa v e vyskytuje. Po ukončení parsovania a párovania ov s pracovníkmi SAV budeme mať ku každému u tieto dáta: Nadpis Zdroj Autor Dátum Text Vyskytnutá osoba (nie vždy) Inštitút (nie vždy)

4 Keď máme dáta skonsolidované, nasleduje vytvorenie kódu, ktorý nahrá tieto dáta na Solr server aby ich zindexoval. Následne je nutné upraviť kód samotného solr zobrazovača Velocity aby spĺňal požiadavky na fazetovanie indexovaných údajov. Implementácia Na implementáciu tohto projektu bol použitý programovací jazyk JAVA v prostredí Eclipse. Server Solr je nasadený vo verzii 4.0. Najskôr boli vytvorené a naplnené dátové štruktúry pre uchovanie mapovacích údajov o ľuďoch a ústavoch. public class Data { private Map<Integer, Index> indexmap; private List<Index> indexlist; public Map<Integer, Index> getindexmap() { if (indexmap == null) { indexmap = new HashMap<Integer, Index>(); return indexmap; public List<Index> getindexlist() { if (indexlist == null) { indexlist = new ArrayList<Index>(); return indexlist;

5 Následne bolo nutné rozbehať Solr server a doplniť schému o požadované polia.

6 <field name="id" type="string" indexed="true" stored="true" required="true" multivalued="false"/> <field name="title" type="text_general" indexed="true" stored="true" multivalued="false"/> <field name="source" type="text_general" indexed="true" stored="true" multivalued="false"/> <field name="author" type="text_general" indexed="true" stored="true" multivalued="true"/> <field name="date" type="date" datetimeformat="yyyy-mm-dd't'hh:mm:sss'z'" indexed="true" stored="true"/> <field name="text" type="text_general" indexed="true" stored="true" multivalued="false"/> <field name="name" type="string" indexed="true" stored="true" multivalued="true"/> <field name="institute" type="string" indexed="true" stored="true" multivalued="true"/> Potom prišiel rad na parsovanie jednotlivých ov, priraďovanie referencií na ľudí a ústavy SAV a napokon odoslanie dokumentu na Solr server.

7 public static void processsavmail(string inputfolderpath) { try { MailParser mailparser = new MailParser(inputFolderPath); for (int i = 51200; i < mailparser.getfilecount(); i++) { Mail mail = new Mail(i); mailparser.parsefile(mail); if (savdata.getindexmap().containskey(mail.getindex())) { Index mailindex = savdata.getindexmap().get(mail.getindex()); List<Employee> employeelist = mailindex.getemployeelist(); for (Employee employee : employeelist) { mail.getemployeelist().add(employee); Server.getInstance().IndexDocument(mail); catch (Exception e) { e.printstacktrace();

8 Po zindexovaní všetkých ov bolo nutné spojazdniť a nastaviť konfiguračné súbory Solru a Velocity zobrazovača aby sa dáta vykreslili v správnom poradí a formáte. Dôležité tiež bolo správne nastaviť fazety pre fazetové vyhľadávanie na základe polí name a institute. <str name="wt">velocity</str> <str name="v.template">browse</str> <str name="v.layout">layout</str> <str name="title">sav_mediamonitoring</str> <!-- Faceting defaults --> <str name="facet">on</str> <str name="facet.field">institute</str> <str name="facet.field">name</str> <str name="facet.mincount">1</str> <str name="facet.limit">-1</str> Čo sa týka vyskytnutých problémov pri vývoji, najviac z nich bolo spôsobených samotným Solr serverom a to najmä kvôli väčšej nábehovej krivke pri práci s týmto nástrojom. Testovanie Testovanie vytvoreného softvéru a webového rozhrania Solr-u prebiehalo priamo na celej množine vstupných dát. Najskôr iba na jej malej referenčnej časti, na základe ktorej bolo testované parsovanie mailov počas vývoja programu. Trochu väčšia množina dát bola použitá pri testovaní správneho nasadenia a konfigurácie Solr servera. Výsledná funkcionalita bola otestovaná na plnom súbore dokumentov.

9 Záver V rámci tohto projektu z predmetu Vyhľadávanie informácii bol v rámci servera Solr vytvorený fazetový vyhľadávač nad media monitoringom SAV. Program v jazyku JAVA najskôr vyparsuje a popáruje všetky potrebné dáta, ktoré následne odošle na Solr server. Ten si ich zaindexuje a pri každom hľadaní výrazu následne vytvára fazety podľa ľudí a ústavov SAV. Myslím si, že projekt dopadol výborne, pretože vyhľadávanie nad media monitoringom SAV naozaj funguje a v spojení s fazetovým prehľadávaním sa z toho stal naozaj účinný vyhľadávací nástroj, ktorý znamená oproti om v jednom veľkom súbore naozaj výrazné uľahčenie vyhľadávania.