Modelovanie dynamiky obsahu na webe Bc. Matúš Tomlein!!! Vedúci práce: Mgr. Jozef Tvarožek, PhD.
Problémová oblasť Dynamika obsahu na webe so zameraním sa na novosť Odporúčanie článkov podľa ich novosti! Ciele! Preskúmať prístupy na hodnotenie novosti a navrhnúť vlastnú metódu zohľadňujúcu dynamiku obsahu Aplikovať túto metódu na odporúčanie článkov Využiť navrhnutú metódu na sledovanie dynamiky obsahu na webe 2
Problém v odporúčaní Odporúčanie podľa obsahu zlyháva pri odporúčaní článkov z viacerých portálov Veľa podobných článkov, ktore neprinášajú nové informácie Pri odporúčaní je potrebné zohľadniťnovosť (novelty) informácií Nové (angl. novel) články sú podobné známym (čítaným) článkom v zmysle, že sa týkajú rovnakej témy, ale sú tiež odlišné voči známym článkom v zmysle, že obsahujú nové informácie 1. Hypotéza! Zohľadnením množstva nových informácii vieme zlepšiť výsledky odporúčania 3
Prístupy hodnotenia novosti článkov Kolaboratívne prístupy Hľadanie najmenej populárnych článkov Na základe obsahu! Rozdieľnosť od prečítaných článkov inverzná podobnosť, Kullback-Leibler, Množstvo nových pojmov, entít, Podľa tém článkov 4
Čo sú témy? Témy sú skupiny súvisiacich kľúčových slov Reprezentujú skupiny informácií Modelovanie metódou LDA! 2. Hypotéza! diplomovka obhajoba univerzita prezident štát parlament lyžovanie kopce sneh Modelovaním tém vieme lepšie zistiť či článok prináša nové informácie ako len porovnávaním ich odlišností 5
Návrh metódy
Návrh metódy Kroky odporúčania 1. Nájdenie relevantných článkov - zhlukovanie 2. Usporiadanie článkov podľa novosti Výber relevantných článkov Usporiadanie článkov podľa novosti Model tém Model používateľa 7
Návrh metódy 1. krok Zhlukovanie 302,3 16,3 Zhlukovanie podľa dvojíc tém článkov! 286 0,2 T1 0,3 171 Zhluk tvoria články s rovnakou dvojicou tém Zhlukovanie šírením aktivácie! 1000 Č1 714 0,3 Č2 0,5 T2 142,8 0,2 13 Č3 32,6 0,3 85,7 21,7 Č4 0,2 T3 19 0,4 97,7 Č5 38,1 Širenie počiatočnej aktivácie v grafe spojení tém a článkov 727 183,4 8
Návrh metódy 2. krok Hodnotenie novosti Využívame modelovanie tém Články hodnotíme podľa toho aké nové témy prinášajú pre čitateľa Navrhli sme 2 metódy: Na základe dvojíc tém článkov Na základe novosti tém 9
Návrh metódy Hodnotenie novosti tém Témy v LDA sú rôznej kvality prideľujeme im hodnotenie (rank) podľa ich významnosti a novosti pre používateľa Počítame IDF kľúčových slov tém Na základe korpusu prečítaných článkov používateľa NovostTemy(T )=1 k P t,w2t Idf(t) w T ánkov, ktoré používateľ prečítal ako korpusu n N ovostclanku(c) = 10 P t,w2temyclanku(c) NovostTemy(t) w P t,w2temyclanku(c) w
Overenie
Prehľad experimentov Články z anglických technických blogov! 1. Spätné overenie 2. Živé odporúčanie článkov 3. Štúdia sledovanie dynamiky novosti 12
Spätné overenie Cieľ: porovnanie prístupov na hodnotenie novosti 1. Získanie porovnaní článkov od 5 účastníkov 2. Vyhodnotenie 5 metód nad porovnaniami (152 porovnaní) Inverzná kosínová podobnosť Novosť na základe IDF pojmov Rozdieľnosť Jensen-Shannon nad modelom tém 2 varianty našej metódy na základe dvojíc tém článkov a na základe novosti tém 13
Spätné overenie Rozhranie Porovnávanie čítaného článku a podobných! Na základe! Relevancie Nových informácii Zaujímavosti Ktorý článok by ste čítali ďalej? 14
Spätné overenie Výsledky Najúspešnejšie metódy využívajúce hodnotenie IDF Naša metóda úspešnejšia v hodnotení relevancie a čo čítať ďalej Odporúčania metódy Novosť IDF úspešnejšie v novosti 90% 67.5% 45% 22.5% Novosť - kosínus Témy JS Spojenia tém Novosť - IDF Hodnotenie tém 69% 48% 27.4% 28.3% 24.2% 27.4% 83% 70% 71.4% 66.3% 70% 66.7% 67.2% 62.5% 60.4% 48% 48% 52% 40% 60% 0% Relevancia Novosť Zaujímavosť Čo čítať ďalej 15
Online experiment Experiment na Ontožúre Živé odporúčanie! Použité metódy: Metóda založená na podobnosti: MoreLikeThis v Elasticsearch Z predchádzajúceho experimentu: Novosť - IDF so zhlukovaním Carrot2 Naša metóda so zhlukovaním Carrot2! 23 ľudí, 310 prečítaných článkov 16
Online experiment Rozhranie Informácia o množstve a hĺbke pokrytých tém! 6 odporúčaní 3 metódy po 2 odporúčania! Úloha bola vybrať najzaujímavejšie odporúčanie 17
Online experiment Miera prekliku a R score 30.00% 22.50% 15.00% 7.50% 0.00% 25% MoreLikeThis Novosť - IDF Naša metóda Témy 30% 29% 23% 22% 22% 24% CTR! všetky CTR! čítanie dlhšie ako 15s 15% 18% R-Score! hodnotenie usporiadania odporúčaní Naša metóda bola najúspešnejšia v miere prekliku Metóda MoreLikeThis úspešnejšia v hodnotení usporiadania Odporúčania metód bez a so zohľadnením novosti mali iný charakter vhodné ich kombinovať 18
Štúdia sledovania dynamiky novosti Cieľ: získať znalosti o dynamike novosti tém článkov 12 portálov, 14520 článkov zo 42 dní Návrh štúdie Pre každý deň sme vytvorili samostatný model tém LDA Pomocou podobnosti tém sme našli viac-dňové udalosti Pomocou našej metódy sme vypočítali novosť tém voči témam predošlého dňa 19
google,facebook,twitter google,wireless,network intel,braswell,trail intel,braswell,trail boston,white,house intel,china,technology intel,china,technology april,2014,1 google,service,phone nversation,conversation la,eich,web google,earth,app microsoft,windows,word microsoft,windows,word windows,office,microsoft windows,office,microsoft mobile,windows,user mobile,windows,user windows,percent,xp windows,cortana,microsoft windows,cortana,microsoft google,angkor,street google,angkor,street app,windows,microsoft app,windows,microsoft office,microsoft,ipad office,microsoft,ipad 20 firefox,people,service ar samsung,white,house xp,microsoft,windows ich,tweet mnt,play,soccer wireless,google,service google,maps,game mozilla,eich,ceo fornia nia ortiz,white,house samsung,selfie,ortiz samsung,selfie,ortiz windows,microsoft,developer windows,microsoft,developerwindows,phone,microsoft windows,phone,microsoft windows,microsoft,desktop windows,microsoft,desktop april,2014,1 windows,microsoft,build windows,microsoft,build google,wireless,network world,match,play windows,xp,system world,match,play microsoft,windows,device mozilla,eich,firefox microsoft,windows,pdf microsoft,windows,pdf google,facebook,twitter google,facebook,twitter ceo boston,white,house windows,microsoft,phone boston,white,house windows,update,app april,2014,1 cortana,active,directory email,user,gmail microsoft,developer,azure google,earth,app microsoft,developer,azure google,earth,app e,nasa,russia n google,service,phone cortana,windows,phone a,year office,microsoft,app windows,time,start windows,time,start windows,percent,xp year samsung,white,house samsung,white,house app,office,microsoft xp,microsoft,windows firefox,people,service app,phone,android app,phone,android service,internet,charge wireless,google,service gadget,xbox,app gadget,xbox,app usmnt,play,soccer usmnt,play,soccer google,maps,game energy,apple,greenpeace google,maps,game ortiz,white,house ortiz,white,house email,inbox,conversation april,2014,1 energy,greenpeace,amazon microsoft,windows,word apple,samsung,patent amazon,dash,amazonfresh amazon,dash,amazonfresh windows,office,microsoft windows,xp,system phone,lumia,windows phone,lumia,windows mobile,windows,user amazon,show,series amazon,show,series google,wireless,network google,wireless,network windows,cortana,micro service,neutrality,net app,windows,microsoft office,microsoft,ipad valley,silicon,time april,2014,1 microsoft,windows,device microsoft,app,xbox microsoft,app,xbox april,2014,1 windows,microsoft,phone Spojenia tém do windows,update,app google,street,view cortana,active,directory windows google,service,phone email,user,gmail patent,alice,court windows,percent,xp a,russia udalostí svalley,silicon,hbo windows,microsoft,developer windows,phone,microsoft windows,microsoft,desk xp,microsoft,windows le,samsung,patent cortana,windows,phone intel,braswell,trail windows,microsoft,build xp,microsoft,windows office,microsoft,app intel,china,technology wireless,google,service samsung,apple,patent microsoft,windows,pdf orientovanými hranami azon,gaming,firetv amazon,gaming,firetv wireless,google,service message,windows,send message,windows,send court,patent,case app,office,microsoft amazon,tv,fire amazon,tv,fire april,2014,1 odwindows,xp,system staršej témy a farby phone,lumia,nokia google,angkor,street microsoft,developer,azure april,2014,1 phone,lumia,nokia g,tv,amazon amazon windows,xp,system email,inbox,conversation podľa zvyšujúcej microsoft,windows,word apple,samsung,patent windows,office,microsoft mobile,windows,user microsoft,windows,device Novosť udalostí v dňoch windows,time,start twitter,tv,cloud windows,cortana,microsoft water,drought,california ung,patent app,windows,microsoft office,microsoft,ipad windows,microsoft,phone samsung,selfie,ortiz 600 novosti windows,update,app apple,android,jobs google,service,phone mazon,streaming,video amazon,streaming,video app,phone,android cortana,active,directory r,gmail gadget,xbox,app world,match,play google,service,phone google,facebook,twitter windows,percent,xp h boston,white,house amazon,product,device amazon,product,device windows,app, twitter,tv,social windows,percent,xp cortana,windows,phone amazon,tv,game amazon,tv,game google,earth,app amazon,dash,amazonfresh phone,lumia,windows office,microsoft,app amazon,show,series windows,microsoft,developer 450 windows,phone,microsoft windows,microsoft,desktop app,office,microsoft windows,microsoft,build msung,patent water,california,year samsung,apple,patent microsoft,windows,pdf samsung,white,house microsoft,app,xbox mazon on nt,schiller,samsung usmnt,play,soccer google,maps,game versation microsoft,windows,device ortiz,white,house microsoft,windows,word microsoft,developer,azure tesla,password,car tesla,password,car windows,office,microsoft mobile,windows,user 300 windows,microsoft,phone amazon,tv,fire amazon,tv,fire windows,cortana,microsoft google,wireless,network windows,update,app microsoft,windows,device tv,fire,amazon tv,fire,amazon office,microsoft,ipadmozilla,eich,okcupid app,windows,microsoft cortana,active,directory l,user,gmail windows,microsoft,phone tv,amazon,fire tv,amazon,fire april,2014, windows,time,start windows,update,app ame,live,amazon,live,amazon amazon,gaming,firetv mozilla,eich,web cortana,active,directory atent ser,gmail message,windows,send eich,mozilla,gay amazon,tv,fire ple,android,jobs cortana,windows,phone app,phone,android 2014,april,3 gadget,xbox,app office,microsoft,app2014,april,3 150 car,tesla,unlock car,tesla,unlock phone,lumia,nokia streaming,tv,amazon apple,novauris,blackberry app,office,microsoft windows,microsoft,developer cortana,windows,phone windows,phone,microsoft xp,microsoft,windows windows,microsoft,desktop office,microsoft,app mozilla,eich,tweet windows,microsoft,build wireless,google,service amazon,dash,amazonfresh phone,lumia,windows app,office,microsoft mozilla,eich,ceo amazon,show,series microsoft,windows,pdf x,conversation april,2014 microsoft,windows,word windows,xp,system amazon,streaming,video 0 windows,office,microsoft mozilla,eich,firefox mobile,windows,user microsoft,app,xbox game,fire,tv game,fire,tv 16/3/14 18/3/14 20/3/14 22/3/14 24/3/14 26/3/14 28/3/14 30/3/14 1/4/14 3/4/14 5/4/1 windows,cortana,microsoft microsoft,developer,azure onversation tv,fire,google tv,fire,google eich,mozilla,ceo app,windows,microsoft office,microsoft,ipad internet,icann,strickling internet,icann,strickling tv,fire,search microsoft,windows,word er,samsung amazon,product,device windows,office,microsoft mobile,windows,user apple,company,siri Počet článkov udalostí v dňoch amazon,tv,game windows,cortana,microsoft 1,delay,2014 1,delay,2014 app,windows,microsoft Mozilla, Eich google,service,phone office,microsoft,ipad 60 windows,time,start windows,percent,xp ublisher Oculus, Facebook firefox,people,service app,phone,android gadget,xbox,app windows,microsoft,developer tv,fire,amazon amazon,gaming,firetv windows,phone,microsoft windows,microsoft,desktop message,windows,send Office windows,microsoft,build amazon,tv,fire microsoft,windows,pdf windows,microsoft,developer icann,internet,ntia icann,internet,ntia windows,phone,microsoft 45 phone,lumia,nokia windows,microsoft,desktop nasa,space,russian tesla,password,car amazon,dash,amazonfresh phone,lumia,windows app,tv,religious app,tv,religious amazon,show,series windows,microsoft,build streaming,tv,amazon amazon,tv,fire tv,fire,amazon microsoft,windows,pdf microsoft,windows,device microsoft,developer,azure Horvath, Github windows,microsoft,phone tv,amazon,fire microsoft,app,xbox windows,update,app game,live,amazon cortana,active,directory email,user,gmail microsoft,developer,azure amazon,streaming,video windows,time,start space,nasa,russia 30 nasa,space,russian 2014,april,3 car,tesla,unlock cortana,windows,phone tv,fire,search office,microsoft,app app,phone,android amazon,product,device gadget,xbox,app update,itunes,rss app,office,microsoft windows,time,start,lawyer app,facebook,spend app,facebook,spend amazon,tv,game zon,gaming,firetv app,phone,android putin,twitter,turkey message,windows,send itunes,update,rss gadget,xbox,app email,inbox,conversationphone,lumia,windows app,time,mobile amazon,dash,amazonfresh 15 er amazon,show,seriesapp,time,mobile amazon,tv,fire nt,share,market rcent,share,market microsoft,windows,word apple,samsung,patent windows,office,microsoft mobile,windows,user game,fire,tv tv,fire,amazon Spojenia tém do udalostí, s farbou windows,cortana,micro phone,lumia,nokia tv,fire,google app,windows,microsoft office,microsoft,ipad percent,android,google percent,android,google internet,icann,strickling mazon microsoft,app,xbox amazon,dash,amazonfresh phone,lumia,windows amazon,show,series podľa novosti 1,delay,2014 tesla,password,car window amazon,tv,fire 0 tv,fire,amazon microsoft,app,xbox 16/3/14 18/3/14 20/3/14 22/3/14 24/3/14 26/3/14 28/3/14 30/3/14 1/4/14 3/4/14 5/4/1 windows,microsoft,developer windows,phone,microsoft court,turkey,government windows,microsoft,des mazon,streaming,video windows,microsoft,build tv,amazon,fire apple,samsung,patent game,live,amazon Teplotná mapa novosti udalostí v dňoch samsung,apple,patent microsoft,windows,pdf twitter,ruling,ban amazon,product,device amazon,gaming,firetv Novosť udalostí vs. počet ich článkov message,windows,send 2014,april,3 amazon,tv,game amazon,tv,fire icann,internet,ntia car,tesla,unlock microsoft,developer,azure app,tv,religious bittorrent,blog,join mozilla,eich,okcupid google,service,phone windows,percent,xp firefox,people,service microsoft,windows,word windows,office,microsoft mobile,windows,user windows,cortana,microsoft app,windows,microsoft office,microsoft,ipad king-million-candy mozilla-eich-donation microsoft-event-nadella app-android-trend microsoft-office-app google-maps-game office-microsoft-ipad apple-samsung-patent amazon-show-series windows-microsoft-google microsoft-app-xbox amazon-streaming-video boston-white-house phone-lumia-nokia game-live-amazon ad-acceptable-lawyer twitter-ruling-ban update-windows-8.1 samsung-device-ux patent-apple-nokia openssl-server-bug google-hotel-2014 nsa-vulnerability-report galaxy-s5-s4 april-internet-2014 phone-windows-microsoft game-good-read april-2014-14 photo-app-underwood twitter-share-sell glass-google-video ubuntu-server-release karpeles-gox-bitcoin facebook-travel-friend at&t-spectrum-auction king-million-candy mozilla-eich-donation microsoft-event-nadella app-android-trend microsoft-office-app google-maps-game office-microsoft-ipad apple-samsung-patent amazon-show-series windows-microsoft-google microsoft-app-xbox amazon-streaming-video boston-white-house phone-lumia-nokia game-live-amazon ad-acceptable-lawyer twitter-ruling-ban update-windows-8.1 samsung-device-ux patent-apple-nokia openssl-server-bug google-hotel-2014 nsa-vulnerability-report galaxy-s5-s4 april-internet-2014 phone-windows-microsoft game-good-read april-2014-14 photo-app-underwood twitter-share-sell glass-google-video ubuntu-server-release karpeles-gox-bitcoin facebook-travel-friend at&t-spectrum-auction oculus-million-facebook tv,amazon,fire bitcoin-exchange-currency amazon,tv,fire tv,fire,amazon game,live,amazon oculus-facebook-vr amazon,streaming,video amazon,product,device amazon,tv,game tv,fire,amazon windows,time,start app,phone,android gadget,xbox,app htc-phone-03\/25\/14 tv,fire,search google-cloud-company amazon,gaming,firetv amazon,tv,fire streaming,tv,amazon smartphone-htc-year amazon,dash,amazonfresh amazon,show,series microsoft,developer,azure box-company-million microsoft-word-outlook huawei-company-nsa windows,microsoft,developer windows,phone,microsoft windows,microsoft,desktop windows,microsoft,build microsoft,windows,pdf twitter-make-schiller snowden-people-world isp-network-printer hiller,samsung gear-app-samsung,patent apple,android,jobs microsoft-kibkalo-accord email,inbox,conversation apple,samsung,patent onenote-windows-microsoft google-dropbox-storage cortana,windows,phone office,microsoft,app app,office,microsoft samsung,patent samsung,apple,patent sher Štúdia dynamiky novosti Udalosti microsoft,windows,device windows,microsoft,phone windows,update,app cortana,active,directory email,user,gmail asa,russia phone,lumia,windows microsoft,app,xbox 2014,april,3 message,windows,send phone,lumia,nokia tesla,password,car car,tesla,unlock wyer putin,twitter,turkey game,fire,tv tv,fire,google internet,icann,strickling 1,delay,2014 court,turkey,government Udalosť viac-dňové zoskupenie podobných tém icann,internet,ntia app,tv,religious twitter,ban,clever app,facebook,spend oculus-million-facebook bitcoin-exchange-currency oculus-facebook-vr htc-phone-03\/25\/14 google-cloud-company smartphone-htc-year box-company-million app,time,mobile microsoft-word-outlook huawei-company-nsa twitter-make-schiller microsoft-kibkalo-accord snowden-people-world isp-network-printer gear-app-samsung percent,share,market percent,android,google onenote-windows-microsoft google-dropbox-storage witter,ruling,ban
Štúdia dynamiky novosti Niektoré zistenia Až 86% tém netvorí viac-dňovú udalosť V 65% spojení tém medzi dvomi dňami, novosť klesá Dynamika novosti udalostí nemá jednoznačný charakter, ale často je najvyššia v strede Novosť udalosti nesúvisí s počtom článkov v nej 21
Zhrnutie Navrhli sme 2 varianty metód na výber relevantných článkov a hodnotenie novosti článkov Overili sme ich spätne a aj na živom odporúčaní Náš prístup bol úspešnejší voči ostatným prístupom hodnotenia novosti aj odporúčanie podľa podobnosti Pomocou našej metódy sme sledovali dynamiku obsahu 22
Závery Hodnotenie novosti pomocou IDF je najvhodnejší prístup, ktorý je možné vylepšiť aplikovaním nad modelom tém Odporúčania podľa novosti a podobnosti je vhodné kombinovať Dynamika udalostí nemá jednoznačný charakter a nesúvisí s počtom článkov 23
Otázky oponenta R-Score Metrika na hodnotenie usporiadania výsledkov odporúčania Ako sa zohľadňovalo poradie? Nepracovali sme s poradím odporúčaní, ktoré bolo zobrazené používateľovi Pre každý čítaný článok sa vypočítalo spätne top 10 odporúčaní Odstránili sa také ktoré používateľ nikdy nevidel Mohlo to mať vplyv na výsledky? Čiastočne, nie všetky z top 10 odporúčaní metód boli zohľadnené Používatelia boli ale inštruovaní aby si prečítali všetky odporúčania, čo nám umožnilo spätne hodnotiť poradie odporúčaní 24
Otázky oponenta CTR a Presnosť Aký je rozdiel medzi použitými metrikami CTR a Presnosť? V CTR bolo odporúčanie relevantné ak na neho klikol V presnosti bolo odporúčanie relevantné ak ho niekedy prečítal V presnosti sme zohľadnili aj duplicitné odporúčania metód Ktoré stránky navrhnutých metód overuje jedna či druhá metrika? V našom prípade menšie rozdiely Presnosť celkovú relevantnosť odporúčaní CTR momentálnu relevantnosť odporúčaní pre používateľa 25