10. března 2017

Power BI - Jak na načítání dat z webu

Ve svém minulém článku o novinkách (http://www.neoral.cz/2017/03/power-bi-nejen-novinky-v-produktu-rijen.html) jsem zmiňoval, že došlo ke změně u konektoru pro načítání dat z webu. Jaké to má pro nás dopady? Co funguje a co nikoliv, to bych rád shrnul v dnešním článku. K demonstraci použiji své oblíbené demo s načítáním kurzovního lístku ČNB. Demo jsem už sice ukazoval jak na konferencích, tak na WUGu online v rámci české Power BI User Group. Dokonce jsem nahrál i video na Youtube (https://www.youtube.com/watch?v=wySm-v78RGI&t=48s). Nicméně textově to  ještě nikde zdokumentované nemám. A pro návod vždy hledat video, nemusí být optimální.
Cíl je jasný. Načíst kurzovní lístek z ČNB pro aktuální rok.
V Power BI Desktopu vybírám get data – from web, vkládám adresu. Vystačil bych s výběrem Basic, ale jen pro úplnost přidávám screenshot, jak vypadá advanced mód.
Potvrzuji a můžu se podívat na náhled dat. Eventuelně můžeme změnit lokální nastavení, ze kterého načítáme.
Edituji dotaz. Dávám použít první řádek jako hlavičku.

Pravým tlačítkem na sloupec s datumem vybírám unpivot other columns, abych dostal měny a kusy na řádky
Rozděluji počet kusů a měnu do dvou sloupců podle oddělovače
Následuje oblíbená funkce změna datového typu u kurzu s použitím lokálního nastavení. Tímto se odstraní problémy s různými desetinými oddělovači a odělování řádů.


Dolaďuji formáty a přejmenovávám hlavičku
Vykresluji graf po dnech a přidávám slicer s měnou.
Na lokále hotovo. Publikuji report do Power BI služby. Teď aktualizace. Ve zmiňovaném článku o novinkách (http://www.neoral.cz/2017/03/power-bi-nejen-novinky-v-produktu-rijen.html). Jsem psal, že bohužel nově nelze aktualizovat data z webu bez Power BI Gateway.
Nastavení anonymního přístupu k URL bez Gateway také neprojde :(
Gateway můžete použít jak Enterprise, tak Personal (typ instalace u On-Premises Gateway).
Já používám firemním enterprise gateway. V konfiguraci přidávám nový zdroj, typ web a vkládám adresu. Typ přístupu anonymní.

Poté už aktualizace dat nastavit jde a projde jednorázově i pravidelně.
Bohužel pokud je adresa složená dynamicky, ať už funkcí jak jsem prezentoval na videu. Nebo jen doplnění poslední části adresy (číslo roku) na základě datumu. Brána vám řekne, že nejde dataset aktualizovat, kvůli nepodporovanému zdroji. Tohle je obrovská škoda. Snad s tím Power BI team něco udělá.
Závěr

V dnešním článku jsem ukázal, jak načíst kurzovní lístek z webu ČNB s návodem krok po kroku. Stejně tak jsem ukázal, jak rozchodit pravidelnou aktualizaci. Zde jsou dva problémy, potřebujete bránu a nefunguje aktualizace z parametrizované adresy. Požadavek na bránu chápu tak, že přestože je web veřejně dostupný, chce Power BI team buď odstínit ze své infrastruktury onu zátěž potřebnou pro aktualizaci. Nebo možná také, a je to snad i více pravděpodobné, distribuovat zátěž na zdrojový web, aby šel dotaz na web odjinud, než z Power BI datacenter. Tímto se vyhnout blokování ze strany provozovatelů webu, pokud by byla zátěž příliš vysoká. Co se týká aktualizací parametrizovaných adres, tak očekávám, že se jedná o nějaký technický problém, který má nízkou prioritu pro vyřešení. Nezbývá než hlasovat na fórech, že je to něco o co stojíme.

3. března 2017

Power BI – nejen novinky v produktu říjen 2016 – únor 2017

Za posledních pár měsíců se nakumulovalo tradičně hodně nových funkcí v Power BI desktopu, službě a mobilních aplikacích. Rád bych shrnul nejen tyto novinky, ale co Power BI ve světě. Měl možnost navštívit UK Power BI Summit, takže se podělím o získané informace o funkcích, které zatím nevyšly, ale byly veřejně přezentovány jako ve frontě (takže vyjdou v nejbližších měsících). Vyšel také Gartner Magic Quadrant pro oblast Business Intelligence. Podíváme si, jak si Microsoft stojí proti konkurenci. Začnu novinkami v Power BI Desktopu
Desktop
Obecně rozšířené možnosti slicerů. Přibyl nám datumový slicer a drop down slicer, který ušetří spoustu místa na ploše reportu.
Při tvorbě reportů můžeme uchytit vizualizace k mřížce a mít přesnější kontrolu nad rozložením stránky.
Vylepšení popisků graf a os. Konečně můžeme měnit velikost popisků osy x a y u grafů. Tloušťka čáry u čarového grafu
Seskupování (tvorba manuální skupiny, binning), top N filter, zahrnout, odstranit datové body.
Vlastní vizualizace postavené na Rku, bez nutnosti ovládat, či psát R kód. (chci se pověnovat samostatně).
Konektory OLEDB, Microsoft Dynamics 365,Mixpanel. Spark živé připojení. Konektor Visual Studio Team Services. Podpora pro SQL Failover u SQL konektoru. OData – folding u expand record operace. Azure SSAS. Update web konektoru. Změny u konektoru na Web (aktualizace vyžaduje gateway). Query dependencies dialog. ODBC a OLEDB podporují výběr napojených tabulek. Sjednocený text a CSV konektor. PowerApps Common Data Service konektor. Změna datového typu na hlavičce sloupce.
Podmíněný formát v matrixu. Kontrola nad podmíněným formátováním prázdných buněk.
Barvy os a popisků u grafů. Clustering v XY grafu.
Zalamování dlouhé hlavičky sloupců u tabulek a matrixu.
Nové agregace u datového typu datum/čas (earliest, latest)
Mobilní rozložení reportu nyní veřejně dostupné.
Rychlé výpočty: procento celku pro řádky a sloupce
Odkazy na Solution Templates a Partner Showcase na pásu karet
Služba
Služba se aktualizuje každý týden. Update obsahuje opravy a nové funkce. Power BI team vydává samostatný blog, pokud se jedná o nějakou větší, zajímavější funkci. Shrnutí toho nejpodsatnějšího za poslední měsíce je následujícíZavedení Power BI admin role v Office 365. Nemusíte být Office 365 admin, abyste měli kontrolu nad administrací Power BI.
Audit logy globálně dostupné.
Email subscriptions – subscriptions pošlou email se screenshotem stránky pokud dojde ke změně dat na dané stránce (zatím maximálně jednou denně). Zatím ne úplně použitelné, ale první vlaštovka.
Nové API pro vývojáře vlastních vizualizací
Streamování v realném čase globálně dostupné
Push řádků do Power BI za použití Flow
Micosoft Azure AD content pack
Preview nové navigace
Embed Power BI Dashboardů do aplikací
Integrace Power BI Reportů do SharePointu Online
Mobile
Oblíbené, jako domovská stránka. Filter reportu podle geo lokace. Intune integrace pro Android. Centrování mapy podle geolokace. Anotace a sdílení anotací. Podpora pro Android tablety. SSRS autentizace s použitím ADFS.
UK Power BI Summit
16-17.2 se v Londýně konal UK Power BI Summit. Pořádala jej komunita komunitě. Ale dorazili i dva členové Power BI produktového týmu z Redmondu, kteří rádi zodpověděli i šťouravé dotazy zvědavého publika. To bylo na celé akci nejpřínosnější a poté samozřejmně networking se stejně postiženými lidmi :) První den byl celodenní training/workshop od produktového týmu, (nebo Cortana Intelligence Workshop kam jsem se nevydal ani ja, ani nikdo ze 7mi kolegů, takže nevím jak to probíhalo). Druhý den byly konferenční přednášky s různě kvalitním obsahem.
Klíčové novinky, které byly oznámeny, nebo i prezentovány jsou následující. Výpočty u SSAS nad živým připojením. Tohle mi moc chybí. V první fázi to bude DAX nad tabularem, můžeme doufat, že se dočkáme i výpočtů nad multidimenzionálními modely. Vylepšená práce s tabulkou, drilování a tabulka ovlivňující okolní grafy.
Jednou z nejčastějších odpovědí skrz chybějící funkce bylo: „je to na roadmapě, hlasujte na fóru pro funkce, které vám chybí“. Jednou z pro mne podstatných odpovědí byl trend pro následující měsíce. Vyznělo to ve stylu: „Soustředili jsme se na dotáhnutí analytických funkcí a jak se probouchat k datům. V následujících měsících se více zaměříme na lepší kontrolu nad vizualizacemi.“ Takže kritizovaná neúplná kontrola nad vizualizacemi je momentálně na předním místě. Uff, toto trvalo (v perspektivě normálního smrtelníka krátce, v perspektivě Power BI věky).
Gartner
Microsoft byl vyhlášen jako jeden ze třech leaderů v Business Intelligence and Data Analytics Magic quadrantu. Další leadeři jsou Tableau a Qlik. Microsoft označen za nejsilnějšího s ohledem na „úplnost vize“.
Research image courtesy of Gartner, Inc.
Coby silné stránky byly hodnoceny cena, jednoduchost použití a komplexnost analýzy. Vize a aktivní komunita. Mezi body, které je potřeba mít na paměti jsou zmiňovány „nedospělost“ produktu (to jsme si lehce zažili ve firmě, že s u enterprise nasazení mohou být problémy. Dostupnost řešení pouze v cloudu (což nebude pravda zhruba od roku 2017 jak jsem psal http://www.neoral.cz/2017/01/power-bi-on-premises-v-reporting.html).
Šířka použití byť Power BI má širší portfolio funkcí, referenční zákazníci je používají primárně jako nástroj pro parametrizované reporty a dashboardy. Mezi slabé stránky je považován support. Platící zákazníci nedostávají support takový, jaký by očekávali (o tom jsem taky něco slyšel). Referenční zákazníci používají Power BI jako doplňkový nástroj ke škále dalších produktů, nikoliv jako tahouna, který by byl standardem.
Další věci, které stojí za zmínku
Ministerstvo obrany vlády Spojených Států udělilo nejvyšší akreditaci DOD Level 5 Microsoft Azure a Office 365 datacentrům jako prvnímu a zatím jedinému komerčnímu poskytovateli cloudových služeb. Takže diskuze typu jestli uložení dat v cloudu je bezpečné... Pro ministerstvo obrany USA zdá se ano, jestli pro Vás, to si zodpovězte sami :)
Závěr
Přibyla spousta nových funkcí. Byl oznámen směr vývoje produktu, který se mě osobně líbí. A Microsoft s jeho produkty jede :)