Power BI – relative dates a mesures u live connection proti SSAS

Právě vyšel krásný nový update pro Power BI desktop. Tentokrát místo výpisu všech funkcí vypíchnu prozatím dvě, které mě nejvíce nadchly, protože mi vytrhnou veliký trn z paty. Jedná se o filtrování reportů ve slicerech na základě relativního datumu vztaženo ke dnešku a možnost tvořit measures/měřítka proti živému připojení u analysis services a datasetů z Power BI service (psal jsem minule http://www.neoral.cz/2017/04/power-bi-service-jako-zdroj-dat.html). Bohužel se zatím jedná, pozde o Analysis Services Tabular, Multidimenzionální instance budou následovat.

Relative dates

Jedná se o preview funkci, kterou povolíme ve file menu-options

Při tvorbě jsem využil stejně jako u minulého článku dataset ČNB, abych mohl ověřit obě funkce. Po vykreslení několika jednoduchých grafů přidávám společný slicer s datumem. Po kliknutí na nenápadnou rozbalovací šipku s typem v pravém horním rohu vybírám relative

Z položek máte k dispozici Last (posledních), Next (příštích), This (tento). Z časových období dny, klouzavé a kalendářní týdny, měsíce, roky.

Pro objasnění, co je myšleno kalendářním a klouzavým vybírám poslední 1 kalendářní rok. Všimněte si období od 1.1.2016 do 31.12.2016.

Pokud vyberu rok klouzavě, období je od 4.5.2016. do 3.5.2017. Článek píši 3.5.2017, tedy včentě dneška.

Super, konečně, děkuji Power BI týme.

Measures proti živému připojení Analysis Services a Power BI datasetů

Vzhledem k tomu, že AS jsou naším hlavním zdrojem, je tohle pro mě kritická záležitost. Ne všechny výpočty chci mít v kostkách (kvůli přehlednosti a také, výpočet potřebný pro jeden report dávat do kostky je s bazukou na komára). Zatím jsem ale musel, protože dělat výpočty na úrovni reportu v Power BI do dneška nešlo. Možnost přidat novou measure najdete přes pravé tlačítko u datasetu s živým připojením. K dispozici je jen measure, nikoliv new column.

Tahle možnost ještě minulý týden nebyla k dispozici. Vymyslel jsem si například poměrový ukazatel, jak si stojí Euro proti Dolaru

Přidávám měřítko, vykresluji graf a vidím :)

Závěr

Květnová nadílka byla bohatá, dvě zmiňované funkce jsou stěžejní pro použití nejen v enterprise prostředí. Doufám, že nebudeme čekat příliš dlouho na možnost dělat měřítka u live connection proti SSAS multidimensional. Další novinky v dalších článcích.

Power BI Service jako zdroj dat

Dnešní článek bude poměrně krátký, ale snad potěší. Jedním z omezení Power BI doposud byla nemožnost sdílet dataset vytvořený pro jeden report reportem druhým (alespoň ne z Power BI desktopu). Bylo možné vytvořit report onine, ale ten zase nešel stáhnout jako pbix. Takže pokud jste potřebovali tvořit report nad stejnou množinou dat, měli jste dvě možnosti. Buď sáhnout po datovém zdroji s živým připojením a mít model v jiné technologii (moje oblíbené SQL Server Analysis Services), nebo duplikovat logiku v nových reportech. Tj. dělat opakovaně něco, co jste už vytvořili jinde.

Tohle omezení odpadá díky funkci Power BI Service jako typu zdroje dat. Můžete na to koukat jako na Analysis Services v malém. Vytvoříte jeden report, vybudujete v něm model. Poté v druhém reportu se odkážete již na hotový dataset.

Zatím se jedná o preview funkci, kterou povolíte v menu File – Options & Settings - Options

Vybíráte datový zdroj podobně jako vždycky. Typ Power BI Service.

Vyberete Workspace a Dataset. Já pro účely vybral dataset ČNB z minulého článku o načítání dat z Webu http://www.neoral.cz/2017/03/power-bi-jak-na-nacitani-dat-z-webu.html

Dole vidíte, že jste připojení k Power BI Datasetu a platí zde stejná omezení jako u živého připojení proti SSAS. Nemůžete kombinovat s dalšími zdroji a nemůžete dělat DAXové výpočty. počítá se s tím, že tyto jste vytvořili ve zdrojovém datasetu.

Závěr

Tahle nová funkce je velmi příjemná. Umožňuje získat výhody analysis services sdíleného datového modelu i bez analysis services. Model včetně všech measures vytvoříte jednou, z jednoho místa jej aktualizujete, na jednom místě nastavíte například Row Level Security. Všechny navázané reporty si vezmou logiku z datasetu podkladového. Jediné nevýhody jsou maximální velikost modelu a počet/spolehlivost času u aktualizací. Tj 1GB model, max 8 aktualizací za den s přibližným časem spuštěním aktualizace “dle vytížení služby”.

Power BI - Jak na načítání dat z webu

Ve svém minulém článku o novinkách (http://www.neoral.cz/2017/03/power-bi-nejen-novinky-v-produktu-rijen.html) jsem zmiňoval, že došlo ke změně u konektoru pro načítání dat z webu. Jaké to má pro nás dopady? Co funguje a co nikoliv, to bych rád shrnul v dnešním článku. K demonstraci použiji své oblíbené demo s načítáním kurzovního lístku ČNB. Demo jsem už sice ukazoval jak na konferencích, tak na WUGu online v rámci české Power BI User Group. Dokonce jsem nahrál i video na Youtube (https://www.youtube.com/watch?v=wySm-v78RGI&t=48s). Nicméně textově to  ještě nikde zdokumentované nemám. A pro návod vždy hledat video, nemusí být optimální.

Cíl je jasný. Načíst kurzovní lístek z ČNB pro aktuální rok.

Zdrojový web je http://www.cnb.cz/cs/financni_trhy/devizovy_trh/kurzy_devizoveho_trhu/rok.txt?rok=2017

V Power BI Desktopu vybírám get data – from web, vkládám adresu. Vystačil bych s výběrem Basic, ale jen pro úplnost přidávám screenshot, jak vypadá advanced mód.

Potvrzuji a můžu se podívat na náhled dat. Eventuelně můžeme změnit lokální nastavení, ze kterého načítáme.

Edituji dotaz. Dávám použít první řádek jako hlavičku.

Pravým tlačítkem na sloupec s datumem vybírám unpivot other columns, abych dostal měny a kusy na řádky

Rozděluji počet kusů a měnu do dvou sloupců podle oddělovače

Následuje oblíbená funkce změna datového typu u kurzu s použitím lokálního nastavení. Tímto se odstraní problémy s různými desetinými oddělovači a odělování řádů.

Dolaďuji formáty a přejmenovávám hlavičku

Vykresluji graf po dnech a přidávám slicer s měnou.

Na lokále hotovo. Publikuji report do Power BI služby. Teď aktualizace. Ve zmiňovaném článku o novinkách (http://www.neoral.cz/2017/03/power-bi-nejen-novinky-v-produktu-rijen.html). Jsem psal, že bohužel nově nelze aktualizovat data z webu bez Power BI Gateway.

Nastavení anonymního přístupu k URL bez Gateway také neprojde :(

Gateway můžete použít jak Enterprise, tak Personal (typ instalace u On-Premises Gateway).

Já používám firemním enterprise gateway. V konfiguraci přidávám nový zdroj, typ web a vkládám adresu. Typ přístupu anonymní.

Poté už aktualizace dat nastavit jde a projde jednorázově i pravidelně.

Bohužel pokud je adresa složená dynamicky, ať už funkcí jak jsem prezentoval na videu. Nebo jen doplnění poslední části adresy (číslo roku) na základě datumu. Brána vám řekne, že nejde dataset aktualizovat, kvůli nepodporovanému zdroji. Tohle je obrovská škoda. Snad s tím Power BI team něco udělá.

Závěr

V dnešním článku jsem ukázal, jak načíst kurzovní lístek z webu ČNB s návodem krok po kroku. Stejně tak jsem ukázal, jak rozchodit pravidelnou aktualizaci. Zde jsou dva problémy, potřebujete bránu a nefunguje aktualizace z parametrizované adresy. Požadavek na bránu chápu tak, že přestože je web veřejně dostupný, chce Power BI team buď odstínit ze své infrastruktury onu zátěž potřebnou pro aktualizaci. Nebo možná také, a je to snad i více pravděpodobné, distribuovat zátěž na zdrojový web, aby šel dotaz na web odjinud, než z Power BI datacenter. Tímto se vyhnout blokování ze strany provozovatelů webu, pokud by byla zátěž příliš vysoká. Co se týká aktualizací parametrizovaných adres, tak očekávám, že se jedná o nějaký technický problém, který má nízkou prioritu pro vyřešení. Nezbývá než hlasovat na fórech, že je to něco o co stojíme.

Power BI – nejen novinky v produktu říjen 2016 – únor 2017

Za posledních pár měsíců se nakumulovalo tradičně hodně nových funkcí v Power BI desktopu, službě a mobilních aplikacích. Rád bych shrnul nejen tyto novinky, ale co Power BI ve světě. Měl možnost navštívit UK Power BI Summit, takže se podělím o získané informace o funkcích, které zatím nevyšly, ale byly veřejně přezentovány jako ve frontě (takže vyjdou v nejbližších měsících). Vyšel také Gartner Magic Quadrant pro oblast Business Intelligence. Podíváme si, jak si Microsoft stojí proti konkurenci. Začnu novinkami v Power BI Desktopu

Desktop

Obecně rozšířené možnosti slicerů. Přibyl nám datumový slicer a drop down slicer, který ušetří spoustu místa na ploše reportu.

Při tvorbě reportů můžeme uchytit vizualizace k mřížce a mít přesnější kontrolu nad rozložením stránky.

Vylepšení popisků graf a os. Konečně můžeme měnit velikost popisků osy x a y u grafů. Tloušťka čáry u čarového grafu

Seskupování (tvorba manuální skupiny, binning), top N filter, zahrnout, odstranit datové body.

Vlastní vizualizace postavené na Rku, bez nutnosti ovládat, či psát R kód. (chci se pověnovat samostatně).

Konektory OLEDB, Microsoft Dynamics 365,Mixpanel. Spark živé připojení. Konektor Visual Studio Team Services. Podpora pro SQL Failover u SQL konektoru. OData – folding u expand record operace. Azure SSAS. Update web konektoru. Změny u konektoru na Web (aktualizace vyžaduje gateway). Query dependencies dialog. ODBC a OLEDB podporují výběr napojených tabulek. Sjednocený text a CSV konektor. PowerApps Common Data Service konektor. Změna datového typu na hlavičce sloupce.

Podmíněný formát v matrixu. Kontrola nad podmíněným formátováním prázdných buněk.

Barvy os a popisků u grafů. Clustering v XY grafu.

Zalamování dlouhé hlavičky sloupců u tabulek a matrixu.

Nové agregace u datového typu datum/čas (earliest, latest)

Mobilní rozložení reportu nyní veřejně dostupné.

Rychlé výpočty: procento celku pro řádky a sloupce

Odkazy na Solution Templates a Partner Showcase na pásu karet

Služba

Služba se aktualizuje každý týden. Update obsahuje opravy a nové funkce. Power BI team vydává samostatný blog, pokud se jedná o nějakou větší, zajímavější funkci. Shrnutí toho nejpodsatnějšího za poslední měsíce je následujícíZavedení Power BI admin role v Office 365. Nemusíte být Office 365 admin, abyste měli kontrolu nad administrací Power BI.

Audit logy globálně dostupné.

Email subscriptions – subscriptions pošlou email se screenshotem stránky pokud dojde ke změně dat na dané stránce (zatím maximálně jednou denně). Zatím ne úplně použitelné, ale první vlaštovka.

Nové API pro vývojáře vlastních vizualizací

Streamování v realném čase globálně dostupné

Push řádků do Power BI za použití Flow

Micosoft Azure AD content pack

Preview nové navigace

Embed Power BI Dashboardů do aplikací

Integrace Power BI Reportů do SharePointu Online

Mobile

Oblíbené, jako domovská stránka. Filter reportu podle geo lokace. Intune integrace pro Android. Centrování mapy podle geolokace. Anotace a sdílení anotací. Podpora pro Android tablety. SSRS autentizace s použitím ADFS.

UK Power BI Summit

16-17.2 se v Londýně konal UK Power BI Summit. Pořádala jej komunita komunitě. Ale dorazili i dva členové Power BI produktového týmu z Redmondu, kteří rádi zodpověděli i šťouravé dotazy zvědavého publika. To bylo na celé akci nejpřínosnější a poté samozřejmně networking se stejně postiženými lidmi :) První den byl celodenní training/workshop od produktového týmu, (nebo Cortana Intelligence Workshop kam jsem se nevydal ani ja, ani nikdo ze 7mi kolegů, takže nevím jak to probíhalo). Druhý den byly konferenční přednášky s různě kvalitním obsahem.

Klíčové novinky, které byly oznámeny, nebo i prezentovány jsou následující. Výpočty u SSAS nad živým připojením. Tohle mi moc chybí. V první fázi to bude DAX nad tabularem, můžeme doufat, že se dočkáme i výpočtů nad multidimenzionálními modely. Vylepšená práce s tabulkou, drilování a tabulka ovlivňující okolní grafy.

Jednou z nejčastějších odpovědí skrz chybějící funkce bylo: „je to na roadmapě, hlasujte na fóru pro funkce, které vám chybí“. Jednou z pro mne podstatných odpovědí byl trend pro následující měsíce. Vyznělo to ve stylu: „Soustředili jsme se na dotáhnutí analytických funkcí a jak se probouchat k datům. V následujících měsících se více zaměříme na lepší kontrolu nad vizualizacemi.“ Takže kritizovaná neúplná kontrola nad vizualizacemi je momentálně na předním místě. Uff, toto trvalo (v perspektivě normálního smrtelníka krátce, v perspektivě Power BI věky).

Gartner

Microsoft byl vyhlášen jako jeden ze třech leaderů v Business Intelligence and Data Analytics Magic quadrantu. Další leadeři jsou Tableau a Qlik. Microsoft označen za nejsilnějšího s ohledem na „úplnost vize“.

Coby silné stránky byly hodnoceny cena, jednoduchost použití a komplexnost analýzy. Vize a aktivní komunita. Mezi body, které je potřeba mít na paměti jsou zmiňovány „nedospělost“ produktu (to jsme si lehce zažili ve firmě, že s u enterprise nasazení mohou být problémy. Dostupnost řešení pouze v cloudu (což nebude pravda zhruba od roku 2017 jak jsem psal http://www.neoral.cz/2017/01/power-bi-on-premises-v-reporting.html).

Šířka použití byť Power BI má širší portfolio funkcí, referenční zákazníci je používají primárně jako nástroj pro parametrizované reporty a dashboardy. Mezi slabé stránky je považován support. Platící zákazníci nedostávají support takový, jaký by očekávali (o tom jsem taky něco slyšel). Referenční zákazníci používají Power BI jako doplňkový nástroj ke škále dalších produktů, nikoliv jako tahouna, který by byl standardem.

Další věci, které stojí za zmínku

Ministerstvo obrany vlády Spojených Států udělilo nejvyšší akreditaci DOD Level 5 Microsoft Azure a Office 365 datacentrům jako prvnímu a zatím jedinému komerčnímu poskytovateli cloudových služeb. Takže diskuze typu jestli uložení dat v cloudu je bezpečné... Pro ministerstvo obrany USA zdá se ano, jestli pro Vás, to si zodpovězte sami :)

https://enterprise.microsoft.com/en-us/articles/industries/government/dod-level5-p-ato-granted-microsoft-azure-office-365/

Závěr

Přibyla spousta nových funkcí. Byl oznámen směr vývoje produktu, který se mě osobně líbí. A Microsoft s jeho produkty jede :)

Power BI Auditing

Lednový update Power BI Service nám přinesl auditování využití Power BI služby do našeho regionu (Evropa). Předtím byla tahle funkce dostupná v US regionech. K čemu je to dobré? Hodilo by se Vám mít podrobný přehled o tom kdo obsah vytvořil, smazal. Tady nekončíme, auditing podporuje i sledování využití Power BI reportů a dashboardů. Když něco vytvoříte, vždy se hodí mít zpětnou vazbu, kdo a jak často na reporty kouká. V reporting services za tímto účelem můžete použít tabulku Executionlogstorage, nebo views derivovaná z této tabulky. V Power BI můžeme použít auditing.

Jak tedy na to?

V Power BI Službě musíme do Admin portálu a funkci auditingu explicitně povolit. Abyste tohle mohli udělat, musíte být v Power BI Admin roli v Office 365.

Přestože k nastavení dojde hned. Zalogované informace uvidíte až se zpožděním. Pro Power BI může toto zpoždění činit až 24 hodin.

Pro procházení logů musíte do Security & Compliance Centra v Office 365. Search & investigation. ,Audit Log search. Na následujícím obrázku vidíte seznam událostí, které můžete sledovat.

Najdeme zde zobrazení dashobardu/reportu. Exporty, tisk, publikaci na web. Přidání členů do role, zahájení trial verze a další.

Poté, co se podaří Office 365 informace zalogovat, informace ve vyhledávači vypadají následovně.

Kdy, kdo, co, který report/dashboard atd.

Kompletní aktivitu můžeme vyexportovat do csv, kde detailní informace tvoří AuditData sloupec v JSON formátu.

Stačí ale udělat Power Query dotaz nad tímto zdrojem přímo z vybrané tabulky, JSON rozparsovat a můžeme tvořit kontingenční tabulku s přehledným výstupem zobrazení reportů, dashboardů pro vybrané uživatele.

Závěr

Na tohle jsem čekal dlouhu. A dočkal se :) Power BI auditing přináší možnost sledovat, co kdo dělá s vaším Power BI tenantem za účelem zpětné vazby. Umožní najít klíčové uživatele, se kterými řešit změny a stejně tak prioritizaci při změnách do stávajících reportů. Když někdo kdo report chtěl tento report nevyužívá, můžete se ptát proč.

Power BI On Premises v Reporting Services k dispozici

Na konci října 2016 jsem psal o možnosti vyzkoušet si Power BI integorvané v Reporting Services (http://www.neoral.cz/2016/10/power-bi-on-premises-v-ssrs.html) díky virtuální stanici v Azure (což není tak úplně on premises). Reporting Services tým včera vydal instalační soubory, které umožňují si tuto technologii opravdu vyzkoušet čistě on premises ať už na fyzickém počítači, tak ve vlastní virtuálce. O tom je také dnešní článek

Co budete potřebovat?

Virtuálku/neprodukční fyzický server

Windows Server 2012 či novější / Windows 8 či novější

.NET Framework 4.5.2 a novější

SQL Server 2008 a novější pro hostování RS databáze

Aktuální verze podporuje jen živé připojení proti analytickým službám. Na import si ještě počkáme. Byť v oficiálním blogu (https://blogs.msdn.microsoft.com/sqlrsteamblog/2017/01/17/power-bi-reports-in-sql-server-reporting-services-january-2017-technical-preview-now-available/) členům RS týmu proklouzlo, že pro držení datových modelů budeme potřebovat SQL Server Analysis Services (2012 SP1 CU4) nebo novější :) I importu se tedy dočkáme

Dále budeme potřebovat instalační soubory pro SQL Server Reporting Services Technical Preview dostupné zde

https://www.microsoft.com/en-us/download/details.aspx?id=54610

Součástí je instalačka na samostatně stojící reporting services a speciální nehádavá verze Power BI Desktopu (může existovat současně s instalací klasického Power BI Desktopu)

Instalace

Instalací nás provede průvodce a nedá se toho moc pokazit. S podmínkami souhlasit tradičně musíme

Po instalaci dáme konfigurovat Report Server, kde musíme nastavit tři věci. Prvně si ale všimněte v configuration manageru, že se jedná o pojmenovanou instanci RSServer. Jméno pojmenované instance nejde změnit.

Prvně vytvoříme pod položkou database novou reportservrovou databázi. Proces je stejný jako u klasických reporting services.

Database – Change Database, Create new, Next Next Next Finish (pokud vyhovuje výchozí jméno)

Dále musíme nastavit Web service URL. Stačí kliknout na záložku, pokud adresa vyhovuje tak apply.

Dále podobně Web Portal URL a apply.

Klikneme na adresu otevře se nový portál který vypadá stejně jako v RS 2016.

Můžete otevřít Power BI Desktop v RS Provedení (instalačka na stejném linku), vytvořit report s živým připojením a tento poté vypublikovat do portálu

Po uploadu souboru můžete prohlížet report v browseru.

Závěr

Skutečná on-premises verze reporting Services s Power BI je tu. Přeji příjemné testování :)

SQL Server 2016 SP1 a SQL Server vNext

Máme tu nový rok a první článek. Mnozí z nás se ještě nestihli vzpamatovat z příchodu SQL Serveru 2016 (natož aby stihli zmigrovat) a už nám vyšel první service pack pro SQL Server 2016, který tentokrát není jenom záplatami pro stávající produkt, ale přináší i nové funkce, případně odemyká funkce pro uživatele edice Standard. Týmy v Redmondu nezahálí a už stihli vydat CTP 1.1 nové verze SQL Serveru, kde ostrá verze se očekává v polovině roku 2017. Takže pokud jste 2016ku nestihli, zvažte, jestli ji rovnou nepřeskočit.

SQL Server 2016 SP1

Začnu funkcionalitou, které funkce odemkl SP1 pro uživatele edice standard. Z BI funkcí se jedná o Columnstore, Partitioning, PolyBase, Change Data Capture. Pro podrobnější seznam přikládám screenshot z oficiálního blogu s dostupností funkcí v edicích v RTM a v SP1

Pro detailnější informace k Service Packu bych vás odkázal na oficiální blog v angličtině

https://blogs.msdn.microsoft.com/sqlreleaseservices/sql-server-2016-service-pack-1-sp1-released/

Největší radost lidem z BI branže udělá asi právě column store.

Co se zatím ví o ...

SQL Server vNext

Ostrá verze bude dostupná v polovině roku 2017 a bude fungovat i na Linuxu (aktuálně si můžete zkusit preview)

První CPT obsahuje následující rozšíření

Analysis Services

Nový kompatibility level pro Tabular

„Nový“ způsob získávání dat. Máme Power Query přímo v AS Tabular

Zabezpečení na úrovni celých tabulek

Podpora „ragged hierarchies!

SSIS

Scale Out, Podpora pro Microsoft Dynamics Online

R integrace

R balíčky sqlrutils pro jednodušší integraci s SQL olapR pro konektivitu proti SSAS

Pár nových T-SQL funkcí

Oficiální blog https://msdn.microsoft.com/en-US/library/mt788653(SQL.130).aspx

S ohledem na ...

Power BI integrace

Reporting Services team se nechal slyšet v oficiálním blogu zde https://blogs.msdn.microsoft.com/sqlrsteamblog/2016/12/16/power-bi-reports-in-sql-server-reporting-services-feedback-on-the-technical-preview/

že

První verze Power BI integrované do RS testovatelné v on-premises prostředí se dočkáme v polovině ledna 2017, čili velmi brzy :)

Integraci do SQL Server 2016 neplánují v žádné podobě (SP, kumulativní update, nic)

Čeho se dočkáme

Dalších konektorů, vlastních vizualizací, možnosti koukat na On-premises Power BI přes mobilní aplikaci, vlastních vizualizací.

Co se neplánuje

Dashboardy, Q&A, Quick Insights... no žíly potrhané nemám :)

Závěr

Bohatá nadílka se nám před Vánoci urodila a čeká nás spousta zajímavých věcí v roce 2017. Pokud jste již zmigrovali na SQL Server 2016, koukněte co nového přinesl Service Pack. Pokud jste investici zvažujete a netlačí vás čas, zvažte vNext. Již brzy si budeme moct sáhnout on-premises na integrovanou verzi RS a Power BI.