Thiago Zavaschi R2 www.zavaschi.com

24Jun/100

PowerPivot – DAX – Tipos de Funções DAX

Olá!

Comecei a falar das DAX e esqueci de mencionar algumas coisas importantes.

Primeiramente: é possível usar diversas fórmulas do Excel dentro do PowerPivot (eu disse diversas, isso não significa todas).

E segundo: Há funcões que só existem dentro do PowerPivot, que facilitam (e muito) a nossa vida para extrair as informações.

As funções disponíveis podem ser divididas nas seguintes categorias (fonte):

Date and time

=WEEKDAY([OrderDate],1)

Retorna o número do dia na semana. Onde 1 é domingo e 7 é sábado.

Filter and value

=FILTER(ProductSubcategory,
[EnglishProductSubcategoryName]
= "Road Bikes")

Returna um subconjunto de uma tabela baseada numa expressão de filtro.

Information

=IsNumber([OrderQuantity])

Retorna TRUE se o valor é numérico e FALSE se não.

Logical

=IF([OrderQuantity]<10,"low",
IF([OrderQuantity]<100,"medium"
,"high"))

Retorna o valor do segundo argumento se o valor do primeiro argumento for verdade. Caso contrário retorna o valor do terceiro argumento.

Math and trig

=ROUND([SalesAmount] *
[DiscountAmount],2)

Retorna o valor do primeiro elemento arredondado pro número de dígitos do segundo elemento.

Statistical

=AVERAGEX(ResellerSales,
[SalesAmount]-
[TotalProductCost])

Resolve a expressão do segundo argumento para cada linha da tabela no primenro argumento e então calcula a média aritmética.

Text

=CONCATENATE([FirstName],
[LastName])

Retorna uma string da junção de dois itens em texto.

Time Intelligence

=DATEADD([OrderDate],10,day)

Retorna uma tabela de datas obtidas pela adição de dias (ou outro tipo especificado no terceiro parâmetro)especificados no segundo argumento na data passada no primeiro parâmetro.

Meu objetivo é abordar cada grupo e mostrar algumas peculiaridades e como funcionam.

E na sequência postar alguns problemas comuns que vocês terão que resolver (e eu também) usando DAX.

Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/

Abraços,
Thiago Zavaschi

19Jun/100

PowerPivot – DAX – Time Intelligent Functions – Golden Rules

Olá!

Estou desenvolvendo um trabalho de BI para um cliente baseado no Powerpivot. Esta solução vai fazer uso intensivo de datas.

Existem algumas “regras de ouro” (“Golden Rules”) quando se está trabalhando com datas no PowerPivot.

São elas (fonte: Kasper de Jonge, para variar, hehe, o cara é fera!):

  1. Nunca usar a coluna datetime da tabela fato nas funções de tempo.
  2. Sempre criar uma tabela Tempo (dimensão de tempo) separada.
  3. Crie relacionamentos entre as tabelas fato e a tabela de tempo.
  4. Tenha certeza de que os relacionamentos são baseados na coluna datetime (e não em outra chave artificial).
  5. A coluna datetime na tabela tempo deve estar na granularidade de dia (sem frações dentro do mesmo dia).

Nos próximos posts veremos melhor estes processos.

Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/

Abraços,
Thiago Zavaschi

17Jun/100

PowerPivot – DAX – Função DATE

Olá pessoal,

Temos disponíveis entre as DAX uma série de funções para análise de tempo e datas (também conhecidas como time intelligent functions, que abordarei aos poucos).

Hoje venho relatar a função DATE e as suas peculiaridades (ao menos nesta versão do PowerPivot, também conhecida como v1), mais informações podem ser vistas no FAQ: http://powerpivotfaq.com).

A primeira função que devemos nos atentar é a função DATE. O seu objetivo é simples: retornar em formato de data sobre os inteiros passados como parâmetros.

Sintaxe: DATE(ano, mês, dia).

Exemplo 1: Retornando uma data simples.

=DATE(2010, 06, 17).

O retorno será dia 17, mês junho, ano 2010. Simples não? Lembrando que os parâmetros podem vir de resultados de outras expressões DAX (por exemplo de outra coluna). Veja abaixo:

image

Exemplo 2:

Apesar de simples, devemos nos atentar para pequenos detalhes que podem nos levar a problemas nas nossas manipulações de datas.

O que você acha que retorna a seguinte expressão DAX: =DATE(08, 06, 01)?

Se voc6e respondeu dia 01 de junho de 2008 errou! Na realidade representa 01/06/1908! Pois anos até 1899 são somados ao valor 1900. 1900 + 08 = 1908, entendeu?

Se desejar 2008, é necessário que o valor passado seja 2008. Mas como resolver isto se a minha coluna veio importada de uma fonte que trata 08 como 2008? Simples: Crie uma coluna computada que tranforme de 08 para 2008.

A imagem abaixo demonstra a questão do valor menor que 1900 receba uma soma de 1900 para o cálculo do ano. Anos de 1900 para cima não recebem o acréscimo.

image

Atente que 1789 foi para o ano 3689, e 1900/1995 permaneceram os mesmos.

Exemplo 3: Manipulando os dias (e meses).

O terceiro parâmetro é a referência ao dia.

Atenção pois há peculiaridades também: Se informar um valor de dia maior que o que o mês pode comportar (dia 31 para o mês de fevereiro, ou passar o valor 45 como dia), esse valor será somado.

Por exemplo: se informar 45 em um mês que deveria ter 30 dias apenas, será somado mais 15 dias e cairá na metade do mês seguinte.

De maneira similar, se informar uma data negativa será decrescido o valor informado.

Veja a imagem abaixo com alguns exemplos.

PS: O mesmo comportamento é aplicado ao parâmetro com o número do mês informado.

image

 

Bom pessoal era isso o que eu queria mostrar hoje. É mais para vocês não subestimarem as funções simples, pois se não conhecermos os detalhes teremos resultados muitas vezes inesperados e difíceis de rastrear.

Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/

Abraços,
Thiago Zavaschi

16Jun/100

PowerPivot – Data Analysis Expressions DAX – Intro

Então pessoal. :)

Creio que muitos que acompanham as evoluções do PowerPivot já devem ter se deparado com o seguinte pensamento: falta material sobre DAX em português e as referências externas (em inglês ao menos) são sempre de blogs de especialistas (Rob Collie, Kasper de Jonge, Vidas Matelis).

A minha proposta é seguir na mesma linha (já que meu principal canal de difusão de informação é este blog mesmo) e fornecer um pouco de conteúdo sobre DAX, mas em português. Já fiz alguns posts de introdução ao PowerPivot, então creio que valha a pena explorar num nível técnico mais profundo. Claro que se sugirem dúvidas podem perguntar :).

DAX é a abreviação para Data Analysis Expressions. É uma “evolução” da liguagem de fórmulas do Excel e só funcionará par a manipulação da base do PowerPivot dentro do seu workbook.

As DAX são importantes pois: devido a semelhança com a (já conhecida) linguagem de fórmulas do Excel e também por possibilitarem uma flexibilidade na análise dos dados. A capacidade de escrever as DAX e elas serem sensíveis aos slicers do Excel 2010 gera um ganho muito grande de capacidade de análise.

Agora vamos por a mão na massa. Neste artigo apresento uma introdução dos dois tipos de expressões DAX que podem ser criadas. Nos próximos artigs vou assumir que os concents apresentados aqui já estão assimilados.

Temos dois lugares onde podemos utilizar as DAX:

1) Através de novas colunas associadas a uma determinada tabela importada no PowerPivot, conhecidas como “calculated columns”. O resultado desta expressão DAX é armazenado juntamente aos seus dados. O uso deste tipo de DAX (em geral) não deve acarretar problemas de performance.

Há algumas experiências (do pessoal que citei no início do post principalmente) que relatam que a taxa de compressão adquirida pelo VertiPaq atravém de colunas importadas é maior que sobre as colunas calculadas. Não fiz um teste com uma massa grande ainda, mas o que eles querem dizer é que: nos casos em que o cálculo pode vir já feito no momento da importação a compressão (sobre o tamanho final do workbook) possui maiores ganhos. A seguir um exemplo da criação de uma coluna utilizando DAX ou trazendo da fonte de dados diretamente. Há outras utilizadades para colunas computadas que veremos ao longo do artigo e em artigos futuros.

Por exemplo:

Usar a expressão DAX como coluna computada: =Tabela[coluna1] * Tabela[coluna2].

É equivalente a importar (do SQL Server por exemplo) com uma coluna computada na query:

SELECT *, coluna1 * coluna2 FROM Tabela

 image

2) Através de DAX Measures (medidas) que são calculadas tendo como base uma tabela ou uma coluna. Este cálculo será executado para cada célula que o contiver. Então atenção quando utilizá-las!

Uma DAX Measure é basicamente uma fórmula DAX (estilo a usada para a criação de uma coluna) associada a um nome (e a uma tabela).

Um aspecto positivo das DAX Measures é que elas operam sobre o conjunto atual da PivotTable. A cada intereçaão dos slicers temos o recálculo dos valores das measures e com isso temos a atualização dos valores mostrados nos gráficos e tabelas.

Por exemplo:

Vou criar uma DAX measure para o exemplo mostrado na figura anterior que fará a soma dos elementos da coluna nomeada “Valor”.

Ficar complicado (por ter muitos elementos) eu usar a coluna Valor como fonte do slicer (ver figura abaixo). Então o que fazer nestes casos?

image

Conforme vimos no tópico anterior, é possível criar colunas através de expressões DAX. uma saida então é criar uma nova coluna que agrupe os valores. (isso não é um case, os exemplos são apenas para fins didáticos, por isso são simples).

Vou criar uma coluna que categorize os elementos da coluna valor quando são menores que 10, entre 10 e 20, e maiores que 20. Em exemplos futuros abordaremos melhor esta estratégia de categorização.

Notas sobre a sintaxe da DAX:

* Estou usando o operador IF, que apesar de simples é extremamente importante para se obter os resultados desejados.

* O operador de concatenação de strings é o &.

* Para me referir a uma tabela eu simplesmente digo o nome da mesma, para me referenciar a uma coluna utiliza-se: NomeTabela[NomeColuna].

* Operadores MAX e MIN (perceba que não são os novos MAXX e MINX, estes veremos em artigos futuros) calculam os valeres máximos e mínimos das colunas passadas como parâmetro a eles).

* Aninhei um segundo IF no parâmetro “else” do primeiro.

A expressão resultante é a seguinte (também pode ser observada na figura abaixo):

=IF(Tabela[Valor] < 10, MIN(Tabela[Valor]) & " |- 10", IF(Tabela[Valor] <= 20, "10 |- 20", "20 |- " & MAX(Tabela[Valor])))

image

Usar essa nova coluna (GrupoValor) como um slicer tornou a coisa bem mais interessante, não? :)

image

Agora seleciono a PivotTable e vou em “New Measure” lá na ribbon. E crio a seguinte expressão DAX (perceba que também aparece na PowerPivot Field List com um pequeno ícone ao lado):

=SUM(Tabela[Valor])

image

Adicione esta measure como valor na PivotTable e adicione a coluna GrupoValor como um slicer. Pronto! Selecione os slicers e veja que o valor total é alterado de acordo com o que foi marcado! :)

image image

Aguardem novos posts sobre DAX em um futuro (espero que) não muito distante!

Este artigo é parte de uma série de artigos sobre PowerPivot e DAX. Confira os outros artigos sobre PowerPivot no link: http://zavaschi.com/index.php/tag/powerpivot/

Abraços,
Thiago Zavaschi

11May/100

PowerPivot Lançado, BI Conference Brasil, MCITP

Finalmente depois de tanto tempo no CTP de novembro (CTP3), incompatível com o Office 2010 RTM, foi lançado publicamente o PowerPivot for Excel!

Link para download: http://www.microsoft.com/downloads/details.aspx?displaylang=en&FamilyID=e081c894-e4ab-42df-8c87-4b99c1f3c49b

Lembrem-se de baixar de acordo com a arquitetura do seu Excel instalado (x86 ou x64)!

É uma grande notícia!

Eu já estava há algumas semanas com o RTM e posso dizer que está muito mais rápido (umas 3x nos meus testes).

--

A segunda parte do post é para informar que fui convidade pelo João Nunes (gerente do time de SQL Server aqui do Brasil) para dar uma palestra sobre PowerPivot e BI, na BI Conference Brasil! Que será realizada no dia 26/05 em São Paulo!

O título da palestra será: “Implementando análises e relatórios com Power Pivot e Reporting Services”. Show né?

Não sei ainda se será um evento aberto ou não, mas assim que souber posto detalhes!

--

E por fim mas não menos importante: Ontem obtive mais uma certificação para o meu currículo! Agora sou MCITP Database Developer 2008.

A prova teve algumas questões triviais (se conhecer sobre é fácil) e algumas que realmente me fizeram queimar massa cinzenta, mas no final deu tudo certo!

Grande abraço,
Thiago Zavaschi

4May/100

Mais PowerPivot (agora RTM) e o PowerPivot Day

Olá pessoal!

Primeiramente eu gostaria de agradecer imensamente a todos que estiveram presentes no PowerPivot Day realizado dia 01/05/2010 através da web.

Foi focado na tecnologia de self-service BI da Microsoft, o PowerPivot :-).

Apresentei com foco de dar ao público uma visão do que é Business Intelligence e também a parte client do PowerPivot, com a minha demo de 33 milhões de linhas! Deu pra mostrar bem a grande velocidade de processamento e facilidade de utilização.

Na sequência apresentaram duas feras: Mariano Teixeira Neto (mtn@microsoft.com), trabalha como tester do PowerPivot na Microsoft em Redmond (USA), que apresentou sobre o PowerPivot for SharePoint e a arquitetura envolvida por trás de features do SharePoint. Foi um material de altíssimo nível e que em português ainda não se encontra sobre (muita coisa não é encontrada nem em inglês!). Após o Mariano, nada mais, nada menos que o grande Rob Collie (fundados da PivotStream, ex Program Manager da Microsoft (PowerPivot)) que apresentou sobre a linguagem de fórmulas do PowerPivot, as DAX (Data Analysis eXpressions), como foi uma palestra em inglês parece que uma parte do pessoal não conseguiu acompanhar e saiu, mas ainda assim permaneceram diversas pessoas interessadas (o que eu achei o máximo)!

Meu MUITO OBRIGADO novamente aos palestrantes e a todos que estiveram presente assistindo! Espero que tenha conseguido vislumbrar bem esse mundo de BI! O feedback pelo twitter (acompanhando a hash #PowerPivotDay) foi fantástico.

Espero que isso sirva de exemplo e inspiração sobre questões como: networking internacional, eventos ligados para nós e para o pessoal de fora do país. Aguardo novos eventos assim e espero poder contribuir, ainda que minimamente, para melhorar tudo isso.

O evento repercutiu em alguns blogs, inclusive o do Fábio Ávila que foi colega de mestrado do Mariano! http://avilasolucoes.spaces.live.com/blog/cns!E76C874EF6DB7846!249.entry

O material das palestras pode ser baixado aqui: http://cid-8de5a8efc1819eca.skydrive.live.com/browse.aspx/P%c3%bablico/Webcasts/PowerPivotDay E o link para download do webcast é o seguinte: https://msevents.microsoft.com/CUI/WebCastEventDetails.aspx?culture=pt-BR&EventID=1032445071&CountryCode=BR

 

E agora por último, mas com certeza não menos importante: o PowerPivot RTM foi lançado!!! Ainda não está disponível par ao grande público, mas já está disponível no MSDN (para quem é assinante). É provavél que muito em breve esteja disponível no www.powerpivot.com.

Abraços e todos e novamente obrigado!
Thiago Zavaschi

Tagged as: No Comments
15Apr/103

Brazilian PowerPivot Day e Community Launch

Pessoal,

Acredito que alguns de vocês já tenham ficado sabendo da minha agenda futura de eventos, mas vou reforçar o convite!

Sábado agora, dia 17/04/2010 terá a wave 2 da série de eventos pelo Brasil conhecida como Community Launch. Tive a honra de ser convidado para palestrar neste dia em Piracicaba – SP.

Será um evento presencial. Maiores informações vocês podem acompanhar no site do evento: http://www.insidedotnet.com.br/cl2010/agenda.html. Eu falarei sobre BI no SQL Server 2008 R2. :)

Teremos Community Launch em Blumenau (TechDay Blumenau) (saudosa terra do chopp :-) no dia 24/04/2010, onde palestrarei também, falando especificamente sobre o SQL Server PowerPivot! Maiores informações no site do evento: http://www.mstechday.com/grade.html.

E por fim, mas não menos importante:

Para você que não pode me acompanhar em Marília –SP (MTD2010, que aconteceu dia 10/04) e também não poderá acompanhar nos eventos presencias (e mesmo que tenha acompanhado) faço o convite para um Community Launch online: o PowerPivot Day.

Serão 3 palestras:

1) PowerPivot for Excel, onde eu falarei da feature, será ministrada em português.

2) PowerPivot for SharePoint, que será ministrara pelo Mariano Teixeira Neto (brasileiro que trabalha no time do PowerPivot em Redmond, na MS Corp), será em português também.

3) Data Analysis eXpression, que será com o grande Rob Collie (@powerpivotpro, www.powerpivotpro.com, ex-MS, um dos grandes idealizadores do PowerPivot!!!) falando sobre a linguagem DAX para manipulação dos seus PivotCharts e PivotTables. Essa será ministrada em inglês :).

O evento será totalmente online no dia 01/05/2010.

O endereço para as incrições é o: http://bit.ly/powerpivotday 

Eu que já estou estudando/usando o PowerPivot vou assistir também, e claro, aprender muito com essas feras mesmo assim!! :)

Ajude-nos a divulgar :)

Grande abraço a todos!
Thiago Zavaschi

5Apr/102

PowerPivot – Expiração em 01/04/2010 – CTP3

Pessoal,

Post rápido hoje. Quem está utilizando o PowerPivot CTP 3 (CTP de novembro) percebeu que o mesmo expirou dia primeiro de abril (e não era pegadinha hehe :-).

O time deles irá disponibilizar a mesma build (de novembro) só que com data de expiração maior em breve. Enquanto isso a solução temporária é voltar a data do seu relógio para uma anterior ao dia 01/04.

Fiquem atentos ao twitter oficial (@powerpivot) e ao site (www.powerpivot.com) para novidades de lançamento da nova build. E claro, postarei aqui também assim que souber de novidades.

Abraços,
Thiago Zavaschi

23Mar/100

PowerPivot Component Architecture

Olá pessoal,

A equipe do blog do PowerPivot postou um adiantamento do que será o white paper a ser lançado em abril/maio (2010) entitulado “Microsoft SQL Server PowerPivot Planning and Deployment”, revisado por Daniel Yu, Dave Wickert, Denny Lee, Donald Farmer, James Howey, John Hancock. Somente FERA!

O link para a prévia é: http://blogs.msdn.com/powerpivot/archive/2010/03/22/powerpivot-component-architecture.aspx, o artigo é em inglês mas é leitura obrigatória para quem se interessa pelo PowerPivot.

Abraços,
Thiago Zavaschi

22Mar/100

PowerPivot for SharePoint – Data Refresh

Olá pessoal,

O post de hoje continuará na linha do PowerPivot for SharePoint.

Qual o maior pesadelo sobre gestão quando pensamos em análise (em geral) feita em planilhas do Excel?

Na realidade são dois: Descentralização e desatualização.

Problema 1: Descentralização

O problema da descentralização pode ser resolvido através da utilização de um mecanismo centralizador de documentos, como o SharePoint (sem entrar nos méritos do PowerPivot, estou me referindo ao compartilhamento de documentos padrão do SharePoint).

O PowerPivot for SharePoint funciona como um centralizador destes documentos e associado ao Excel Services (serviço do SharePoint) permite a visualização dos aplicativos PowerPivot.

Vale a pena lembrar: O PowerPivot só é possível porque arquivos do excel são na verdade aplicações e não apenas planilhas. Este é um conceito muito importante.

image

Problema 2: Desatualização

Outro problema das planilhas Excel: descentralização. Durante muito tempo (ainda hoje) era comum encontrar planilhas que continham pesadas regras de negócios e dados. Estes dados que alimentam as tomadas de decisão precisam ser atualizados. E sem um processo facilitador (automático) os dados ficavam facilmente desatualizados.

No PowerPivot for SharePoint temos a atualização automática dos dados, no qual um serviço do SharePoint 2010 é responsável pela atualização. A frequência de atualização mais rápida que conseguimos é a diária. Chamamos este recurso pelo nome (meio óbvio) de Data Refresh.

Mas algo é importante ressaltar: Você pode configurar a atualizaçào automática (só ocorrerá se você configurar), mas não são todas as planilhas que são desejáveis que se atualizem automaticamente. Isso dependera muito da regra de negócio envolvida com a aplicação PowerPivot.

 image

Solução: PowerPivot for SharePoint

logo-sharepoint-2010

Conforme comentei na descrição dos problemas, o SharePoint 2010 e a integração o PowerPivot garante a solução destes problemas citados.

A configuração para a atualização de dados é fácil e rápida.

Observação importante: O servidor onde a aplicação PowerPivot está armazenada DEVE poder acessar a fonte de dados. É de certa forma óbvio, mas devemos sempre estar atentos.

image

Clicando no botão Manage Data Refresh (conforme mostrado na imagem acima) pela primeira vez, o usuário é levado para a tela de configuração, caso contrário entra na tela de histórico com os dados relacionados. Na tela de histórico é disponibilizado um link para configuração da atualização, próximo ao item Next Scheduled Refresh: Configure Schedule.

Outro ponto importante é que você pode selecionar qual fonte de dados você deseja que seja atualizada! Ou seja, nem todas as fontes precisam ser atualizadas. Isto pode ser particularmente importante para atender as demandas de negócio dos usuários.

A seguir temos as telas de histórico e de configuração, respectivamente:

image

image

É isto pessoal. A ideia deste post era apenas para demonstrar as soluções que temos associadas a esta tecnologia para resolvermos problemas comuns encontrados.

Abraços a todos!
Thiago Zavaschi