Advento de 2020, dia 28 – infraestrutura como código e como automatizar, criar scripts e implantar Azure Databricks com Powershell

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

[ad_1]

[This article was first published on R – TomazTsql, and kindly contributed to R-bloggers]. (Você pode relatar problemas sobre o conteúdo desta página aqui)


Quer compartilhar seu conteúdo em R-bloggers? clique aqui se você tiver um blog, ou aqui se não tiver.

Série de postagens do Azure Databricks:

Ontem, examinamos como trazer os recursos do Databricks para mais perto de sua máquina cliente. E tornando a codificação, a preparação de dados e a ciência de dados um pouco mais convenientes.

Hoje veremos como implantar o espaço de trabalho do Databricks usando o Powershell.

Você não precisará de nada CLI, Powershell e tudo o que você já tem. Então, vamos entrar na CLI e obter o Módulo Azure Powershell.

No tipo CLI:

if ($PSVersionTable.PSEdition -eq 'Desktop' -and (Get-Module -Name AzureRM -ListAvailable)) {
    Write-Warning -Message ('Az module not installed. Having both the AzureRM and ' +
      'Az modules installed at the same time is not supported.')
} else {
    Install-Module -Name Az -AllowClobber -Scope CurrentUser
}

Depois disso, você pode se conectar à sua assinatura do Azure:

Connect-AzAccount

Você será solicitado a adicionar suas credenciais. E depois de inseri-los, você obterá os resultados em seu Conta, tenantID, Meio Ambiente e Nome da assinatura.

Uma vez conectado, veremos o módulo Databricks. Para listar todos os módulos:

Get-Module -ListAvailable

Para explorar o que está disponível para Az.Databricks, vamos ver com o seguinte comando PS:

Get-Command -Module Az.Databricks

Agora podemos criar um novo espaço de trabalho. Dessa forma, você também pode criar “semi” automação, mas o ARM tornará as próximas etapas ainda mais fáceis.

New-AzDatabricksWorkspace  `
   -Name databricks-test  `
   -ResourceGroupName testgroup  `
   -Location eastus  `
   -ManagedResourceGroupName databricks-group  `
   -Sku standard

Ou podemos usar a implantação ARM (Azure Resource Manager):

$templateFile = "/users/template.json"
New-AzResourceGroupDeployment `
  -Name blanktemplate `
  -ResourceGroupName myResourceGroup `
  -TemplateFile $templateFile

Ou você pode passar pelo processo de implantação no Portal do Azure:

Leia Também  Gráficos em R com ggplot2

E selecione um modelo Github para criar um novo espaço de trabalho do Azure Databricks:

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Ou você pode ir em “Construir seu próprio modelo” e obter minha pasta Github Repository IaC com os arquivos template.json e Parameters.json e colar o conteúdo aqui.

Adicione primeiro o novo grupo de recursos:

New-AzResourceGroup -Name RG_123xyz  -Location “westeurope”

E no final, gere os arquivos JSON para sua implantação automatizada. Adicionando com arquivo de parâmetros:

$templateFile = "/users/tomazkastrun/Documents/GitHub/Azure-Databricks/iac/template.json"
PS /Users/tomazkastrun> $parameterFile=“/users/tomazkastrun/Documents/GitHub/Azure-Databricks/iac/parameters.json”
New-AzResourceGroupDeployment -Name DataBricksDeployment -ResourceGroupName RG_123xyz -TemplateFile $templateFile -TemplateParameterFile $parameterFile

Isso vai levar algum tempo:

Mas você sempre pode verificar o que está acontecendo no Portal do Azure:

E você pode ver o status da implantação: 1 Implantando. E assim que terminar, você terá o PowerShell retornando o status:

Esses valores serão iguais aos do arquivo parameters.JSON. Dessa maneira, você pode automatizar sua implantação e integração contínua (CI) e implantação contínua (CD).

Amanhã iremos explorar o Apache Spark.

O conjunto completo de código e o Notebook estão disponíveis no repositório Github.

Feliz codificação e mantenha-se saudável!



[ad_2]

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br