Главная » Курсы » Учебный курс администратора Qlik Sense

Удаление неиспользуемых подключений к данным

Преимущества:

Сокращение времени вычисления правил безопасности для подключений к данным (повышение производительности)
Сокращение объема работы по обслуживания системы
Повышение концентрации внимания
Устранение избыточности

Цель

Регулярное удаление неиспользуемых подключений к данным уменьшает беспорядок, повышает производительность и улучшает взаимодействие с пользователем. Цель этого раздела – оставить только те подключения к данным, которые необходимы для анализа.

Использование подключений к данным

Подключения к данным не так просто сопоставить со связанными ресурсами (приложениями, задачами и т.п.), поскольку они не сопоставляются напрямую в QRS с приложениями, которые их используют. Подключения к данным указываются в скрипте и используются во время обновления данных.

Есть два основных варианта сопоставления подключений к данным с ресурсами:

Компонент lineage приложения, который доступен:

через компонент lineage Qlik Engine REST API (с версии June 2019 и выше) и
через Qlik Engine API.

Анализ логов выполнения обновления данных приложений, как продемонстрировано в разделе «Анализатор подключений к данным».

Плюсы и минусы опции lineage :

Плюсы	Минусы
Простая итерация (опция RESTful) из скрипта загрузки Qlik.	Возвращает полные абсолютные пути к папкам, так что они не могут быть должным образом сопоставлены с соответствующими подключениями lib:// - и в конечном итоге не позволяет сопоставлять любые подключения с папками.
Быстро и эффективно	Результат может быть сложно проанализировать
Включает загрузки INLINE и AUTOGENERATE	Не включает историю – только самую последнюю перезагрузку.
	Не дает понять, какой пользователь их использовал, и когда
	Не дает информацию о том, сколько раз они использовались

Плюсы и минусы опции «Анализатор подключения к данным»:

Плюсы	Минусы
Надежная логика для обработки всех типов подключений к данным, включая подключения к папкам	Первый запуск может занять много часов, так как может потребоваться проанализировать тысячи файлов логов.
Имеет возможность анализировать журналы за все время	Потенциально может привести к ложным срабатываниям для неиспользуемых подключений к данным (подробности см. в документации к приложению)
Может использоваться для комплексного аудита
Отслеживает, какие подключения использовали пользователи, и когда
Отслеживает, сколько раз были запущены подключения к данным
Отслеживает источник перезагрузки: хаб, планировщик или ODAG (api)

Неиспользуемые подключения к данным

Для захвата неиспользуемых подключений к данным можно использовать любой из двух вариантов из раздела «Использование подключения к данным» выше. Если вы используете опцию lineage, полученные подключения необходимо будет сопоставить с существующими подключениями в QRS. Обратите внимание на проблему с подключениями к этому компоненту (lineage), описанную выше.

В этом разделе будет использоваться приложение «Data Connection Analyzer» (Анализатор подключения к данным).

В этом приложении следует сосредоточить внимание на двух листах:

Used Connections That Have Not Been Used Within 90 Days (используемые подключения, которые не использовались в течение 90 дней)
- На этом листе показаны подключения, которые в какой-то момент были активными, но не использовались в течение последних 90 дней. Это означает, что в настоящее время нет приложений, которые используют их, хотя эти приложения могут все еще существовать, если они перезагружаются с частотой > 90 дней. Эта переменная настраивается в скрипте загрузки и должна быть установлена в соответствии с корпоративной политикой. SET vNumDaysForUsedDataConnectionToBeConsideredUnused = 90;

Unused Connection Analysis (анализ неиспользуемых подключений)
- На этом листе показаны подключения, которые использовались ранее, но единственные приложения, которые когда-либо их использовали, были удалены, а также подключения, которые никогда не использовались.

Скрипты для управления неиспользуемыми подключениями к данным

Примечание

Настоятельно рекомендуется удалять подключения к данным вручную только после согласования с владельцами этих подключений. См. Раздел «Рекомендуемые действия» выше. В приведенных ниже сценариях показано, как можно выполнить резервное копирование подключений к данным и пометить их программно. Пометка (добавление значения настраиваемого свойства) позволяет администратору временно «изолировать» – поместить в карантин – подключения перед удалением.

Скрипт ДЛЯ РЕЗЕРВНОГО КОПИРОВАНИЯ ВСЕХ ПОДКЛЮЧЕНИЙ к ДАННЫМ

# Script to backup data connections to json
 
# Parameters
# Assumes default credentials are used for the Qlik CLI for Windows Connection
 
$computerName = '<machine-name>'
# leave empty if windows auth is on default VP
$virtualProxyPrefix = '/default'
# directory for the output file
$outFilePath = 'C:\'
# desired filename of the output file
$outFileName = 'flagged_unused_connections'
 
################
##### Main #####
################
 
# set the output file path
$outFile = ($outFilePath + $outFileName + '.json')
 
# set the computer name for the Qlik connection call
$computerNameFull = ($computerName + $virtualProxyPrefix).ToString()
 
# connect to Qlik
Connect-Qlik -ComputerName $computerNameFull -UseDefaultCredentials -TrustAllCerts
 
# GET all data connection's full JSON elements and write them to a file
Get-QlikDataConnection -raw -full | ConvertTo-Json | Set-Content $outFile

Скрипт для добавления значения настраиваемого свойства к подключению (загрузка из Excel-таблицы)

Предполагается, что столбец «Data Connection ID» (идентификатор подключения к данным) добавлен в таблицу в «Анализаторе подключений к данным» и экспортирован в Excel. Затем на этот файл ссылаются в приведенном ниже скрипте.

# Script to import data connection ids from excel and add a custom property value to them,
# as well as optionally change name and ownership.


# If the custom property doesn't exist, it will be created.
# Assumes the ImportExcel module: `Install-Module -Name ImportExcel`.
# GUID validation code referenced from:
#         https://pscustomobject.github.io/powershell/functions/PowerShell-Validate-Guid-copy/
# Parameters
# Assumes default credentials are used for the Qlik CLI for Windows Connection
$computerName = '<machine-name>'
# leave empty if windows auth is on default VP
$virtualProxyPrefix = '/default'
# fully qualified path to excel file with data connection ids
$inputXlsxPath = '<fully qualified directory>\<filename>.xlsx'
# column number of data connection id column in Excel file
$dataConnectionIdColumnNumber = '12'
# name of the custom property to put on unused data connections--if it doesn't exist it will be created
$customPropertyName = 'QuarantinedDataConnection'
# 1 for true and 0 for false -- changes the owner to sa_repository
$changeOwner = 1
# 1 for true and 0 for false -- prefixes the name with 'QUARANTINED - '
$changeName = 1
# directory for the output file
$outFilePath = 'C:\'
# desired filename of the output file
$outFileName = 'flagged_unused_connections'

################
##### Main #####
################

# set the output file path
$outFile = ($outFilePath + $outFileName + '.csv')

# set the computer name for the Qlik connection call
$computerNameFull = ($computerName + $virtualProxyPrefix).ToString()

# if the output file already exists, remove it
if (Test-Path $outFile)
{
  Remove-Item $outFile
}

# function to validate GUIDs
function Test-IsGuid
{
                     [OutputType([bool])]
                     param
                     (
                                           [Parameter(Mandatory = $true)]
                                           [string]$ObjectGuid
                     )
                    
                     [regex]$guidRegex = '(?im)^[{(]?[0-9A-F]{8}[-]?(?:[0-9A-F]{4}[-]?){3}[0-9A-F]{12}[)}]?$'
                     return $ObjectGuid -match $guidRegex
}

# import data connection ids from excel
$data = Import-Excel $inputXlsxPath -DataOnly -StartColumn $dataConnectionIdColumnNumber `
 -EndColumn $($dataConnectionIdColumnNumber + 1)

# validate GUIDs and only use those (handles nulls/choosing wrong column)
$dataConnectionIds = $data | foreach { $_.psobject.Properties } | where Value -is string `
| foreach { If(Test-IsGuid -ObjectGuid $_.Value) {$_.Value} }

# connect to Qlik
Connect-Qlik -ComputerName $computerNameFull -UseDefaultCredentials -TrustAllCerts

# GET the sa_repository user
$sa_repository = Get-QlikUser -filter "userId eq 'sa_repository' and userDirectory eq 'INTERNAL'"

# GET the custom property to use for unused data connections
$dataConnectionCustomProperty = Get-QlikCustomProperty -filter "name eq '$customPropertyName'" -raw

# GET the id of the custom property
$dataConnectionCustomPropertyId = $dataConnectionCustomProperty.id

# if the custom property doesn't exist, create it ($customPropertyName)
if (!$dataConnectionCustomProperty) {
                     $dataConnectionCustomProperty = New-QlikCustomProperty -name "$customPropertyName" `
                     -objectType "DataConnection" -choiceValues "true" -raw
                    
                    # GET the id of the custom property
                     $dataConnectionCustomPropertyId = $dataConnectionCustomProperty.id
}

# for each data connection id
foreach ($dataConnection in $dataConnectionIds) {

                     # GET the existing data connection's full JSON
                     $resp = Get-QlikDataConnection -id $dataConnection -raw

                     # store the current name of the data connection
                     $dataConnectionName = $resp.name

                     # get the current custom properties assigned to the data connection, if any
                     $currentCustomProperties = $resp.customProperties

                     # set a flag to check if the custom property already is assigned to the data connection
                     $dataConnectionPropAlreadyThere = $false

                     # for each custom property in the data connection's current custom propertys
                     foreach ($customProperty in $currentCustomProperties) {

                                           # if the custom property is already there, set the flag to "true"
                                           if ($customProperty.definition.id -eq $dataConnectionCustomPropertyId) {
                                                                $dataConnectionPropAlreadyThere = $true
                                                                break
                                           }
                     }

                     # if the custom property isn't already there,
                     # create the JSON element for it and add it to the array
                     if (!$dataConnectionPropAlreadyThere) {

                                          $newCustomProp = @{
                                                                value = "true"
                                                                definition = @{
                                                                                    id = "$dataConnectionCustomPropertyId"
                                                                }
                                           }

                                          $resp.customProperties += $newCustomProp
                     }

                     # change the name of the data connection, set by the $changeName flag
                     if ($changeName) {$resp.name = $('QUARANTINED - ' `
                                           + $resp.name.Replace('QUARANTINED - ',''))}

                     # change the owner of the data connection, set by the $changeOwner flag
                     if ($changeOwner) {$resp.owner = $sa_repository}

                     # convert the response to JSON
                     $resp = $resp | ConvertTo-Json -depth 10

                     # PUT the new data connection
                     Invoke-QlikPut -path /qrs/dataconnection/$dataConnection -body $resp

                     # logging
                     'PUT: ' + $dataConnectionName + ',' + $dataConnection
                     Add-Content -Path $outFile -Value $($dataConnectionName + ',' + $dataConnection)
}

Задать вопрос

Имя:

Email:

Вопрос:

Соглашаюсь на обработку моих персональных данных на условиях, изложенных в Политике в отношении обработки персональных данных

Решения

_{До 2023 года компания BI Consult обладала официальным партнерским статусом Qlik в России. В настоящий момент деятельность QlikTech на территории России прекращена, BI Consult не имеет партнерских отношений и никаким иным образом более не связана с QlikTech и не предлагает к продаже системы бизнес-анализа QlikView, Qlik Sense и иные продукты бренда Qlik. Все материалы о продукции бренда Qlik на сайте приведены исключительно в описательных целях и для информирования пользователей о существующих в мире системах бизнес-анализа. Для приобретения продукции Qlik необходимо обратиться к правообладателю программного обеспечения QlikTech или дистрибьюторам.}

Клиенты

Анализ деятельности отдела маркетинга; сегментация клиентских баз; расчет специфичных показателей эффективности деятельности компании сегмента telecom
Специфический бизнес-анализ деятельности хедж-фондов на основе QlikView.
Анализ и прогнозирование продаж, анализ каналов сбыта, планирование и управление продажами, анализ эффективности маркетинговых акций.
Решение в области планирования, бюджетирования, план-фактного анализа продаж. Хранилище данных QlikSense;

Удаление неиспользуемых подключений к данным

Цель

Использование подключений к данным

Неиспользуемые подключения к данным

Рекомендуемые действия

Помещение подключений в карантин

Приоритет

Резервное копирование подключений к данным

Скрипты для управления неиспользуемыми подключениями к данным