Глава 4. Python и изыскания/ приобретение в реальном времени

1. Получаемый этой командой результат будет сохраняться в переменной с именем runningProcesses. Естественно, вы можете применять любое доступное название переменной. Я применяю при определении переменных в Python именование верблюжьим вариантом разделения слов, начиная его с буквы в нижнем регистре, а затем выделяя верхним каждое последующее слово. Это Делает более простым выявление переменных в вашем коде.

2. Оператор присвоения , или знак равенства (=) назначает полученный результат вашей команды подпроцесса самой переменной runningProcesses.

3. subprocess.check_output выступает выбранным методом из нашей библиотеки subprocess. Он получает единственный параметр, заключаемый в кавычки и определяет ту командную строку, которую вы желаете исполнять.

4. Заключённая в кавычки строка внутри круглых скобок определяет подлежащую исполнению команду. E-H задают все элементы этой исполняемой команды.

5. powershell выступает в роли команды, или в данном случае процесса для выполнения.

6. -Executionpolicy ByPass, по умолчанию, PowwerShell не выполняет сценарии или CmdLet без полномочий в явном виде. Указанный параметр -Executionpolicy определяет значение политики для нашей команды PowerShell. Параметр ByPass сообщает PowerShell о том что не следует ничего блокировать и не выпускать никаких предупреждений или приглашений.

7. -Command определяет что следует за командой PowerShell. В данном случае это просто CmdLet, однако это может быть более сложная команда на основе конвейера. Если вы желаете исполнить некий сценарий PowerShell, данный литерал следует заменить на -File с последующим допустимым названием файла .ps1.

8. Get-Process является неким особым CmdLet, который следует исполнить. В данном примере CmdLet Get-Process выполняется без параметров.

На данный момент вы можете спросить зачем мне преодолевать все эти сложности исполнения команды или CmdLet PowerShell из Python? Чтобы ответить на этот вопрос, давайте возьмём этот пример для следующего уровня.

Допустим, вы желаете установить базовый уровень установленных в настоящее время в Windows, в частности, в c:\windows\system32\drivers\ . В этом случае вы можете указывать любой каталог, подкаталоги или всю систему целиком, однако системные драйверы запускаются с привилегированными полномочиями, а выявление новых драйверов, модификация существующих драйверов или удаление драйвера могут быть полезны в ходе расследования.

Получение относящейся к файлам информации выполняется при помощи CmdLet Get-ChildItem в рамках PowerShell и связанных с ним методов. То, чем мы интересуемся при определении базового уровня это:

Получение этой информации выполняется достаточно просто из PowerShell при помощи показанной ниже команды Конвейера. Это отсекает отображённые на Рисунке 4-6.

Get-ChildItem c:\windows\system32\drivers\ |
Get-FileHash | Select-object -Property Hash, Path | Format-Table -HideTableHeaders
		

 

Рисунок 4-6

Получение хэш- значений и пути при помощи PowerShell (отмечаем, что вывод усечён)

Разбивка команды подробно описывается на Рисунке 4-7.

 

Рисунок 4-7

Разбивка конвейера Get-ChildItem, Get-FileHash, Select-Object и Format-Table

Создание некого сценария PowerShell с входными параметрами сделает эту команду слегка более полезной и повторно применяемой. Весь сценарий целиком приводится на Листинге 4-1.

<#
.synopsis
Для предписанной папки собрать значения хэш- ключей и Названий файлов

- Пользователь определяет название целевого компьютера
- Пользователь определяет название целевой папки

Этот сценарий производит некий простейший файл вывода ascii output, содержащий SHA-256Hash и FilePath

.Description
Этот сценарий собирает Hash и Filenames с указанных компьютера и папки

.parameter targetComputer
Определяет компьютер для сбора информации хэш- ключей указанных файлов

.parameter UserName
Задаёт Имя пользователя с правами Администратора на Целевом компьютере

.parameter outFile
Определяет полный путь к файлу вывода

.example

HashAcquire
Собрать хеш- значения файлов в целевом компьютере
#>

# Раздел определения параметров
param(
    [string]$TargetFolder="c:/windows/system32/drivers/",
    [string]$ResultFile="c:/PS/baseline.txt"
)

Get-ChildItem $TargetFolder | Get-FileHash | Select-Object -Property Hash, Path | Format-Table -HideTableHeaders | Out-File $ResultFile -Encoding ascii
 	   

Данный сценарий имеет стандартные разделы для предоставления соответствующей поддержки Get-Help, показанной в Листинге 4-2.

PS C:\PS> Get-Help .\HashAcquire.ps1

NAME
    C:\PS\HashAcquire.ps1

SYNOPSIS
    Для предписанной папки собрать значения хэш- ключей и Названий файлов

    - Пользователь определяет название целевого компьютера
    - Пользователь определяет название целевой папки

    Этот сценарий производит некий простейший файл вывода ascii output, содержащий SHA-256Hash и FilePath

SYNTAX
    C:\PS\HashAcquire.ps1 [[-TargetFolder] <String>] [[-ResultFile] <String>] [<CommonParameters>]

DESCRIPTION
    Этот сценарий собирает Hash и Filenames с указанных компьютера и папки

RELATED LINKS

REMARKS
    To see the examples, type: "get-help C:\PS\HashAcquire.ps1 -examples".
    For more information, type: "get-help C:\PS\HashAcquire.ps1 -detailed".
    For technical information, type: "get-help C:\PS\HashAcquire.ps1 -full".
 	   

Наш сценарий содержит два входных параметра, TargetFolder и ResultFile.

# Раздел определения параметров
param(
    [string]$TargetFolder="c:/windows/system32/drivers/",
    [string]$ResultFile="c:/PS/baseline.txt"
)
 	   

При использовании значений параметров по умолчанию, данный сценарий создаёт файл baseline.txt. Сокращённые результаты приводится на Рисунке 4-8. При подставке параметра для задания конкретной папки назначения данный сценарий может теперь применяться для любой допустимой папки.

	Замечание
	Доступ к некоторым папкам потребует полномочий администратора. Убедитесь что вы запускаете PowerShell с правми Администратора.

PS C:\PS>  .\HashAcquire.ps1
		

 

Рисунок 4-8

Сокращённые результаты baseline.txt

Создание конкретного базового уровня при помощи Python

Теперь, когда у нас имеется некий надёжный метод выделения значения хэша и названия файла при помощи сценария PowerShell HashAcquire.ps1, мы можем воспользоваться Python для создания по этим результатам некоторого базового уровня. Однако для этого вместо применения имеющейся интерактивной оболочки мы создадим некую сценарий/ программу Python.

Наш план состоит в запуске сценария PowerShell из Python с выделением получаемых результатов из создаваемого таким образом текстового файла. Вы можете определить необходимые название и местоположение для получаемого в результате файла, воспользовавшись значением параметра ResultFile, предоставляемого данным сценарием.

	Замечание
	Наш имеющийся в настоящий момент сценарий обрабатывает только предписанный каталог. Тем не менее, CmdLet Get-ChildItem имеет необязательный параметр также и для получения вложенной папки. Этим параметром является -recurse, ознакомьтесь с его применением: Get-Help Get-ChildItem Вы обнаружите, что Get-ChildItem имеет много параметров и примеров применения.

Нашим следующим шагом является сохранение результатов в словаре Python для создания некого базового уровня. После создания такого словаря базового уровня, этот получаемый в результате словарь может быть сохранён и применяться для сопоставления. Таким образом мы можем выявлять любые новые, изменённые или удалённые файлы из нашего целевого каталога.

Замечание

Словари Python, как и традиционные словари Веьстера, имеют Ключ и Значение, которые обычно именуются парой Key/Value. В Python и Ключ, и Значение должны иметь пригодный для хэширования тип, такой как integer, long, string или tuple (кортеж). Сама часть Значение пары Key/Value может быть списком или иным, не подлежащими хэшированию, типом данных. Кроме того, все ключи словаря обязаны быть уникальными (во многом как и словари из жизни).

Полный сценарий CreateBaseline.py показан в Листинге 4-3.

Замечание

Для сценариев powershell и python на протяжении всей оставшейся книги был создан каталог c:\PS для хранения в нём всех сценариев и результатов. Кроме того, попробуйте скопировать и вставить туда сценарии Python из текста этой книги. Python применяет метод строгого следования отступам, который может быть повреждён в процессе копирования и вставки. Наше издательство предоставляет доступ к этим файлам исходного кода.

	 '''
Step One Create a baseline hash list of target folder
December 2018, Python Forensics
'''
''' LIBRARY IMPORT SECTION '''
import subprocess       # subprocess library
import argparse         # argument parsing library
import os               # Operating System Path
import pickle           # Python object serialization

'''РАЗДЕЛ РАЗБОРА АРГУМЕНТА '''

def ValidatePath(thePath):
    ''' Проверяем значение Папки thePath
        она должна существовать и мы обязаны иметь права
        на чтение из этой папки.
        если что- то не верно, 
        возбуждаем соответствующую ошибку
    '''
    # Validate the path exists
    if not os.path.exists(thePath):
        raise argparse.ArgumentTypeError('Path does
        not exist')

    # Validate the path is readable
    if os.access(thePath, os.R_OK):
        return thePath
    else:
        raise argparse.ArgumentTypeError('Path is not readable')

#Конец проверки

''' Определяем командную строку и выполняем её разбор, проверяем значения аргументов и возвращаемые результаты'''

parser = argparse.ArgumentParser('File System Baseline Creator with PowerShell- Version 1.0 December 2018')

parser.add_argument('-b', '--baseline',
required=True,
help="Определяем свой получаемый в результате файл словаря базового уровня")

parser.add_argument('-p', '--Path',
required=True, type= ValidatePath,
help="Определяем значение папки назначения для базового уровня")

parser.add_argument('-t', '--tmp',
required=True,
help="Определяем временный файл результата для своего сценария PowerShell")

args = parser.parse_args()

baselineFile = args.baseline
targetPath   = args.Path
tmpFile      = args.tmp

''' Основной раздел сценария MAIN '''
if __name__ == '__main__':

    try:
        ''' Раздел исполнения POWERSHELL '''
         command = "powershell -ExecutionPolicy ByPass
-File C:/PS/HashAcquire.ps1"+"
-TargetFolder "+ targetPath+" -ResultFile "+ tmpFile
        print(command)
        powerShellResult = subprocess.run(command, stdout=subprocess.PIPE)
        if powerShellResult.stderr == None:

            ''' Раздел создания словаря '''
            baseDict = {}

            with open(tmpFile, 'r') as inFile:
                for eachLine in inFile:
                    lineList = eachLine.split()
                    if len(lineList) == 2:
                        hashValue = lineList[0]
                        fileName  = lineList[1]
                        baseDict[hashValue] = fileName
                    else:
                        continue

            with open(baselineFile, 'wb') as outFile:
                pickle.dump(baseDict, outFile)

                print("Baseline: ", baselineFile, " Создан с:", "{:,}".format(len(baseDict)), "записей")
                print("Сценарий успешно выполнен")
        else:
            print("Ошибка PowerShell:", p.stderr)

    except Exception as err:
        print ("не могу создать файл вывода: "+str(err))
        quit()
 	   

Те, кому Python в диковинку, могут счесть этот сценарий слегка сложным. Вследствие этого разобъём его здесь на разделы:

Импорт библиотеки:

Разбор аргумента:

Имеющаяся в Python библиотека argparse автоматически обрабатывает получаемую командную строку и убеждается что ваш пользователь ввёл все необходимые аргументы, а также воспроизводит подсказку при её запросе. Рисунок 4-9 отображает папку для проверки и получаемый в после исполнения данного сценария результат при наличии единственного параметра -h.

 

Рисунок 4-9

Выполнение запроса подсказки CreateBaseline.py

Обработка раздела аргументов в результате создаёт три переменные:

Основной код: Основной раздел выполняет центральные элементы нашего сценария по завершению всех предварительных настроек.

Исполнение PowerShell: Этот раздел запускает наш сценарий PowerShell. Вначале он создаёт некую переменную с именем command, которая будет применяться методом subprocess.run() для запуска этого сценария PowerShell. Отметим наше исполнение на это раз определяет некий файл, -File, вместо команды, -Command, что применялось в предыдущем примере. Он задаёт наш сценарий PowerShell HashAcquire.ps1. После выполнения данного субпроцесса команды проверяются значения стандартной ошибки или резултат stderr на предмет успшного завершения. Результатом должен быть None. Если это не так, наш сценарий Python выдаст сообщение о возвращаемой ошибке.

Создание словаря: Если наша команда PowerShell выполнена успешно, тогда наш сценарий Python после этого обрабатывает получаемый в результате файл для создания необходимого словаря. Так как получаемого в результате файла определяется самим сценарием PowerShell, при помощи итерационного цикла Python можно выполнить обработку всех строк этого файла для извлечения значений хэша и названия файла. Для каждой строки создаётся запись словаря с помощью значения хэша в качестве Key и значения имени файла как Value для соответствующей пары KEY/VALUE. После обработки всех строкдля сохранения созданного словаря применяется библиотека Python pickle в том файле, который был определён в вашей командной строке, и название которого теперь находится в переменной baselineFile. Нащ сценарий Python после этого выводит отчёт подробностей данного сценария. Если в процессе исполнения данного сценария Python возникли ошибки или исключительные ситуации, данный сценарий выдаст сообщение о такой исключительной ситуации.

Рисунок 4-10 отображает успешной исполнение сценариев Python CreateBaseline.py в сочетании с PowerShell HashAcquire.ps1. Как вы можете видеть, ваш сценарий воспроизвёл 447 словарных записей для тех файлов, которые содержатся в папке c:/windows/system32/drivers/ . Кроме того, в нашей папке c:/PS/ было создано два файла, baseline.txt и baseline.pickle.

 

Рисунок 4-10

Исполнение сочетания сценариев Python/ PowerShell

Проверка имеющегося базового уровня при помощи Python

Следующий шаг состоит в создании некого сценария Python, который удостоверится, что все текущие версии отобранных папок не изменялись. По существу, мы создаём простой привод. В чём занключаются конкретные проверки, которые требуется осуществить сценарию сверки?

Мы собираемся повторно воспользоваться сценарием PowerShell HashAcquire.ps1 и внести некие изменения для обработки всех возвращаемых HashAcquire.ps1 изменений. В целом, сценарий VerifyBaseline.py выглядит почти идентично нашему сценарию CreateBaseline.py. Единственное изменение содержит:

Листинг 4-4 содержит полную проверку сценария Python. Отметим, что сценарий PowerShell HashAcquire.ps1 не изменялся.

'''
Второй этап проверки списка базового уровня хэш- ключей с некой назначаемой папкой
December 2018, Python Forensics

'''

''' Раздел импорта библиотек '''

import subprocess       # библотека subprocess
import argparse         # библиотека синтаксического разбора аргусентов
import os               # Путь операционной системы
import pickle           # Упорядочение объекта Python

"'Раздел разбора аргументов "'

def ValidatePath(thePath):
    ''' Проверка значения папки thePath
        она обязана существовать и у нас должны иметься права 
        для чтения этой папки.
        возбуждаем возникшие в процессе ошибки если 
        результат не равен истине
    '''

    # Проверка существования данного пути
    if not os.path.exists(thePath):
        raise argparse.ArgumentTypeError('Path does not exist')
    # Проверка доступа на чтение этого пути
    if os.access(thePath, os.R_OK):
        return thePath
    else:
        raise argparse.ArgumentTypeError('Path is not readable')

#Конец ValidatePath ===================================

''' Определить и выполнить разбор получаемой командной строки, проверить получаемые параметры и вернуть результаты'''

parser = argparse.ArgumentParser('File System Baseline Validation with PowerShell- Version 1.0 December 2018')

parser.add_argument('-b', '--baseline',required=True,
help="Задайте источник файла базового уровня для проверки")

parser.add_argument('-p', '--Path',
type= ValidatePath, required=True,
help="Задайте источник файла целевой папки для проверки")

parser.add_argument('-t', '--tmp', required=True,
help="Задайте файл временого результата для нашего сценария PowerShell")

args = parser.parse_args()

baselineFile = args.baseline
targetPath   = args.Path
tmpFile      = args.tmp

def TestDictEquality(d1,d2):
    """ возвращает True если все ключи и значения остаются неизменными
        в противном случае возвращает False """
    if all(k in d2 and d1[k] == d2[k] for k in d1):
        if all(k in d1 and d1[k] == d2[k] for k in d2):
            return True
        else:
            return False
    else:
        return False

    '''
    return all(k in d2 and d1[k] == d2[k]
               for k in d1) \
        and all(k in d1 and d1[k] == d2[k]
               for k in d2)
    '''

def TestDictDiff(d1, d2):
    """ возвращает значение подмножества d1, в котором значения ключей не совпали со значениями в d2 или отличаются от значений в d2 по словарям """
    diff = {}

    for k,v in d1.items():
        if k in d2 and v in d2[k]:
            continue
        else:
            diff[k+v] = "Отличия Baseline"

    return diff

''' Основной Раздел сценария '''
if __name__ == '__main__':

    try:
        ''' Раздел исполнения POWERSHELL '''
        print()
        command = "powershell -ExecutionPolicy ByPass -File C:/PS/HashAcquire.ps1"+" -TargetFolder "+ targetPath+" -ResultFile "+ tmpFile
        print(command)
        print()

        powerShellResult = subprocess.run(command, stdout=subprocess.PIPE)
        if powerShellResult.stderr == None:

            ''' Раздел загрузки словаря BASELINE '''
            # Load in the baseline dictionary

            with open(baselineFile, 'rb') as baseIn:
                baseDict = pickle.load(baseIn)

            ''' Раздел создания словаря '''

            # Создать новый словарь для данного указанного каталога
            newDict  = {}

            with open(tmpFile, 'r') as inFile:
                for eachLine in inFile:
                    lineList = eachLine.split()
                    if len(lineList) == 2:
                        hashValue = lineList[0]
                        fileName  = lineList[1]
                        newDict[hashValue] = fileName
                    else:
                        continue

            ''' Раздел проверки словаря '''
            if TestDictEquality(baseDict, newDict):
                print("Изменения не выявлены")

            else:
                diff = TestDictDiff(newDict, baseDict)
                print(diff)
        else:
            print("Ошибка PowerShell:", p.stderr)

    except Exception as err:
        print ("Не могу создать файл вывода: "+str(err))
        quit()
 	   

Обзор разделов Нового кода в VerifyBaseline.py

Загрузка словаря: Этот радел загружает предписанный словарь из сохранённого файла pickle, который был создан в нашем сценарии CreateBaseline.py. Для восстановления словаря из заданного файла применяется метод pickle load().

Проверка словаря: Данный раздел применяет две только что созданные функции:

Функция TestDictEquality проводит сравнение вновь созданного словаря указанной папки назначения с тем словарём, который был загружен при помощи метода pickle.load(). Эти два словаря

содержат все каталоги для сравнения. Для каждого из каталогов эти словари содержат значения SHA-256 Hash (ключа) и Filename (значение). Python предоставляет множество встроенных механизмов для сравнения и итерации по словарям. Имеющаяся функция TestDictEquality проверяет что эти два словаря в точности совпадают. И если это так, данная функция возвращает True. Если они не эквивалентны, тогда эти функции возвращают False. Для выявления отличий вызывается функция TestDictDiff(), в случае возникновения таковых.

Эта функция TestDictDiff сопоставляет имеющееся содержимое baseDict с newDict и создаёт новый словарь, для хранения всех обнаруженных несовпадающих значений.

Рисунок 4-11 отображает исполнение данного сценария VerifyBaseline.py, включая результаты новой справки и выявленное отсутствие различий.

 

Рисунок 4-11

Проверка исполнением базового уровня и подсказка с отстутствием изменений

Рисунок 4-12 показывает результат сценария VerifyBaseline.py с выявлением двух добавленных в c:/windows/system32/drivers безопасных файлов.

 

Рисунок 4-12

Проверка исполнением базового уровня с выявленными изменениями

Этот пример предоставляет элегантную модель выполнения PowerShell и последующей обработки результатов в Pythonю Что ешё более важно, эту модель можно расширить на некие иные варианты использования. Например: