Глава 6. Запуск Python из PowerShell

Листинг 6-1. Сценарий Python ProperNames.py

'''
Copyright (c) 2019 Python Forensics and Chet Hosmer

Настоящим предоставляется бесплатное разрешение любому получающему копию этого программного обеспечения и связанных с ним файлов документации лицу, (далее - «Программное обеспечение»), осуществлять операции с Программным обеспечением без ограничений, включая, помимо прочего, права на использование, копирование, изменение, слияние, публикацию, распространение, сублицензирование и/ или продаважу копии Программного обеспечения и разрешает лицам, которым предоставляется Программное обеспечение, делать это при соблюдении следующих условий:

Вышеуказанное уведомление об авторском праве и данное уведомление о разрешении должны быть включены во все копии или существенные части Программного обеспечения.

 ProperNames Demonstration
 Version 1.3
 January 2019
 Requirement: Python 3.x

 usage:
 stdin | python properNames.py

 Сценарий обработает поставляемые конвейером данные

'''

''' Раздел импорта библиотек '''

# импорт стандартного модуля sys
import sys

# импорт библиотеки регулярных выражений
# для фильтрации нежелательных символов
import re

# импорт метода datetime из стандартной библиотеки
from datetime import datetime

''' Раздел определения стоп- слов '''

# Общий списо стоп- слов
# Что такое стоп- слова: Слова, которые 
# обычно отфильтровываются прочь
# при обработке данных естественного языка (текста)
# вы вольны добавить в этот список дополнительные слова

STOP_WORDS = [
"able","about","above","accordance","according",
"accordingly","across","actually","added","affected",
"affecting","affects","after","afterwards","again",
"against","almost","alone","along","already","also",
"although","always","among","amongst","announce",
"another","anybody","anyhow","anymore","anyone",
"anything","anyway","anyways","anywhere","apparently",
"approximately","arent","arise","around","aside",
"asking","auth","available","away","awfully","back",
"became","because","become","becomes","becoming",
"been","before","beforehand","begin","beginning",
"beginnings","begins","behind","being",
"believe","below","beside","besides","between",
"beyond","both","brief","briefly","came","cannot",
"cause","causes","certain","certainly","come",
"comes","contain","containing","contains","could",
"couldnt","date","different","does","doing","done",
"down","downwards","during","each","effect","eight",
"eighty","either","else","elsewhere","end",
"ending","enough","especially","even","ever",
"every","everybody","everyone","everything",
"everywhere","except","fifth","first","five",
"followed","following","follows","former","formerly",
"forth","found","four","from","further",
"furthermore","gave","gets","getting",
"give","given","gives","giving","goes",
"gone","gotten","happens","hardly","has","have",
"having","hence","here","hereafter","hereby",
"herein","heres","hereupon","hers","herself",
"himself","hither","home","howbeit","however",
"hundred","immediate","immediately","importance",
"important","indeed","index","information",
"instead","into","invention","inward","itself",
"just","keep","keeps","kept","know","known",
"knows","largely","last","lately","later","latter",
"latterly","least","less","lest","lets","like",
"liked","likely","line","little","look","looking",
"looks","made","mainly","make","makes","many",
"maybe","mean","means","meantime","meanwhile",
"merely","might","million","miss","more","moreover",
"most","mostly","much","must","myself","name",
"namely","near","nearly","necessarily","necessary",
"need","needs","neither","never","nevertheless",
"next","nine","ninety","nobody","none","nonetheless",
"noone","normally","noted","nothing","nowhere",
"obtain","obtained","obviously","often","okay",
"omitted","once","ones","only","onto","other",
"others","otherwise","ought","ours","ourselves",
"outside","over","overall","owing","page","pages",
"part","particular","particularly","past","perhaps",
"placed","please","plus","poorly","possible","possibly",
"potentially","predominantly","present","previously",
"primarily","probably","promptly","proud","provides",
"quickly","quite","rather","readily","really","recent",
"recently","refs","regarding","regardless",
"regards","related","relatively","research",
"respectively","resulted","resulting","results","right",
"run","said","same","saying","says","section","see",
"seeing","seem","seemed","seeming","seems","seen",
"self","selves","sent","seven","several","shall",
"shed","shes","should","show","showed","shown",
"showns","shows","significant","significantly",
"similar","similarly","since","slightly","some",
"somebody","somehow","someone","somethan",
"something","sometime","sometimes","somewhat",
"somewhere","soon","sorry","specifically","specified",
"specify","specifying","still","stop","strongly",
"substantially","successfully","such","sufficiently",
"suggest","sure","take","taken","taking","tell",
"tends","than","thank","thanks","thanx","that",
"thats","their","theirs","them","themselves","then",
"thence","there","thereafter","thereby","thered",
"therefore","therein","thereof","therere",
"theres","thereto","thereupon","there've","these",
"they","think","this","those","thou","though","thought",
"thousand","through","throughout","thru","thus",
"together","took","toward","towards","tried","tries",
"truly","trying","twice","under","unfortunately",
"unless","unlike","unlikely","until","unto","upon",
"used","useful","usefully","usefulness","uses","using",
"usually","value","various","very","want","wants",
"was","wasnt","welcome","went","were","what","whatever",
"when","whence","whenever","where","whereafter","whereas",
"whereby","wherein","wheres","whereupon","wherever",
"whether","which","while","whim","whither","whod",
"whoever","whole","whom","whomever","whos","whose",
"widely","will","willing","wish","with","within","without",
"wont","words","world","would","wouldnt",
"your","youre","yours","yourself","yourselves"]

''' Раздел определения псевод- констант '''

# ПСЕВДО КОНСТАНТЫ,
# Вы вольны изменять минимальное и максимальное 
# значения длины имени
MIN_SIZE = 3      # Минимальная длина сосбтвенного имени
MAX_SIZE = 20     # Максимальная длина сосбтвенного имени

''' Раздел выделения сосбтвенных имён '''

def ExtractProperNames(theString, dictionary):
    ''' Введите строку для поиска,
        Словарь вывода собственных имён
    '''

    # Выделение всех последующих строк символов

    wordList = theString.split()

    # Теперь давайте определим какие слова являются возможными
    # собственными именами и создадим их список.

    '''
    Для данного примера те слова, которые рассматриваются возможными
    собственными именами это:
    1) Название (начинающееся с заглавной буквы слово)
    2) Соотвествующие критерию минимальной и максимальной длины
    3) То слово, которое НЕ содержится в списке стоп- слов

    Встроенный метод Python string.istitle()
    применяется для выявления названий
    '''

    for eachWord in wordList:

        if eachWord.istitle() and len(eachWord) >=
              MIN_SIZE and len(eachWord) <= MAX_SIZE and
              eachWord.lower() not in STOP_WORDS:
            '''
            если данное слово соответствует предписанным условиям
              оно добавляется в имеющийся  properNamesDictionary
            '''
            try:
                # если это слово имеется в данном словаре
                  # тогда в значение частот прибавляется 1
                cnt = properNamesDictionary[eachWord]
                properNamesDictionary[eachWord] =
                   cnt + 1
            except:
                # Если это слово пока не в 
                  # словаре
                # добавим его и установим число 
                # вхождений равным 1
                properNamesDictionary[eachWord] = 1
        else:
            # в противном случае идём циклом для своего следующего возможного слова
            continue

    # данная функция возвращает созданный
    #   properNamesDictionary

    return properNamesDictionary

# Конец функции выделения собственных имён

''' Раздел входа в главную программу '''

'''
Основная программа для выделения собственных имён
'''
if __name__ == "__main__":

    ''' Точка входа в основную программу '''
    print("\nPython Proper Name Extraction ")
    print("Python Forensics, Inc. \n")
    print("Сценарий запущен", str(datetime.now()))
    print()

    # Создание пустого словаря
    properNamesDictionary = {}

    for eachLine in sys.stdin:

        txt = re.sub("[^A-Za-z']", ' ', eachLine)
        '''
        Вызов даннойфункции ExtractProperNames
        которая возвращает некий словарь Python возможных
        собственных имён совместно с общим числом вхождений
        этого имени.

        Данная функция выполняет всю тяжесть
        выделения всех возможных собственных имён
        '''
        properNamesDictionary =
           ExtractProperNames(txt,
           properNamesDictionary)

    # После считывания всех строк на входе
    # получаемое значение является числом вхождений
    # данного собственного имени

    # Данный подход выведет на печать все возможные
    # собственные имена при том,
    # что первыми выводятся наиболее часто встречающиеся

    '''
    Раздел вывода на печать возможных
    собственных имён '''

    print()

    for eachName in sorted(properNamesDictionary,
        key=properNamesDictionary.get, reverse=True):
        print('%4d'  %
             properNamesDictionary[eachName],end="")
        print( '%20s' % eachName)
    print("\n\nScript Ended", str(datetime.now()))
    print()

# Конец Основной функции
 	   

Листинг 6-2. Сценарий Python pyGeo.py

'''
EXIF Data Acquistion
January 2019
Version 1.1
'''

'''
Copyright (c) 2019 Chet Hosmer, Python Forensics

Настоящим предоставляется бесплатное разрешение любому получающему копию этого программного обеспечения и связанных с ним файлов документации лицу, (далее - «Программное обеспечение»), осуществлять операции с Программным обеспечением без ограничений, включая, помимо прочего, права на использование, копирование, изменение, слияние, публикацию, распространение, сублицензирование и/ или продаважу копии Программного обеспечения и разрешает лицам, которым предоставляется Программное обеспечение, делать это при соблюдении следующих условий:

Вышеуказанное уведомление об авторском праве и данное уведомление о разрешении должны быть включены во все копии или существенные части Программного обеспечения.

'''
# Пример использования:
# fileList | python pyExif.py
#
# Requirement: Python 3.x
#
# Requirement: Применяемая библиотека  
#              стороннего производителя : PILLOW
#              для установки PILLOW воспользуйтесь такой CMD
#              из своей командной строки
#
#              pip install PILLOW
#
# Данный сценарий будет выделять данные EXIF/GEO из файлов jpeg
# передаваемых через конвейер в данный сценарий и выработает табличный список 
# выделенных EXIF и данных геолокации совместно с 
# созданием некого файла CSV с данными LAT/LON
#

''' Оаздел импорта библиотек '''
# Стандартный Python: Методы операционной системы
import os

# Стандартный Python : Методы системы
import sys

# Стандартный Standard метод datetime из Стандартной библиотеки
from datetime import datetime

# импорт Python Image Library
# совместно с  TAGS и относящимся к TAGS GPS
# Отметим, что вам следует установить модуль PILLOW
# pip install PILLOW

from PIL import Image
from PIL.ExifTags import TAGS, GPSTAGS

# Импорт библиотеки PrettyTable для выработки
# табличных результатов

from prettytable import PrettyTable

''' Раздел выделения словаря GPS '''

#
# Выделяем данные EXIF 
#
# Вход: Полное имя пути к соответствующему файлу образа
#
# Вывод: gсловарь ps и выделенный список exifData
#
def ExtractGPSDictionary(fileName):

    try:
        pilImage = Image.open(fileName)
        exifData = pilImage._getexif()

    except Exception:
        # If exception occurs from PIL processing
        # Report the
        return None, None

    # Выполняем итерации по exifData
    # Выискивая Tags  GPS

    imageTimeStamp = "NA"
    cameraModel = "NA"
    cameraMake = "NA"
    gpsData = False

    gpsDictionary = {}

    if exifData:

        for tag, theValue in exifData.items():

            # поллучаем значение tag
            tagValue = TAGS.get(tag, tag)

            # Собираем базовые данные образа, если он доступен

            if tagValue == 'DateTimeOriginal':
                imageTimeStamp =
                              exifData.get(tag).strip()

            if tagValue == "Make":
                cameraMake = exifData.get(tag).strip()

            if tagValue == 'Model':
                cameraModel = exifData.get(tag).strip()

            # проверяем наличие тега GPS
            if tagValue == "GPSInfo":

                gpsData = True;

                # Нашли !
                # Применяем Словарь для сбора данных GPS
                # Обходим в цикле всю информацию GPS 
                for curTag in theValue:
                    gpsTag = GPSTAGS.get(curTag, curTag)
                    gpsDictionary[gpsTag] =
                                     theValue[curTag]

        basicExifData = [imageTimeStamp,
                         cameraMake, cameraModel]

        return gpsDictionary, basicExifData

    else:
        return None, None

# Конец ExtractGPSDictionary ============================

''' Раздел выделения широты и долготы '''

#
# Выделяем значения широты и долготы
# Из полученного gpsDictionary
#

def ExtractLatLon(gps):
    # для выполнения вычислений нампо крайней мере требуются
    # lat, lon, latRef и lonRef

    try:
        latitude     = gps["GPSLatitude"]
        latitudeRef  = gps["GPSLatitudeRef"]
        longitude    = gps["GPSLongitude"]
        longitudeRef = gps["GPSLongitudeRef"]

        lat = ConvertToDegrees(latitude)
        lon = ConvertToDegrees(longitude)

        # проверяем ссылку широты
        # если Южнее экватора, тогда
             lat value is negative

        if latitudeRef == "S":
            lat = 0 - lat

        # проверяем ссылку долготы
        # Если восточнее основного меридиана в
        # Гринвиче тогда значение долготы отрицательное

        if longitudeRef == "W":
            lon = 0- lon

        gpsCoor = {"Lat": lat,
                   "LatRef":latitudeRef,
                   "Lon": lon,
                   "LonRef": longitudeRef}

        return gpsCoor

    except:
        return None

# Конец выделения Lat Lon =======================================

''' Преобразование координат GPS в градусы '''

#
# Преобразовываем GPSCoordinates в градусы
#
# входное значение gpsCoordinates в формате EXIF
#

def ConvertToDegrees(gpsCoordinate):

    d0 = gpsCoordinate[0][0]
    d1 = gpsCoordinate[0][1]
    try:
        degrees = float(d0) / float(d1)
    except:
        degrees = 0.0
    m0 = gpsCoordinate[1][0]
    m1 = gpsCoordinate[1][1]
    try:
        minutes = float(m0) / float(m1)
    except:
        minutes=0.0

    s0 = gpsCoordinate[2][0]
    s1 = gpsCoordinate[2][1]
    try:
        seconds = float(s0) / float(s1)
    except:
        seconds = 0.0

    floatCoordinate = float (degrees + (minutes / 60.0) + (seconds / 3600.0))

    return floatCoordinate

''' Раздел входа в основную программу '''

if __name__ == "__main__":
    '''
    Точка входа в основную программу pyExif 
    '''
    print("\nExtract EXIF Data from JPEG Files")
    print("Python Forensics, Inc. \n")

    print("Сценарий запущен", str(datetime.now()))
    print()

    ''' Раздел обработки данныйх, передаваемых конвейером из POWERSHELL '''

    pictureList = []

    # Обработка данных из стандартного ввода в качестве перечня файлов

    for eachLine in sys.stdin:
        entry = eachLine.strip()
        if entry:
            pictureList.append(entry)

    print("Обработка фотор=графий ...")
    print()

    # CDH
    # Создаём соответствующий обхект

    ''' Раздел обработки каждого файла JPEG '''

    latLonList = []

    for targetFile in pictureList:

        if os.path.isfile(targetFile):

            gpsDictionary, exifList =
                    ExtractGPSDictionary(targetFile)

            if exifList:
                TS = exifList[0]
                MAKE = exifList[1]
                MODEL = exifList[2]
            else:
                TS = 'NA'
                MAKE = 'NA'
                MODEL = 'NA'

            if (gpsDictionary != None):

                # Получение значений Lat Lon из
                # соответствующего gpsDictionary
                #   Преобразование в градусы
                # Возвращаемым значением является некий словарь
                #   пар ключ значение

                dCoor = ExtractLatLon(gpsDictionary)

                if dCoor:
                    lat = dCoor.get("Lat")
                    latRef = dCoor.get("LatRef")
                    lon = dCoor.get("Lon")
                    lonRef = dCoor.get("LonRef")
                    if ( lat and lon and
                         latRef and lonRef):
                        latLonList.append(
                          [os.path.basename(targetFile),
                          '{:4.4f}'.format(lat),
                          '{:4.4f}'.format(lon),
                          TS, MAKE, MODEL])

                    else:
                        print("ПРЕДОСТЕРЕЖЕНИЕ",
                              "нет данных EXIF GPS для ",
                              targetFile)
                else:
                    continue
            else:
                continue
        else:
            print("ПРЕДОСТЕРЕЖЕНИЕ", " недопустимый файл", targetFile)

    # Создание результирующей таблицы отображения с помощью PrettyTable

    ''' Раздел выработки результирующей таблицы '''

    ''' Заголовок таблицы результатов '''
    resultTable = PrettyTable(['Название-файла',
                      'Шир','Дол',
                      'ВремШтамп',
                      'Make', 'Model'])

    for loc in latLonList:
        resultTable.add_row( [loc[0], loc[1],
                              loc[2], loc[3],
                              loc[4], loc[5] ])

    resultTable.align = "l"
    print(resultTable.get_string(sortby="File-Name"))

    ''' Раздел выработки файла CSV '''

    # Создаём простой файл результатов CSV
    with open("LatLon.csv", "w") as outFile:

        # Запись заголовка
        outFile.write("Name, Lat, Long\n")

        # Обрабатываем все записи и записываем их
        # все строки разделены запятыми

        for loc in latLonList:
            outFile.write(loc[0]+","+
                          loc[1]+","+
                          loc[2]+"\n")

    print("Файл LatLon.csv успешно создан")

    print("\nКонец сценария", str(datetime.now()))
    print()