Glue / Client / get_job

get_job#

Glue.Client.get_job(**kwargs)#

Retrieves an existing job definition.

See also: AWS API Documentation

Request Syntax

response = client.get_job(
    JobName='string'
)
Parameters:

JobName (string) –

[REQUIRED]

The name of the job definition to retrieve.

Return type:

dict

Returns:

Response Syntax

{
    'Job': {
        'Name': 'string',
        'JobMode': 'SCRIPT'|'VISUAL'|'NOTEBOOK',
        'Description': 'string',
        'LogUri': 'string',
        'Role': 'string',
        'CreatedOn': datetime(2015, 1, 1),
        'LastModifiedOn': datetime(2015, 1, 1),
        'ExecutionProperty': {
            'MaxConcurrentRuns': 123
        },
        'Command': {
            'Name': 'string',
            'ScriptLocation': 'string',
            'PythonVersion': 'string',
            'Runtime': 'string'
        },
        'DefaultArguments': {
            'string': 'string'
        },
        'NonOverridableArguments': {
            'string': 'string'
        },
        'Connections': {
            'Connections': [
                'string',
            ]
        },
        'MaxRetries': 123,
        'AllocatedCapacity': 123,
        'Timeout': 123,
        'MaxCapacity': 123.0,
        'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
        'NumberOfWorkers': 123,
        'SecurityConfiguration': 'string',
        'NotificationProperty': {
            'NotifyDelayAfter': 123
        },
        'GlueVersion': 'string',
        'CodeGenConfigurationNodes': {
            'string': {
                'AthenaConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'ConnectionTable': 'string',
                    'SchemaName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'JDBCConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'FilterPredicate': 'string',
                        'PartitionColumn': 'string',
                        'LowerBound': 123,
                        'UpperBound': 123,
                        'NumPartitions': 123,
                        'JobBookmarkKeys': [
                            'string',
                        ],
                        'JobBookmarkKeysSortOrder': 'string',
                        'DataTypeMapping': {
                            'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                        }
                    },
                    'ConnectionTable': 'string',
                    'Query': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorSource': {
                    'Name': 'string',
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string'
                },
                'S3CatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'S3CsvSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                    'Escaper': 'string',
                    'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                    'Multiline': True|False,
                    'WithHeader': True|False,
                    'WriteHeader': True|False,
                    'SkipFirst': True|False,
                    'OptimizePerformance': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3JsonSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'gzip'|'bzip2',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'JsonPath': 'string',
                    'Multiline': True|False,
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3ParquetSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'Exclusions': [
                        'string',
                    ],
                    'GroupSize': 'string',
                    'GroupFiles': 'string',
                    'Recurse': True|False,
                    'MaxBand': 123,
                    'MaxFilesInBand': 123,
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'RelationalCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamoDBCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'JDBCConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectionTable': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkConnectorTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ConnectionName': 'string',
                    'ConnectorName': 'string',
                    'ConnectionType': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'RedshiftTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string',
                    'RedshiftTmpDir': 'string',
                    'TmpDirIAMRole': 'string',
                    'UpsertRedshiftOptions': {
                        'TableLocation': 'string',
                        'ConnectionName': 'string',
                        'UpsertKeys': [
                            'string',
                        ]
                    }
                },
                'S3CatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3GlueParquetTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'S3DirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'string',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'ApplyMapping': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Mapping': [
                        {
                            'ToKey': 'string',
                            'FromPath': [
                                'string',
                            ],
                            'FromType': 'string',
                            'ToType': 'string',
                            'Dropped': True|False,
                            'Children': {'... recursive ...'}
                        },
                    ]
                },
                'SelectFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'DropFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'RenameField': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SourcePath': [
                        'string',
                    ],
                    'TargetPath': [
                        'string',
                    ]
                },
                'Spigot': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Topk': 123,
                    'Prob': 123.0
                },
                'Join': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                    'Columns': [
                        {
                            'From': 'string',
                            'Keys': [
                                [
                                    'string',
                                ],
                            ]
                        },
                    ]
                },
                'SplitFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Paths': [
                        [
                            'string',
                        ],
                    ]
                },
                'SelectFromCollection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Index': 123
                },
                'FillMissingValues': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'ImputedPath': 'string',
                    'FilledPath': 'string'
                },
                'Filter': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'LogicalOperator': 'AND'|'OR',
                    'Filters': [
                        {
                            'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                            'Negated': True|False,
                            'Values': [
                                {
                                    'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                    'Value': [
                                        'string',
                                    ]
                                },
                            ]
                        },
                    ]
                },
                'CustomCode': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Code': 'string',
                    'ClassName': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SparkSQL': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'SqlQuery': 'string',
                    'SqlAliases': [
                        {
                            'From': 'string',
                            'Alias': 'string'
                        },
                    ],
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'DirectKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DirectKafkaSource': {
                    'Name': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKinesisSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'EndpointUrl': 'string',
                        'StreamName': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingPosition': 'latest'|'trim_horizon'|'earliest'|'timestamp',
                        'MaxFetchTimeInMs': 123,
                        'MaxFetchRecordsPerShard': 123,
                        'MaxRecordPerRead': 123,
                        'AddIdleTimeBetweenReads': True|False,
                        'IdleTimeBetweenReadsInMs': 123,
                        'DescribeShardInterval': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxRetryIntervalMs': 123,
                        'AvoidEmptyBatches': True|False,
                        'StreamArn': 'string',
                        'RoleArn': 'string',
                        'RoleSessionName': 'string',
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'CatalogKafkaSource': {
                    'Name': 'string',
                    'WindowSize': 123,
                    'DetectSchema': True|False,
                    'Table': 'string',
                    'Database': 'string',
                    'StreamingOptions': {
                        'BootstrapServers': 'string',
                        'SecurityProtocol': 'string',
                        'ConnectionName': 'string',
                        'TopicName': 'string',
                        'Assign': 'string',
                        'SubscribePattern': 'string',
                        'Classification': 'string',
                        'Delimiter': 'string',
                        'StartingOffsets': 'string',
                        'EndingOffsets': 'string',
                        'PollTimeoutMs': 123,
                        'NumRetries': 123,
                        'RetryIntervalMs': 123,
                        'MaxOffsetsPerTrigger': 123,
                        'MinPartitions': 123,
                        'IncludeHeaders': True|False,
                        'AddRecordTimestamp': 'string',
                        'EmitConsumerLagMetrics': 'string',
                        'StartingTimestamp': datetime(2015, 1, 1)
                    },
                    'DataPreviewOptions': {
                        'PollingTime': 123,
                        'RecordPollingLimit': 123
                    }
                },
                'DropNullFields': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'NullCheckBoxList': {
                        'IsEmpty': True|False,
                        'IsNullString': True|False,
                        'IsNegOne': True|False
                    },
                    'NullTextList': [
                        {
                            'Value': 'string',
                            'Datatype': {
                                'Id': 'string',
                                'Label': 'string'
                            }
                        },
                    ]
                },
                'Merge': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Source': 'string',
                    'PrimaryKeys': [
                        [
                            'string',
                        ],
                    ]
                },
                'Union': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'UnionType': 'ALL'|'DISTINCT'
                },
                'PIIDetection': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                    'EntityTypesToDetect': [
                        'string',
                    ],
                    'OutputColumnName': 'string',
                    'SampleFraction': 123.0,
                    'ThresholdFraction': 123.0,
                    'MaskValue': 'string'
                },
                'Aggregate': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Groups': [
                        [
                            'string',
                        ],
                    ],
                    'Aggs': [
                        {
                            'Column': [
                                'string',
                            ],
                            'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                        },
                    ]
                },
                'DropDuplicates': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Columns': [
                        [
                            'string',
                        ],
                    ]
                },
                'GovernedCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'GovernedCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'PartitionPredicate': 'string',
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123
                    }
                },
                'MicrosoftSQLServerCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string'
                },
                'MicrosoftSQLServerCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'MySQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'OracleSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'PostgreSQLCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Database': 'string',
                    'Table': 'string'
                },
                'DynamicTransform': {
                    'Name': 'string',
                    'TransformName': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Parameters': [
                        {
                            'Name': 'string',
                            'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'ValidationRule': 'string',
                            'ValidationMessage': 'string',
                            'Value': [
                                'string',
                            ],
                            'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                            'IsOptional': True|False
                        },
                    ],
                    'FunctionName': 'string',
                    'Path': 'string',
                    'Version': 'string',
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'EvaluateDataQuality': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Ruleset': 'string',
                    'Output': 'PrimaryInput'|'EvaluationResults',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'S3CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogHudiSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalHudiOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3HudiCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3HudiDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'Path': 'string',
                    'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'DirectJDBCSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'ConnectionName': 'string',
                    'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                    'RedshiftTmpDir': 'string'
                },
                'S3CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'CatalogDeltaSource': {
                    'Name': 'string',
                    'Database': 'string',
                    'Table': 'string',
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaSource': {
                    'Name': 'string',
                    'Paths': [
                        'string',
                    ],
                    'AdditionalDeltaOptions': {
                        'string': 'string'
                    },
                    'AdditionalOptions': {
                        'BoundedSize': 123,
                        'BoundedFiles': 123,
                        'EnableSamplePath': True|False,
                        'SamplePath': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'S3DeltaCatalogTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Table': 'string',
                    'Database': 'string',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                    }
                },
                'S3DeltaDirectTarget': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'PartitionKeys': [
                        [
                            'string',
                        ],
                    ],
                    'Path': 'string',
                    'Compression': 'uncompressed'|'snappy',
                    'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'SchemaChangePolicy': {
                        'EnableUpdateCatalog': True|False,
                        'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                        'Table': 'string',
                        'Database': 'string'
                    }
                },
                'AmazonRedshiftSource': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    }
                },
                'AmazonRedshiftTarget': {
                    'Name': 'string',
                    'Data': {
                        'AccessType': 'string',
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Table': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogDatabase': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogTable': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'CatalogRedshiftSchema': 'string',
                        'CatalogRedshiftTable': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdvancedOptions': [
                            {
                                'Key': 'string',
                                'Value': 'string'
                            },
                        ],
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'TablePrefix': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'CrawlerConnection': 'string',
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'EvaluateDataQualityMultiFrame': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'AdditionalDataSources': {
                        'string': 'string'
                    },
                    'Ruleset': 'string',
                    'PublishingOptions': {
                        'EvaluationContext': 'string',
                        'ResultsS3Prefix': 'string',
                        'CloudWatchMetricsEnabled': True|False,
                        'ResultsPublishingEnabled': True|False
                    },
                    'AdditionalOptions': {
                        'string': 'string'
                    },
                    'StopJobOnFailureOptions': {
                        'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                    }
                },
                'Recipe': {
                    'Name': 'string',
                    'Inputs': [
                        'string',
                    ],
                    'RecipeReference': {
                        'RecipeArn': 'string',
                        'RecipeVersion': 'string'
                    }
                },
                'SnowflakeSource': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'SnowflakeTarget': {
                    'Name': 'string',
                    'Data': {
                        'SourceType': 'string',
                        'Connection': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'Schema': 'string',
                        'Table': 'string',
                        'Database': 'string',
                        'TempDir': 'string',
                        'IamRole': {
                            'Value': 'string',
                            'Label': 'string',
                            'Description': 'string'
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SampleQuery': 'string',
                        'PreAction': 'string',
                        'PostAction': 'string',
                        'Action': 'string',
                        'Upsert': True|False,
                        'MergeAction': 'string',
                        'MergeWhenMatched': 'string',
                        'MergeWhenNotMatched': 'string',
                        'MergeClause': 'string',
                        'StagingTable': 'string',
                        'SelectedColumns': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ],
                        'AutoPushdown': True|False,
                        'TableSchema': [
                            {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                        ]
                    },
                    'Inputs': [
                        'string',
                    ]
                },
                'ConnectorDataSource': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'OutputSchemas': [
                        {
                            'Columns': [
                                {
                                    'Name': 'string',
                                    'Type': 'string'
                                },
                            ]
                        },
                    ]
                },
                'ConnectorDataTarget': {
                    'Name': 'string',
                    'ConnectionType': 'string',
                    'Data': {
                        'string': 'string'
                    },
                    'Inputs': [
                        'string',
                    ]
                }
            }
        },
        'ExecutionClass': 'FLEX'|'STANDARD',
        'SourceControlDetails': {
            'Provider': 'GITHUB'|'GITLAB'|'BITBUCKET'|'AWS_CODE_COMMIT',
            'Repository': 'string',
            'Owner': 'string',
            'Branch': 'string',
            'Folder': 'string',
            'LastCommitId': 'string',
            'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
            'AuthToken': 'string'
        },
        'MaintenanceWindow': 'string',
        'ProfileName': 'string'
    }
}

Response Structure

# This section is too large to render.
# Please see the AWS API Documentation linked below.

AWS API Documentation

Exceptions

  • Glue.Client.exceptions.InvalidInputException

  • Glue.Client.exceptions.EntityNotFoundException

  • Glue.Client.exceptions.InternalServiceException

  • Glue.Client.exceptions.OperationTimeoutException