Glue / Paginator / GetJobs

GetJobs

class Glue.Paginator.GetJobs

paginator = client.get_paginator('get_jobs')

paginate(**kwargs)

Creates an iterator that will paginate through responses from Glue.Client.get_jobs().

See also: AWS API Documentation

Request Syntax

response_iterator = paginator.paginate(
    PaginationConfig={
        'MaxItems': 123,
        'PageSize': 123,
        'StartingToken': 'string'
    }
)

Parameters:

PaginationConfig (dict) –

A dictionary that provides parameters to control pagination.

• MaxItems (integer) –

  The total number of items to return. If the total number of items available is more than the value specified in max-items then a NextToken will be provided in the output that you can use to resume pagination.

• PageSize (integer) –

  The size of each page.

• StartingToken (string) –

  A token to specify where to start paginating. This is the NextToken from a previous response.

Return type:

dict

Returns:

Response Syntax

{
    'Jobs': [
        {
            'Name': 'string',
            'Description': 'string',
            'LogUri': 'string',
            'Role': 'string',
            'CreatedOn': datetime(2015, 1, 1),
            'LastModifiedOn': datetime(2015, 1, 1),
            'ExecutionProperty': {
                'MaxConcurrentRuns': 123
            },
            'Command': {
                'Name': 'string',
                'ScriptLocation': 'string',
                'PythonVersion': 'string',
                'Runtime': 'string'
            },
            'DefaultArguments': {
                'string': 'string'
            },
            'NonOverridableArguments': {
                'string': 'string'
            },
            'Connections': {
                'Connections': [
                    'string',
                ]
            },
            'MaxRetries': 123,
            'AllocatedCapacity': 123,
            'Timeout': 123,
            'MaxCapacity': 123.0,
            'WorkerType': 'Standard'|'G.1X'|'G.2X'|'G.025X'|'G.4X'|'G.8X'|'Z.2X',
            'NumberOfWorkers': 123,
            'SecurityConfiguration': 'string',
            'NotificationProperty': {
                'NotifyDelayAfter': 123
            },
            'GlueVersion': 'string',
            'CodeGenConfigurationNodes': {
                'string': {
                    'AthenaConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'ConnectionTable': 'string',
                        'SchemaName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'JDBCConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'FilterPredicate': 'string',
                            'PartitionColumn': 'string',
                            'LowerBound': 123,
                            'UpperBound': 123,
                            'NumPartitions': 123,
                            'JobBookmarkKeys': [
                                'string',
                            ],
                            'JobBookmarkKeysSortOrder': 'string',
                            'DataTypeMapping': {
                                'string': 'DATE'|'STRING'|'TIMESTAMP'|'INT'|'FLOAT'|'LONG'|'BIGDECIMAL'|'BYTE'|'SHORT'|'DOUBLE'
                            }
                        },
                        'ConnectionTable': 'string',
                        'Query': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorSource': {
                        'Name': 'string',
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string'
                    },
                    'S3CatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'S3CsvSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'Separator': 'comma'|'ctrla'|'pipe'|'semicolon'|'tab',
                        'Escaper': 'string',
                        'QuoteChar': 'quote'|'quillemet'|'single_quote'|'disabled',
                        'Multiline': True|False,
                        'WithHeader': True|False,
                        'WriteHeader': True|False,
                        'SkipFirst': True|False,
                        'OptimizePerformance': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3JsonSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'gzip'|'bzip2',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'JsonPath': 'string',
                        'Multiline': True|False,
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3ParquetSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'CompressionType': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'Exclusions': [
                            'string',
                        ],
                        'GroupSize': 'string',
                        'GroupFiles': 'string',
                        'Recurse': True|False,
                        'MaxBand': 123,
                        'MaxFilesInBand': 123,
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'RelationalCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamoDBCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'JDBCConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectionTable': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkConnectorTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ConnectionName': 'string',
                        'ConnectorName': 'string',
                        'ConnectionType': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'RedshiftTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string',
                        'RedshiftTmpDir': 'string',
                        'TmpDirIAMRole': 'string',
                        'UpsertRedshiftOptions': {
                            'TableLocation': 'string',
                            'ConnectionName': 'string',
                            'UpsertKeys': [
                                'string',
                            ]
                        }
                    },
                    'S3CatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3GlueParquetTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'snappy'|'lzo'|'gzip'|'uncompressed'|'none',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'S3DirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'string',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'ApplyMapping': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Mapping': [
                            {
                                'ToKey': 'string',
                                'FromPath': [
                                    'string',
                                ],
                                'FromType': 'string',
                                'ToType': 'string',
                                'Dropped': True|False,
                                'Children': {'... recursive ...'}
                            },
                        ]
                    },
                    'SelectFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'DropFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'RenameField': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SourcePath': [
                            'string',
                        ],
                        'TargetPath': [
                            'string',
                        ]
                    },
                    'Spigot': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Topk': 123,
                        'Prob': 123.0
                    },
                    'Join': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'JoinType': 'equijoin'|'left'|'right'|'outer'|'leftsemi'|'leftanti',
                        'Columns': [
                            {
                                'From': 'string',
                                'Keys': [
                                    [
                                        'string',
                                    ],
                                ]
                            },
                        ]
                    },
                    'SplitFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Paths': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'SelectFromCollection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Index': 123
                    },
                    'FillMissingValues': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'ImputedPath': 'string',
                        'FilledPath': 'string'
                    },
                    'Filter': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'LogicalOperator': 'AND'|'OR',
                        'Filters': [
                            {
                                'Operation': 'EQ'|'LT'|'GT'|'LTE'|'GTE'|'REGEX'|'ISNULL',
                                'Negated': True|False,
                                'Values': [
                                    {
                                        'Type': 'COLUMNEXTRACTED'|'CONSTANT',
                                        'Value': [
                                            'string',
                                        ]
                                    },
                                ]
                            },
                        ]
                    },
                    'CustomCode': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Code': 'string',
                        'ClassName': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'SparkSQL': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'SqlQuery': 'string',
                        'SqlAliases': [
                            {
                                'From': 'string',
                                'Alias': 'string'
                            },
                        ],
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'DirectKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string'
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DirectKafkaSource': {
                        'Name': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string'
                        },
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKinesisSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'EndpointUrl': 'string',
                            'StreamName': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingPosition': 'latest'|'trim_horizon'|'earliest',
                            'MaxFetchTimeInMs': 123,
                            'MaxFetchRecordsPerShard': 123,
                            'MaxRecordPerRead': 123,
                            'AddIdleTimeBetweenReads': True|False,
                            'IdleTimeBetweenReadsInMs': 123,
                            'DescribeShardInterval': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxRetryIntervalMs': 123,
                            'AvoidEmptyBatches': True|False,
                            'StreamArn': 'string',
                            'RoleArn': 'string',
                            'RoleSessionName': 'string',
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string'
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'CatalogKafkaSource': {
                        'Name': 'string',
                        'WindowSize': 123,
                        'DetectSchema': True|False,
                        'Table': 'string',
                        'Database': 'string',
                        'StreamingOptions': {
                            'BootstrapServers': 'string',
                            'SecurityProtocol': 'string',
                            'ConnectionName': 'string',
                            'TopicName': 'string',
                            'Assign': 'string',
                            'SubscribePattern': 'string',
                            'Classification': 'string',
                            'Delimiter': 'string',
                            'StartingOffsets': 'string',
                            'EndingOffsets': 'string',
                            'PollTimeoutMs': 123,
                            'NumRetries': 123,
                            'RetryIntervalMs': 123,
                            'MaxOffsetsPerTrigger': 123,
                            'MinPartitions': 123,
                            'IncludeHeaders': True|False,
                            'AddRecordTimestamp': 'string',
                            'EmitConsumerLagMetrics': 'string'
                        },
                        'DataPreviewOptions': {
                            'PollingTime': 123,
                            'RecordPollingLimit': 123
                        }
                    },
                    'DropNullFields': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'NullCheckBoxList': {
                            'IsEmpty': True|False,
                            'IsNullString': True|False,
                            'IsNegOne': True|False
                        },
                        'NullTextList': [
                            {
                                'Value': 'string',
                                'Datatype': {
                                    'Id': 'string',
                                    'Label': 'string'
                                }
                            },
                        ]
                    },
                    'Merge': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Source': 'string',
                        'PrimaryKeys': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'Union': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'UnionType': 'ALL'|'DISTINCT'
                    },
                    'PIIDetection': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PiiType': 'RowAudit'|'RowMasking'|'ColumnAudit'|'ColumnMasking',
                        'EntityTypesToDetect': [
                            'string',
                        ],
                        'OutputColumnName': 'string',
                        'SampleFraction': 123.0,
                        'ThresholdFraction': 123.0,
                        'MaskValue': 'string'
                    },
                    'Aggregate': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Groups': [
                            [
                                'string',
                            ],
                        ],
                        'Aggs': [
                            {
                                'Column': [
                                    'string',
                                ],
                                'AggFunc': 'avg'|'countDistinct'|'count'|'first'|'last'|'kurtosis'|'max'|'min'|'skewness'|'stddev_samp'|'stddev_pop'|'sum'|'sumDistinct'|'var_samp'|'var_pop'
                            },
                        ]
                    },
                    'DropDuplicates': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Columns': [
                            [
                                'string',
                            ],
                        ]
                    },
                    'GovernedCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'GovernedCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'PartitionPredicate': 'string',
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123
                        }
                    },
                    'MicrosoftSQLServerCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MicrosoftSQLServerCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'MySQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'OracleSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'PostgreSQLCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Database': 'string',
                        'Table': 'string'
                    },
                    'DynamicTransform': {
                        'Name': 'string',
                        'TransformName': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Parameters': [
                            {
                                'Name': 'string',
                                'Type': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'ValidationRule': 'string',
                                'ValidationMessage': 'string',
                                'Value': [
                                    'string',
                                ],
                                'ListType': 'str'|'int'|'float'|'complex'|'bool'|'list'|'null',
                                'IsOptional': True|False
                            },
                        ],
                        'FunctionName': 'string',
                        'Path': 'string',
                        'Version': 'string',
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'EvaluateDataQuality': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Ruleset': 'string',
                        'Output': 'PrimaryInput'|'EvaluationResults',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    },
                    'S3CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogHudiSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalHudiOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3HudiCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3HudiDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'Path': 'string',
                        'Compression': 'gzip'|'lzo'|'uncompressed'|'snappy',
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'DirectJDBCSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'ConnectionName': 'string',
                        'ConnectionType': 'sqlserver'|'mysql'|'oracle'|'postgresql'|'redshift',
                        'RedshiftTmpDir': 'string'
                    },
                    'S3CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'CatalogDeltaSource': {
                        'Name': 'string',
                        'Database': 'string',
                        'Table': 'string',
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaSource': {
                        'Name': 'string',
                        'Paths': [
                            'string',
                        ],
                        'AdditionalDeltaOptions': {
                            'string': 'string'
                        },
                        'AdditionalOptions': {
                            'BoundedSize': 123,
                            'BoundedFiles': 123,
                            'EnableSamplePath': True|False,
                            'SamplePath': 'string'
                        },
                        'OutputSchemas': [
                            {
                                'Columns': [
                                    {
                                        'Name': 'string',
                                        'Type': 'string'
                                    },
                                ]
                            },
                        ]
                    },
                    'S3DeltaCatalogTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Table': 'string',
                        'Database': 'string',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG'
                        }
                    },
                    'S3DeltaDirectTarget': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'PartitionKeys': [
                            [
                                'string',
                            ],
                        ],
                        'Path': 'string',
                        'Compression': 'uncompressed'|'snappy',
                        'Format': 'json'|'csv'|'avro'|'orc'|'parquet'|'hudi'|'delta',
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'SchemaChangePolicy': {
                            'EnableUpdateCatalog': True|False,
                            'UpdateBehavior': 'UPDATE_IN_DATABASE'|'LOG',
                            'Table': 'string',
                            'Database': 'string'
                        }
                    },
                    'AmazonRedshiftSource': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        }
                    },
                    'AmazonRedshiftTarget': {
                        'Name': 'string',
                        'Data': {
                            'AccessType': 'string',
                            'SourceType': 'string',
                            'Connection': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Schema': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'Table': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogDatabase': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogTable': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'CatalogRedshiftSchema': 'string',
                            'CatalogRedshiftTable': 'string',
                            'TempDir': 'string',
                            'IamRole': {
                                'Value': 'string',
                                'Label': 'string',
                                'Description': 'string'
                            },
                            'AdvancedOptions': [
                                {
                                    'Key': 'string',
                                    'Value': 'string'
                                },
                            ],
                            'SampleQuery': 'string',
                            'PreAction': 'string',
                            'PostAction': 'string',
                            'Action': 'string',
                            'TablePrefix': 'string',
                            'Upsert': True|False,
                            'MergeAction': 'string',
                            'MergeWhenMatched': 'string',
                            'MergeWhenNotMatched': 'string',
                            'MergeClause': 'string',
                            'CrawlerConnection': 'string',
                            'TableSchema': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ],
                            'StagingTable': 'string',
                            'SelectedColumns': [
                                {
                                    'Value': 'string',
                                    'Label': 'string',
                                    'Description': 'string'
                                },
                            ]
                        },
                        'Inputs': [
                            'string',
                        ]
                    },
                    'EvaluateDataQualityMultiFrame': {
                        'Name': 'string',
                        'Inputs': [
                            'string',
                        ],
                        'AdditionalDataSources': {
                            'string': 'string'
                        },
                        'Ruleset': 'string',
                        'PublishingOptions': {
                            'EvaluationContext': 'string',
                            'ResultsS3Prefix': 'string',
                            'CloudWatchMetricsEnabled': True|False,
                            'ResultsPublishingEnabled': True|False
                        },
                        'AdditionalOptions': {
                            'string': 'string'
                        },
                        'StopJobOnFailureOptions': {
                            'StopJobOnFailureTiming': 'Immediate'|'AfterDataLoad'
                        }
                    }
                }
            },
            'ExecutionClass': 'FLEX'|'STANDARD',
            'SourceControlDetails': {
                'Provider': 'GITHUB'|'AWS_CODE_COMMIT',
                'Repository': 'string',
                'Owner': 'string',
                'Branch': 'string',
                'Folder': 'string',
                'LastCommitId': 'string',
                'AuthStrategy': 'PERSONAL_ACCESS_TOKEN'|'AWS_SECRETS_MANAGER',
                'AuthToken': 'string'
            }
        },
    ],

}

Response Structure

# This section is too large to render.
# Please see the AWS API Documentation linked below.

AWS API Documentation