TNO dataset, master-data missing required value
Hi, I'm using generate_manifests.sh to generate manifests. However, there are some missing properties in the provided TNO dataset, in this file
Log
Not using group file
2023-06-04 23:07:55 INFO input_csv: /Users/dodang/workspace/free/osdu/open-test-data-master/rc--3.0.0/1-data/3-provided/TNO/master-data/Well/well_tno_csv_0915_2021.csv
2023-06-04 23:07:55 INFO template_json: /Users/dodang/workspace/free/osdu/open-test-data-master/rc--3.0.0/5-templates/master_data/template_maWell.1.0.0.json
2023-06-04 23:07:55 INFO output_path: /Users/dodang/workspace/free/osdu/open-test-data-master/rc--3.0.0/generated-manifests/tno/master-well-data-manifests
2023-06-04 23:07:55 INFO schema_path: /Users/dodang/workspace/free/osdu/open-test-data-master/rc--3.0.0/3-schema
2023-06-04 23:07:55 INFO schema_ns_name: <namespace>
2023-06-04 23:07:55 INFO schema_ns_value: --required_template
2023-06-04 23:07:55 INFO
2023-06-04 23:07:56 ERROR Unable to process data row: 1
Traceback (most recent call last):
File "/Users/dodang/workspace/free/osdu/open-test-data-master/rc--3.0.0/2-scripts/load_manifest_scripts/src/loading_manifest/csv_to_json.py", line 631, in create_manifest_from_csv
jsonschema.validate(to_be_validated, schema, resolver=resolver)
File "/Users/dodang/workspace/arm-venv/lib/python3.9/site-packages/jsonschema/validators.py", line 1121, in validate
raise error
jsonschema.exceptions.ValidationError: 'properties' is a required property
Failed validating 'required' in schema['properties']['data']['allOf'][1]['properties']['SpatialLocation']['properties']['Wgs84Coordinates']['properties']['features']['items']:
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'geometry': {'oneOf': [{'type': 'null'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'type': {'enum': ['Point'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON Point',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 2,
'type': 'array'},
'type': {'enum': ['LineString'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON LineString',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 4,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['Polygon'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON Polygon',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiPoint'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON MultiPoint',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 2,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiLineString'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'MultiLineString',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 4,
'type': 'array'},
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiPolygon'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON MultiPolygon',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'geometries': {'items': {'oneOf': [{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'type': {'enum': ['Point'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'Point',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 2,
'type': 'array'},
'type': {'enum': ['LineString'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'LineString',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 4,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['Polygon'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'Polygon',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiPoint'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'MultiPoint',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 2,
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiLineString'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'MultiLineString',
'type': 'object'},
{'properties': {'bbox': {'items': {'type': 'number'},
'minItems': 4,
'type': 'array'},
'coordinates': {'items': {'items': {'items': {'items': {'type': 'number'},
'minItems': 2,
'type': 'array'},
'minItems': 4,
'type': 'array'},
'type': 'array'},
'type': 'array'},
'type': {'enum': ['MultiPolygon'],
'type': 'string'}},
'required': ['type',
'coordinates'],
'title': 'GeoJSON '
'MultiPolygon',
'type': 'object'}]},
'type': 'array'},
'type': {'enum': ['GeometryCollection'],
'type': 'string'}},
'required': ['type',
'geometries'],
'title': 'GeoJSON '
'GeometryCollection',
'type': 'object'}]},
'properties': {'oneOf': [{'type': 'null'},
{'type': 'object'}]},
'type': {'enum': ['Feature'], 'type': 'string'}},
'required': ['type', 'properties', 'geometry'],
'title': 'GeoJSON Feature',
'type': 'object'}
On instance['data']['SpatialLocation']['Wgs84Coordinates']['features'][0]:
{'geometry': {'coordinates': [3.51906683, 55.68101428],
'type': 'Point'},
'type': 'Feature'}```