test

Author: dqkqd

datafusion/core/tests/dataframe/mod.rs

@@ -25,7 +25,7 @@ use arrow::array::{
     Int8Array, LargeListArray, ListArray, ListBuilder, RecordBatch, StringArray,
     StringBuilder, StructBuilder, UInt32Array, UInt32Builder, UnionArray,
 };
-use arrow::buffer::ScalarBuffer;
+use arrow::buffer::{OffsetBuffer, ScalarBuffer};
 use arrow::datatypes::{
     DataType, Field, Float32Type, Int32Type, Schema, UInt64Type, UnionFields, UnionMode,
 };
@@ -6479,3 +6479,103 @@ async fn test_duplicate_state_fields_for_dfschema_construct() -> Result<()> {
 
     Ok(())
 }
+
+#[tokio::test]
+async fn array_distinct_type_mismatch() -> Result<()> {
+    let inner_field = Arc::new(Field::new("data", DataType::Int32, false));
+    let array = ListArray::new(
+        Arc::clone(&inner_field),
+        OffsetBuffer::new(vec![0, 7].into()),
+        Arc::new(Int32Array::from(vec![1, 1, 2, 2, 0, 0, 3])),
+        None,
+    );
+
+    let field = Field::new("my_array", DataType::List(Arc::clone(&inner_field)), true);
+    let schema = Arc::new(Schema::new(vec![field]));
+
+    let batch = RecordBatch::try_new(schema, vec![Arc::new(array)]).unwrap();
+
+    let ctx = SessionContext::new();
+
+    ctx.register_batch("array_batch", batch).unwrap();
+
+    let df = ctx.table("array_batch").await.unwrap();
+
+    // view_all
+    assert_snapshot!(
+       batches_to_string(&df.clone().collect().await.unwrap()),
+        @r"
+    +-----------------------+
+    | my_array              |
+    +-----------------------+
+    | [1, 1, 2, 2, 0, 0, 3] |
+    +-----------------------+
+    "
+    );
+    Ok(())
+    //
+    // let result_df = df.clone().filter(col("my_dict")).unwrap();
+    //
+    // assert_snapshot!(
+    //    batches_to_string(&result_df.collect().await.unwrap()),
+    //     @r###"
+    // +---------+
+    // | my_dict |
+    // +---------+
+    // | true    |
+    // | true    |
+    // | true    |
+    // +---------+
+    // "###
+    // );
+    //
+    // // test nested dictionary
+    // let keys = vec![0, 2]; // 0 -> true, 2 -> false
+    // let keys_array = Int8Array::from(keys);
+    // let nested_array = DictionaryArray::new(keys_array, array);
+    //
+    // let field = Field::new(
+    //     "my_nested_dict",
+    //     DataType::Dictionary(
+    //         Box::new(DataType::Int8),
+    //         Box::new(DataType::Dictionary(
+    //             Box::new(DataType::Int8),
+    //             Box::new(DataType::Boolean),
+    //         )),
+    //     ),
+    //     true,
+    // );
+    //
+    // let schema = Arc::new(Schema::new(vec![field]));
+    //
+    // let batch = RecordBatch::try_new(schema, vec![Arc::new(nested_array)]).unwrap();
+    //
+    // ctx.register_batch("nested_dict_batch", batch).unwrap();
+    //
+    // let df = ctx.table("nested_dict_batch").await.unwrap();
+    //
+    // // view_all
+    // assert_snapshot!(
+    //    batches_to_string(&df.clone().collect().await.unwrap()),
+    //     @r###"
+    // +----------------+
+    // | my_nested_dict |
+    // +----------------+
+    // | true           |
+    // | false          |
+    // +----------------+
+    // "###
+    // );
+    //
+    // let result_df = df.clone().filter(col("my_nested_dict")).unwrap();
+    // assert_snapshot!(
+    //    batches_to_string(&result_df.collect().await.unwrap()),
+    //     @r###"
+    // +----------------+
+    // | my_nested_dict |
+    // +----------------+
+    // | true           |
+    // +----------------+
+    // "###
+    // );
+}