usecase

Author: getChan

_posts/2024-11-27-join_algorithms.md

@@ -101,9 +101,17 @@ end
 - 어떤 조인 알고리즘이든 사용 가능하다.
 - 큰 테이블은 다른 노드로 전달되지 않아도 되기 때문에 네트워크 비용이 절감된다.
 
+# 분산 쿼리엔진 사용사례
+- spark 2.3 버전부터는 sort-merge join을 선호한다.
+  - 메모리 안정성을 높게 평가한 것으로 보인다.
 
 ![](https://miro.medium.com/v2/resize:fit:1400/format:webp/1*EQOwbBV0AmDIvWfBtP4RCw.png)
 
+- trino / presto에서는 hash join을 선호한다. sort-merge 조인이 미구현되어 있다. 
+- datafusion은 hash join을 선호한다.
+
+전반적으로 노드 메모리에 가까운 데이터를 조인하는 경우 sort-merge join이 빠르고, 그렇지 않은 경우 hash join이 빠르다고 한다.
+
 # 참고 
 - Database System Concepts, 7th Edition. *Abraham Silberschatz, Henry F. Korth, S. Sudarshan. McGraw-Hill Education. 2019.*
 - [CS186 berkely lecture](https://www.youtube.com/@CS186Berkeley/videos)