Spark function과 Spark SQL 성능 비교
비교 로직 CSV파일 로딩된 DataFrame을 select하여 데이터 변작 후 filter하여 조회
약 SQL Function이 4% 정도 빠름
도출된 Dataframe을 table로 등록하는 과정에 의한 손실로 보임
비교 로직 CSV파일 로딩된 DataFrame을 select하여 데이터 변작 후 filter하여 조회
약 SQL Function이 4% 정도 빠름
도출된 Dataframe을 table로 등록하는 과정에 의한 손실로 보임