데이터 작업을 조금 고칠 때마다 원격 환경을 기다려야 한다면 답답하다. 로컬에서 빠르게 돌려볼 수 있는 도구가 반가운 이유다. 그런데 결과가 맞았다는 표시를 보고 배포해도 안전하겠다고 생각하면, 시험하지 않은 것까지 믿게 될 수 있다.

MiniLake는 노트북에서 Databricks API를 흉내 내는 프로젝트다. SQL과 Delta Lake, Spark 작업을 다루는 기능을 설명하면서도 인증 없이 권한을 허용하고 단일 프로세스로 동작한다는 제한을 밝힌다. 그 제한은 작은 각주가 아니라 어디에 써야 하는지를 알려주는 설명이다.
주문 세 줄에서 취소된 한 줄을 빼고 두 줄이 남는지 보고 싶다면 로컬 계산이 도움이 될 것이다. 필터와 집계, 출력 형식을 자주 고쳐볼 수 있다. 하지만 읽기 전용 역할이 삭제 요청을 하면 거절되는지를 보려면 실제 권한 체계가 있는 환경이 필요하다. 모든 권한을 허용하는 도구에서 그 검사를 끝냈다고 할 수는 없다.
두 시험 중 하나를 고를 필요는 없다. 같은 작은 예제를 로컬에서 계산해보고, 권한과 실제 작업 상태는 승인된 통합 환경에서 확인하면 된다. 중복 주문을 하나로 합칠지 오류로 돌려줄지 같은 업무 규칙은 그 전에 정해야 한다. 도구는 우리가 기대한 결과를 대신 결정하지 않는다.
실행 시간도 그대로 가져오기는 어렵다. 노트북의 단일 프로세스에서 빨랐다고 실제 클러스터의 대기와 자원 부족까지 확인한 것은 아니다. 로컬이라는 이유만으로 민감한 자료를 마음대로 복사해도 되는 것도 아니다. 공개해도 되는 작은 가상 입력이면 계산을 설명하는 데 충분할 때가 많다.
나는 이런 도구를 모든 환경의 대체품으로 보기보다 자주 바꾸는 부분을 가까이 가져오는 방법으로 보고 싶다. 그래야 원격에서는 정말 필요한 질문에 시간을 쓸 수 있다. 테스트 통과 옆에 생략한 검사가 남아 있으면, 다음에 어디로 가야 할지도 훨씬 분명해진다.
이어 읽기: 컨테이너와 파일의 관계를 확인하기