TL;DR:
-
정보의 홍수와 선택적 학습: 육아와 본업을 병행하며 딥러닝과 작곡(DAW)을 모두 마스터하려 했으나, 시간적 한계와 정보 과잉을 절감함. 모든 것을 깊게 파기보다는 ‘전략적으로 필요한 것만 취하는’ 방식으로 태도를 전환함.
-
작곡 vs 사운드 디자인: 완곡을 만들어야 한다는 압박감(스토리라인, 감성 등)보다는, 기계를 만지고 소리 자체를 조립하는 **신디사이저와 사운드 디자인(엔지니어링적 요소)**에 진정한 흥미가 있음을 깨달음.
-
모듈러 신스와의 조우: Deadmau5 등의 영향으로 하드웨어/소프트웨어(VCV Rack) 모듈러 신스의 세계에 빠져듦. 이는 단순한 음악 활동을 넘어, 본업인 프로그래밍(C++, DSP) 및 AI(LLM) 기술을 접목할 수 있는 최적의 놀이터가 됨.
-
결론: 수많은 관심사를 거쳐온 이 모든 시행착오는 결국 **’인생의 최적해(Gradient Descent)’**를 찾아가는 과정이며, 이제는 나만의 방식(AI+모듈러 신스)으로 그 길을 기록해 나가려 함.
요즘 신생아 육아를 하면서 새벽수유때마다 딥러닝과 강화학습, 모듈러 패칭 유튜브를 보고있었다. 이 딥러닝도 하도 많이 보다보니 물론 모든게 100% 이해된다면 거짓말이겠지만 적어도 큰 흐름은 알겠더라. 내가 학생이었다면 손으로 직접 forward/backpropagation을 해보겠지만 지금은 그냥 넋놓고 강의를 볼 수 있는 것에라도 감사하게 된다.
정보의 과잉
첫째 육아를 하던 3년 전부터, 아니 사실 음악 프로듀싱이야 스무살 이전부터 하고싶던 것중 하나였는데 매번 본업에 치여서 제대로 할 수 없었다. 그런데 육아를 하다보니 특히 30분 정도의 자투리 시간이 많아지고, 3년 전부터 틈틈히 DAW나 전자음악 프로듀싱 강의를 듣고 했는데 사실 어느정도 곡을 만드는 flow는 알 수 있었지만 솔직히 말해서 단 한곡도 만들지 못했다. 음악을 consume하는 것과 produce하는건 정말 큰 격차가 있구나 라는 생각과 함께, 이건 정말 툴의 문제가 아니구나 라는 생각이 들더라. 내가 진짜 좋아하는 것, 왜 음악을 만들고자 하는건가 라는 긍국적인 생각이 들면서.
이는 머신러닝, 딥러닝, 빅데이터 등 내가 관심있는 모든 분야가 다 마찬가지였다. 항상 그렇지만, 시작할 때는 재밌게 하지만 그게 채 15분 이상을 가지 못한다. 게다가 본업, 육아 등 몇 군데에 치여서 시간을 할애하지 못하게 되면 몇 개월간 이는 계속해서 미뤄진다. 결국 나는 이 ‘커리큘럼’을 끝내지 못하고 그저 ’언젠가 시간이 나겠지‘ 라면서 발만 동동 구르게 되는 것이다.
그렇게 지금은 시간이 났고 실제로 내가 미뤄둔 것들을 하나 둘 하다보니깐 몇 가지 느끼는게 있었다. 첫째, 모든걸 들을 필요는 없다. 이건 솔직히 말해서 나의 그냥 상대적 만족감이다. 시간이 무한하다면 호기심을 충족하기 위해서 아마 천문학도 공부할 것이다. 하지만 시간은 한정되어 있는데 대학 한학기~1년에 걸쳐서 배우는 것들을 그저 ‘무료’ 혹은 저렴하게 듣는다는 것은 사실 말이 되지 않는다. 그럴꺼면 학부때, 대학원때 더 열심히 하지. 결국 나이가 들면서 책임이 늘면서, 이렇게 출산휴가처럼 소중한 시간이 생겼을 때, 무턱대고 커리큘럼을 전부 소화하자! 라는것은 말이 되지 않는다. 결국 전략적으로 꼭 필요한 것을 공부해야 하는 것이다.
그렇게 나는 딥러닝 공부를 일단락 하기로 했다. MIT강의를 좀 들었는데, 기존에 시도하던 Stanford나 우리 학교에서 졸업생들 대상으로 실제 강의를 공유하는 CMU강의보다는 이론적인 부분을 정말 수박 겉핥기 식으로 커버하지만 나는 되려 이게 나았다. 큰 그림 속에서 내가 정말 필요로 하는 ‘그것’을 캐치할 수 있었다. LLM의 내부 구조, Gen AI에 뭐 디퓨전 모델 그런거 다 좋다. 좋지만 내가 이를 지금 필요로 하는가? 만들어야 하는가? 라고 했을때 정말 필요하면 하겠지만 당장 필요하지도 않은걸. 마찬가지로 머신러닝 공부는 뭐 하도 많이 수박겉핥기 식으로 봐서 supervised, unsupervised뭐 이런 러닝 대충 있는거 알겠고 GD가 쓰이는 이유 등등 다 알겠더라. 왜 병렬처리가 NN, CNN을 만들 수 있었는지에 대해서도 이론적으로, 손으로 구현이야 못하겠지만 필요하면 TF로 구현정도는 할 수 있지 않을까 라는 생각에서 다 접었다.
Electronic Music Production에 대한 이해와 한계
다시 음악공부로 돌아와보면, 2021년 지금 회사에 입사하면서 회사에서 Coursera가 무료라서 Berklee의 Electronic Music Production을 들었다. 기본적인 음파, timber등 그런것들에 대해서 다뤘다. 2022년에는 육아를 하며 새벽에 깨는 시간이 많아서 새벽에 음악이론과 프로듀싱을 들었다. 클래스 101을 들은 때도 이때였다. synth wave, lo-fi등에 대해서 관심이 많았었다. 사실 이때 배운건 그냥 splice에서 샘플 사다가 짜집기 하는것 정도라고 해야할까. ableton live를 처음 접하고 reverb, delay, filter에 대해서 배웠다. 딱히 analog같은 내장 신스에 대해서는 해본적이 없었다. 참, 이때 Music Theory도 공부했었는데 솔직히 말해서 아직까지도 무슨말인지 모르겠고, 재미없었다. 그냥 메이저=happy, 마이너=sad 정도 (ㅋㅋ)
2023년에 Serum을 만나고 나서 VST에 대해서 조금씩 알아가기 시작했다. 이때부터 신디사이저에 대해서 조금씩 관심이 생겼었고, 특히 2023년에 드럼 디자인에 대해서도 좀 공부를 했었다. 그런데 이쯤되니 난 솔직히 굉장히 overwhelmed된 것 같았다. 정말 공부할께 많았고, 특히 내 관심사는 계속해서 이동해 나갔었다. 나는 그저 Udemy, LinkedIn Learning, EdmProd 의 끝없는 강의들을 듣고 있었는데 어느 순간이 되니 대부분 강의들이 ‘깊이’가 없고 나는 몇년이 지나도 단 한곡도 완성하지 못하는 결과를 가져왔다.
2024년에는 어떻게든 Honne나 Ravages, Hybs같은 음악을 만들고 싶었는데 이리저리 그 barrier가 아직까지는 컸던 것 같다. 어쨌든 세달 정도 걸려서 Ravages의 한곡은 한번 완성해봤다. 보니깐 Ravages든 Honne든 hybs든 ‘밴드 듀오’ 이고 신디사이저 위주인데 내가 이런 곡을 만드는 것이 정말 즐거울까? 라는 생각을 해보니 아니라는 답이 들었다. 즉, DAW를 사용해서 곡을 만드는 것이야 좋지만, 생각보다 너무 많은 노력이 들고 뭔가 하나의 스토리라인? 감성? 을 한 곡에 녹여내야 하는게 과연 내가 정말 즐거워 하는것일까 라는 생각이 들더라. 뭔가 이건 창작을 위해 감수해야 하는 ‘고통’ 같았다. music theory와 신스음, 보컬, 드럼비트 등등.. 이런 조합으로 이뤄진 음악에 나는 흥미를 못느꼈다. 배워야 할 것은 산더미였고, 툴은 또 얼마나 많았으며 무엇보다 재미가 없었다. 하지만 한가지 확실한 것은, 신디사이저 공부는 재밌었다. 신디사이저의 구성이 나를 이끌었다. 사운드 디자인은, 소리를 뭔가 조합해나가거나 subtractive해나가는 방식이 즐거웠다.
신디사이저에 대한 관심
음악을 ‘만듬’에 있어서 내가 진짜 좋아하는 것은 무엇이었을까? 음악을 왜 만들고 싶어했던가? 난 사실 음악 자체보다 음악을 구성하는 그런 시스템이 더 좋았던 것 같았다. VST와 신디사이저들, 거기서 나오는 새로운 소리들에 매료되어 있었다. 그래서 Arturia에서 mocking한 신디사이저들에 대해서 전부 유튜브 강의를 듣는 시도를 해봤는데 이게 뭐 한두개여야지, one man and his songs이란 유튜버의 튜토리얼 강의를 들었었는데 2년이 다되도록 다 듣지 못했다.

VST강의 뿐이랴, 유튜브에서 관심있어 하는 튜토리얼 등은 모두 다 북마크 해두고 어떤건 1년이 지나서 다시 듣기 시작했는데 관심사가 사라지는 경우도 있었다. 나는 Arturia의 모든 VST를 정복하고 싶었는데 결국 내 생각에는 Modular V랑 DX9정도만 좀 공부했던 것 같다.

뭐 거의 30개 가까운 VST가 존재하는 Arturia의 V Collection을 하나하나 보다보니 물론 신디사이저들마다 각각의 개성이 있고 그런건 알겠는데 이게 결국 프로듀서의 취향이고 하드웨어가 아닌 이상 사실 ‘시각적’인 재미는 좀 느낄 수 있어도 손으로 ‘직접’ 만지는 그 만족감을 주지는 못하는 것 같았다. 결국 이것도 내가 코세라, 유데미 등의 강의를 싸게 ‘소유’ 하고 몇년을 보지 못하는 그것과 뭐가 다르겠는가, 단순히 가상악기들을 가지고 있는 자체만으로 나는 ‘체감’상 이미 많은 악기들을 다룰 수 있다! 라는 말도안되는 심리적 만족감을 가지게 되었지만 실상은 역시나 barrier도 높았다. 본업에 치여서 몇 년에 걸쳐서 공부한 결과, 대부분의 신디사이저는 결국 몇 개의 신디사이저 카테고리로 들어간다는 것을 알게되었다.

정말 신디사이저가 내가 좋아하는 것이었을까? 물론 신디사이저의 종류별로 다르겠지만 결국 오실레이터, 필터, amplifier, LFO, ADSR등 몇몇 모듈들의 조합으로 만들어지는게 신디사이저라는 느낌을 받았다. 이건 뭔가, 결국 모듈들의 조합이 아닌가?

결국 신디사이저의 모듈들을 이해하면 꼭 신디사이저 자체에 극한되지 않고 나만의 그것을 만들 수 있다는 생각이 들었고, 분명한 것은 저 가상 신디사이저를 다 이해할 필요도 없고 핵심적인 부분에서 가장 중요한 것은 내가 만들고자 하는 소리를 찾는 것이었다. ‘내가 만들고 싶은 음악’을 생각했을 때, 결국은 전자음악이고 2022년에 쓴 이 글처럼 나는 Deadmau5같은 일렉트로닉 댄스 음악을 만들고 싶었다.
Deadmau5 – My Pet Coelacanth
정말이지 데드마우스의 음악을 들을 때마다 컴퓨터 내부로 들어가서 마치 전자들이 회로에 따라 동요되며 만들어지는 음악들 같았다. 당연히 컴퓨터를 업으로 하는 내게 이는 너무나도 매혹적이었고, 어쩜 이런 음악을 만들었을까 하고 감탄했었는데, 마침 (타겟 광고겠지만) Masterclass에서 deadmau5가 하는 강의가 있어서 냉큼 이를 듣고나서 그리고 그가 매번 일요일마다 저 거대한 장비들을 케이블을 조작하며 만지작 거린다는 것을 알고나서 모듈러 신스가 대체 뭘까에 대해서 엄청나게 깊은 관심이 들었다. (뭔가 엄청 멋져보였다.)
모듈러 신스를 공부하기 위해서 찾아보니 LinkedIn Learning에 Chris Meyer라는 강사(?)가 mother-32와 modular v3의 강의가 있어서 들었다. 물론 당시에는 아직 오실레이터, 필터 등 대부분을 이해하지 못하고 있었기 때문에 정말 극히 일부분만 이해할 수 있었지만, 어쨌건 나는 ‘아 이게 내가 하고싶은 분야다!’ 라는 생각이 깊게 들었고, Modular V 연습을 어느정도 하고 나서 바로 Moog Mother-32를 구입했다. (물론 회사 일이 바뻐서 거의 구입 일년이나 지나고 나서야 만지작 거릴 수 있었지만)

이후 Chris Meyer가 집필한 Patch & Tweak을 2024년 중반에 사서 봤다. 정말로 방대한 모듈러 신스에 대한 집약적 사전과 같은 이 책은, 사실 거의 대부분은 아이의 주말 액티비티를 기다리며 읽었기 때문에 아직도 겨우 절반정도 끝낼 정도로 방대하지만 무엇보다 나는 모듈러 아티스트들과 모듈 개발사들의 인터뷰를 통해서 그들의 세계관을 간접적으로 체험할 수 있었다.
육아와 본업 덕분에 진도는 매우 더디게 나갔지만, 어쨌든 나는 조금씩 이 세계에 대한 이해를 할 수 있었다. 작년 말에는 DFAM과 SUBHARMONICA도 구입했고 어느정도는 라이브 세미 패칭을 통해 원하는 음악을 만들 수 있는 구성을 갖췄다. 사실 Arturia의 RackBrute도 구입을 했지만 아무런 모듈도 구입하지 않았다. 자칫 잘못하면 몇만불 가까히 지출될께 너무나도 뻔했기에, 다행이 내가 알게 된 또 다른 세계는 VCV Rack이라는 가상 모듈러 패치 세계가 있다는 것을 알았고 이 세계 또한 엄청나게 크다는 것을 알았다.
육아휴직을 시작하고 나서 나는 DFAM과 SUBHARMONICA를 통해 테크노를 연주하는 것을 조금씩 공부하면서 동시에 VCV Rack에 대해서 유튜브에서 남들이 패칭하는 것들을 따라하고 있다. 몇몇 모듈러 신스의 ‘구성’을 이해하고 나서, 아 이게 유로랙이라는 것에서 정말 수 많은 조합의 커스토마이징으로 동작할 수 있겠구나 라는 것에서 정말 큰 희열을 느꼈다. 모듈의 종류 또한 얼마나 많은가? 내가 선택하는 모듈에 따라서 음악이 달라진다니. 솔직히 말해서 모듈들이 반짝이는 그 자체에서 주는 ‘멋’도 있다. 솔직히 끌린다. 나도 멋진 patcher가 되고 싶고, 나만의 모듈러로 내가 원하는 음악을 패칭하고 싶다는 꿈이 생겼다.
나만의 방법을 찾아야한다.
모듈러 신스도 정말로 모듈도 많고 그 세계가 너무나도 방대하다. 하지만 확실한 것은 무한한 자유가 존재한다는 것이다. 게다가 VCV Rack은 내가 익숙한 프로그래밍으로 모듈을 만들 수 있다. 물론 이를 위해서는 또 DSP (Digital Signal Processing)을 알아야 겠지만 (뭐 퓨리에라던가..) 내생각에는 C++에도 라이브러리가 잘 되어 있어서 그렇게 어렵지 않게 내게 익숙한 툴을 통해서 전자음을 조작할 수 있겠다는 생각이 들었다. 무엇보다 VCV Rack의 오픈소스 버전인 Cardinal의 코드를 요즘 조금씩 보고 있는데 이 자체만으로도 큰 도움이 되고 있다.

난 특히나 남들이 접근하지 않은 방법으로 이를 이해하고 창조하려는 노력을 하고 있다. 모듈러 세계는 너무 방대하지만 작년부터 나는 Claude Code나 Codex등의 도움을 통해서 보다 더 쉽게 코드를 이해할 수 있었고 필요한 기능을 더 추가할 수 있었다. 사실 작년부터 가상 신디사이저에 AI를, 정확히는 LLM을 연동시키려는 시도를 했었다. (나중에 좀더 상세하게 소개하도록 하겠다.)

글이 정말 길어졌는데 결론은 그거다. 좋아하는 것을 따라가고 이를 위해서는 시간이 걸리지만 결국 어디론가는 수렴한다는 것. 이건 결국 인생의 gradient descent를 찾는 과정이 아닌가. 참으로 삶이란 다 그런 것 같다. 삽질의 과정이 결국 어디선가에서는 필요한 그런것.. 그리고 나는 더더욱 그런 삽질 과정을 블로그에 기록하면서, 이 모든 글들이 내 머릿속의 삽질의 최적해를 찾는데에 도움이 될것이라는 것을 믿는다.


