로컬 LLM은 한 대의 컴퓨터가 아니라 개인 지식망이 될 수 있다

이 영상은 로컬 LLM을 “내 컴퓨터 안에서만 돌아가는 모델”로 보지 않는다. 더 흥미로운 지점은 따로 있다. 내 Obsidian 노트, LLM Wiki, 로컬 LLM, Tailscale을 연결하면, 개인 지식베이스를 여러 기기에서 부를 수 있는 작은 AI 서비스처럼 쓸 수 있다는 점이다.

처음에는 기술 시연처럼 보이지만, 조금 더 들여다보면 질문은 꽤 실용적이다. 내가 쌓아둔 노트를 언제 어디서나 불러와 답변, 강의안, 보고서 초안으로 바꿀 수 있다면 세컨드 브레인은 더 이상 보관함이 아니다. 움직이는 작업 환경이 된다.

노트는 저장소가 아니라 응답하는 지식체계가 된다

영상의 출발점은 Obsidian 노트다. 약 1,400개가 넘는 노트, 1만 개 이상의 엔티티와 개념, 1만 7천 개 정도의 연결이 인덱싱되어 있고, 이것을 기반으로 질문하고 결과물을 생성한다.

핵심은 단순히 AI에게 묻는 것이 아니라, 내 노트가 하나의 지식 체계가 되어 그 지식 체계를 바탕으로 답변한다는 점이다. 일반 챗봇이 세상 전체의 평균적인 답을 준다면, 이 구조는 내가 쌓아둔 자료와 생각의 연결을 바탕으로 답한다.

단순히 AI에게 묻는게 아니라 제 노트가 하나의 지식 체계가 돼서 그 지식 체계를 바탕으로 한 답변을 준다라고 보시면 될 거 같아요.

이 문장이 영상의 중심에 가깝다. 노트앱이 검색 가능한 창고에서, 나에게 다시 말을 걸 수 있는 시스템으로 넘어가는 장면이다.

노트가 많아지는 것보다 중요한 건, 그 노트들이 다시 질문에 응답할 수 있는 구조를 갖는 일이다.

로컬 LLM의 장점은 비용보다 구조에 있다

영상에서는 로컬 LLM을 쓴다. Qwen, Nvidia, Darwin 같은 모델을 로컬 서버에 연결하고, OMLX 구조로 활용하는 방식이 소개된다. 로컬 LLM이라고 하면 보통 비용 절감이나 보안을 먼저 떠올리지만, 여기서는 조금 더 구조적인 의미가 보인다.

로컬 LLM은 개인의 데이터베이스와 더 가깝게 붙을 수 있다. 외부 서비스에 계속 데이터를 보내지 않고도, 내 노트를 기반으로 질의응답하고, 생성된 답변을 다시 노트로 저장하고, 좋음/별로임 피드백을 통해 답변 방식을 다듬는다.

영상 속 시스템은 질문과 결과물이 다시 노트로 쌓이는 순환 구조를 갖고 있다. 이게 흥미롭다. AI가 한 번 답하고 끝나는 게 아니라, 답변이 다시 내 지식체계의 일부가 된다. 잘 굴러가면 “읽기 → 질문 → 생성 → 저장 → 다시 질문”의 루프가 생긴다.

Tailscale이 붙으면 개인 AI가 이동성을 얻는다

가장 실용적으로 와닿은 부분은 Tailscale 연결이었다. 로컬 LLM과 Obsidian 기반 플러그인이 한 대의 맥북에서만 돌아간다면 쓸 수 있는 순간이 제한된다. 그런데 Tailscale로 기기들을 같은 사설망처럼 묶으면, 맥미니나 맥북에서 돌아가는 로컬 AI를 아이폰에서도 접속할 수 있다.

로컬 LLM을 하나의 디바이스에서만 활용하는 것이 아니라, 모바일이나 다른 디바이스에서도 동시에 활용할 수 있다라고 생각하시면 좋을 것 같아요.

이 말은 꽤 크다. 로컬 AI가 “책상 앞에서만 쓰는 도구”에서 “내가 가진 여러 기기에서 부를 수 있는 개인 지식 서비스”로 바뀐다. 아이폰에서 강의 초안을 요청하고, 그 답변이 내 Obsidian 노트를 근거로 나온다. 이 구조가 되면 이동성의 문제가 많이 줄어든다.

Tailscale은 로컬 LLM을 원격 서비스처럼 바꾸는 연결 계층이 된다.

작은 팀의 전용 연구용 LLM도 가능하다

영상에서 한 단계 더 나아간 지점은 팀 단위 활용이다. 맥미니나 맥 스튜디오 같은 장비를 24시간 켜두고, 중요한 데이터베이스를 한 곳에 두고, 팀원들의 기기와 연결하면 작은 조직만의 전용 로컬 LLM을 만들 수 있다는 이야기다.

작은 팀이라면 그 작은 팀을 하나의 서버로 연결시켜서 같은 데이터를 바탕으로 한 팀만의 LLM을 만들 수 있는 거죠.

이건 조직 지식관리 관점에서 꽤 중요한 힌트다. 많은 팀이 지식을 문서함에 저장하지만, 실제로 다시 쓰지는 못한다. 파일은 쌓이고 검색은 어렵고, 새 사람이 들어오면 맥락을 설명하는 데 시간이 든다. 그런데 팀의 문서와 노트가 로컬 LLM에 연결되면, 최소한 내부 맥락을 묻고 초안을 만들고 근거 문서를 따라가는 일이 쉬워질 수 있다.

물론 운영 문제는 남는다. 권한, 백업, 모델 품질, 보안, 동기화, 답변 검증 같은 것들이 필요하다. 그래도 방향은 분명하다. 팀의 지식은 단순 보관물이 아니라, 질문받고 응답하는 시스템이 될 수 있다.

내 쪽으로 가져오면

이 영상은 Deciflow Notes와도 직접 연결된다. 나는 이미 글, 영상, 논문을 노트로 만들고 있다. 다음 질문은 이 노트들을 어디까지 다시 쓸 수 있게 만들 것인가다. 단순히 사이트에 공개하는 것과 별개로, 내부 작업용 지식베이스로도 재활용할 수 있어야 한다.

내 쪽으로 가져올 행동은 세 가지다.

• Deciflow Notes 글과 LLM Wiki/Obsidian 노트의 연결 방식을 정하기
• 공개용 글과 내부용 작업 노트를 분리하되, 서로 참조할 수 있게 만들기
• 로컬 LLM 또는 개인 서버에서 내 노트 기반 질의응답을 테스트하기

특히 “모바일에서 내 노트 기반 AI를 부른다”는 발상이 좋았다. 떠오른 질문을 PC 앞에 앉을 때까지 미루지 않고, 이동 중에도 내 지식망에 던질 수 있다면 노트의 활용 빈도가 달라진다.

개인 지식망이 여러 기기에서 열리면, 노트는 저장소보다 작업 환경에 가까워진다.

오늘 남길 결론

로컬 LLM의 의미는 “인터넷 없이도 AI를 쓴다”에서 끝나지 않는다. 내 데이터, 내 노트, 내 작업 맥락과 붙었을 때 진짜 가치가 생긴다. 그리고 Tailscale 같은 연결 계층이 붙으면 그 가치는 한 대의 컴퓨터 안에 갇히지 않는다.

오늘 남겨둘 문장은 이것이다.

세컨드 브레인은 노트를 많이 쌓는 일이 아니라, 다시 불러 쓸 수 있는 구조를 만드는 일이다.

로컬 LLM은 그 구조를 개인과 작은 팀 단위에서 실험할 수 있게 해준다.

원본 영상

• 제목: LLM Wiki + 로컬 LLM을 아이폰에서? 옵시디언+Tailscale 실전 인사이트
• 채널: 배움의 달인 (AI·자동화)

원본 영상: LLM Wiki + 로컬 LLM을 아이폰에서? 옵시디언+Tailscale 실전 인사이트 · 배움의 달인 (AI·자동화)