48만원으로 LLM 돌리는 서버 만들기 - 중고 부품 삽질 대장정 (ft. 와이프 설득 PPT)

코인 트레이딩 봇 및 홈서버용으로 쓰던 12년 된 서버가 있었어요. Xeon E3-1230 V2에 DDR3 16GB, GTX 1050이라는 고대 유물 스펙이었죠. 백테스팅을 GPU로 가속하고 싶어서 그래픽카드 업그레이드를 결심했어요. 그런데 GPU를 사고 나니 욕심이 생기더라고요. “어? 이 정도 VRAM이면 로컬 LLM도 돌릴 수 있지 않나?” Ollama로 Qwen 3 8B 정도는 돌려보고 싶었거든요. 그렇게 시작된 업그레이드 여정이… 보드 3번 교체, RAM 순직, 딸내미 케이스 킥까지 이어지는 대장정이 될 줄은 몰랐습니다 😅

😤 당근 GPU 사냥기 - 놓침의 연속

#

RTX 3060 12GB를 목표로 당근마켓 순회를 시작했어요. VRAM 12GB면 8B 모델은 충분히 돌릴 수 있거든요.

그런데 좋은 매물은 이미 다 팔린 상태더라고요. 19만원, 21만원, 22만원 매물들… 전부 판매완료. 나중에 알고 보니 RTX 3060은 8GB와 12GB 버전이 있더라고요. 싼 매물들은 8GB 버전이 아니었을까 싶기도 해요. LLM 돌리려면 VRAM이 생명인데, 8GB 샀으면 또 후회했을 수도 있겠네요 😅

결국 27만원 매물에서 1만원 네고해서 26만원에 구매했어요. 처음 본 19만원 대비 7만원이나 비싸게 샀지만, 더 이상 기다릴 수가 없더라고요.

💾 RAM 부족 - 첫 번째 보드 교체

#

GPU를 장착하고 백테스팅을 돌렸는데… RAM이 터지더라고요.

기존 H61 보드는 최대 16GB까지만 지원해서, 32GB로 업그레이드하려면 보드를 바꿔야 했어요. DDR3을 유지하면서 32GB 지원하는 B75M 보드를 당근에서 2.7만원에 구했고, DDR3 8GB 2개를 3만원에 추가해서 32GB를 완성했죠.

여기까지는 순조로웠어요.

🎯 GPU 백테스팅 성공 - 그런데…

#

RTX 3060으로 백테스팅을 돌려보니 확실히 빨라졌어요. 최적의 파라미터를 찾고, 그럭저럭 수익도 올리고 있었죠.

사실 32GB로 올려도 다량의 데이터를 RAM에 올리려다 터지는 건 마찬가지였어요. 결국 SSD 캐싱과 청크 처리 방식으로 RAM 문제를 우회해서 해결했죠. 32GB도 부족했던 거예요 😅

백테스팅이 안정화되니까 또 욕심이 생기더라고요. “이 GPU로 로컬 LLM도 돌려볼까?” 그렇게 Ollama를 설치했는데… 문제는 그 다음이었습니다.

💀 Ollama 사태 - Above 4G의 저주

#

드디어 Qwen 3 8B를 돌려봤는데… 세 마디도 못 버티고 뻗어버리는 거예요.

처음엔 GPU 불량인 줄 알았어요. 그런데 메인 PC에서는 잘 돌아가더라고요? 뭐가 문제지 싶어서 엄청 삽질했습니다.

결론부터 말하면 Above 4G Decoding 문제였어요.

Above 4G Decoding이 뭐냐면, 4GB 이상의 메모리 공간을 PCIe 장치에 할당하는 기능이에요. RTX 3060의 12GB VRAM을 제대로 쓰려면 이게 필수인데, B75 칩셋(LGA 1155)은 이 기능을 지원하지 않아요.

LGA 1155 세대 전체가 Above 4G를 지원 안 하더라고요. DDR3을 유지하면서 Above 4G를 쓰려면 LGA 1150 (4세대) 으로 가야 했어요.

🔄 두 번째 보드 교체 - Z97의 배신

#

번개장터에서 선인상가 판매자분을 찾아 i7-4790K를 6만원에 구했고, 당근에서 Z97 Maximus VII Hero를 7만원에 구매했어요.

조립 완료하고 전원 넣었는데… 코드 55 (메모리 에러) 가 뜨더라고요.

RAM 위치를 바꿔가며 테스트해보니, B채널 슬롯 전체가 불량이었어요. A1, A2만 인식되고 B1, B2는 아예 안 되는 거예요. 4슬롯 중 2슬롯만 살아있으니 32GB 풀뱅이 안 되는 거죠.

판매자분께 연락하니 다행히 H97 Pro 보드로 교환해주시고, 1.5만원 네고까지 해주셨어요. Z97 → H97은 다운그레이드지만, 어차피 오버클럭할 게 아니니 H97도 충분했어요.

🪦 RAM 순직 사건

#

그런데 더 큰 문제가 있었어요.

H97 Pro에 RAM 4개를 꽂았는데 24GB만 인식되는 거예요. 8GB 하나가 안 되는 거죠. 혹시나 싶어서 남겨뒀던 B75M에 테스트해보니… 부팅이 안 돼요.

원인을 찾아보니, Z97의 불량 슬롯이 RAM을 죽이고 간 거였어요. 멀쩡하던 타무즈 DDR3 8GB 하나가 순직했습니다 🪦

판매자분께 더 보상을 요청할까 고민했는데… 이미 보드 교환에 네고까지 받은 상황이라 더 요구하기가 애매했어요. 시시비비 가리다가 “니가 보드 고장낸 거 아니냐"라는 역공을 받을 수도 있으니까요.

🦵 딸내미 케이스 킥

#

사실 기존 서버 케이스는 이미 전사한 상태였어요.

조립하기 한참 전에, 딸내미가 제 방에서 컴퓨터 하다가 서버 컴을 발로 찼거든요. 전면 플라스틱 래치가 부러지면서 전면 패널이 통째로 뜯겨버렸어요 😂

그래서 한동안 오픈케이스로 운영하고 있었어요. 먼지도 쌓이고 영 불안해서 케이스를 찾아봤죠.

B75M 시절에 프렉탈 팝 미니 사일런트(mATX)가 3만원에 올라왔었어요. 판매자분께 부속품 확인 요청했는데… 주말이라 나중에 확인해준다더니 그대로 잠수.

그러다 Ollama 사태가 터져서 보드가 ATX인 H97 Pro로 바뀌어버렸고, mATX 케이스는 더 이상 의미가 없어졌어요. 판매자 잠수가 오히려 다행이었네요 😅

새로 ATX 케이스를 찾다가 프렉탈 디파인 C가 2.7만원에 올라온 걸 발견했어요. 신품가 10만원 넘는 정숙성 특화 케이스가 2.7만원? 못 참지. 바로 연락해서 오늘 저녁에 픽업 예정입니다.

🤫 녹투아 쿨러의 유혹

#

중간에 당근 돌아다니다가 녹투아 슬림 쿨러가 2.5만원에 올라온 거예요. 기존엔 인텔 기본 쿨러(일명 초코파이)를 쓰고 있었는데, 녹투아가 2.5만원이면 못 참잖아요.

온도는 비슷해요. 4790K TDP가 88W인데 슬림 쿨러가 커버하기엔 좀 벅차거든요. 하지만 소음은 확실히 줄었어요. 24시간 돌아가는 서버인데 옆에서 웅웅거리면 미치거든요.

💰 와이프 설득 PPT 대작전

#

사실 이 프로젝트의 가장 큰 난관은 기술적 문제가 아니었어요. 와이프 설득이었죠.

PPT를 만들었어요. 진짜로. 이 이야기는 이전 포스트에 자세히 썼는데, 간단히 요약하면:

• 현재 서버 스펙과 한계점
• LLM 활용 시 기대 효과 (트레이딩 봇 고도화)
• 투자 대비 수익 전망
• 중고 부품 활용으로 비용 절감

결과는 대성공! GPU 구입비 전액(26만원)과 추가로 RAM+쿨러 비용 5만5천원, 보너스 5천원까지 해서 총 32만원을 지원받았어요.

PPT 만드는 데 30분 걸렸으니, 시급으로 치면 64만원짜리 작업이었네요 😂

📊 최종 스펙 및 비용 정리

#

Before vs After

#

총 지출 내역

#

실제 본인 부담

#

신품으로 비슷한 스펙 맞추면 DDR4 32GB만 25만원 하고, 총 8388만원 정도 들어요. 중고로 48만원에 맞췄으니 3540만원 절약한 셈이죠. 삽질 시간은 덤이고요 😅

💡 이번에 배운 것들

#

기술적 교훈

#

1. Above 4G Decoding은 필수 - 대용량 VRAM GPU를 제대로 쓰려면 반드시 확인해야 해요. LGA 1155 이하는 지원 안 합니다.

2. DDR3 유지 + Above 4G = LGA 1150 (4세대) - DDR3 메모리를 살리면서 Above 4G를 쓰려면 4세대로 가야 해요.

3. 중고 보드는 슬롯 테스트 필수 - 메모리 슬롯 불량은 생각보다 흔해요. 구매 전 테스트하거나, 환불/교환 정책 확인하세요.

삽질 방지 교훈

#

1. 당근 매물은 타이밍 - 좋은 매물은 기다리면 없어져요. 적정가면 바로 지르세요.

2. 중고 거래는 적당히 손절 - 모든 걸 보상받으려 하면 분쟁만 길어져요. 적당한 선에서 마무리하는 게 정신건강에 좋습니다.

3. 와이프 설득은 PPT로 - 진지하게 준비하면 의외로 통합니다 😊

🚀 앞으로의 계획

#

지금은 24GB RAM으로 운영 중인데, 삼성 DDR3 8GB 2개를 추가로 구해서 32GB 듀얼채널을 완성할 예정이에요. 타무즈 램이 죽어서 짝이 안 맞거든요.

그리고 10년 된 750W 파워가 시한폭탄처럼 남아있어요… 언제 터질지 모르니 이것도 슬슬 교체를 고민 중입니다.

어쨌든 Qwen 3 8B가 이제 안 뻗어요! 🎉 48만원(본인 부담 약 16만원)으로 로컬 LLM 서버를 완성했습니다.

결국 조금씩 업그레이드하려던 계획이 RAM 하나와 저장장치, 파워 빼고는 전체 물갈이가 되어버렸네요 😅 기존 Xeon E3-1230 V2와 B75M, GTX 1050은 재당근해서 비용을 더 줄여볼 생각이에요.

비슷한 프로젝트 계획하시는 분들께 이 삽질기가 도움이 되길 바랍니다. 궁금한 점 있으시면 댓글로 남겨주세요! 😊

📎 관련 글

#

• RTX 3060 12GB 중고 구매기 - 와이프 설득용 PPT까지 만든 썰