- 퍼플립
- 사내 AI 구축
Private AI · 온프레미스 LLM
회사 데이터는 회사 안에 두고,
AI는 사내에서 씁니다.
질문과 문서를 외부 AI 서비스로 보내지 않습니다. 회사 장비에 AI를 설치해 사내 문서를 찾고, 묻고, 정리하는 일부터 작게 시작하고, 설치 뒤 12개월 운영까지 맡습니다.
진단에서 실제 회사 문서 일부로 시험해, 쓸 만한지 먼저 보여 드립니다.
01고민
AI는 쓰고 싶은데,
이게 걸립니다.
- 직원들이 회사 문서를 외부 AI에 붙여 넣고 있는 것 같아 불안합니다.
- 보안 규정이나 고객과의 계약 때문에 외부 AI를 쓸 수 없습니다.
- 규정, 매뉴얼, 계약서가 너무 많아 필요한 내용을 찾는 데 시간이 걸립니다.
- 장비를 사야 하는지, 어디서부터 시작해야 하는지 모르겠습니다.
한 부서, 한 가지 일부터 작게 시작하면 됩니다.
02만드는 것
사내 문서로 답하는 AI를
회사 장비에 설치합니다.
사내 문서 검색·질의응답
"출장비 정산 기준이 뭐야?"처럼 물으면 사내 문서에서 찾아 답하고, 근거 문서를 함께 보여 줍니다.
권한에 맞춘 답변
직원이 볼 수 있는 문서 안에서만 답합니다. 인사·재무 문서는 권한이 있는 사람에게만 보입니다.
사용 기록
누가 무엇을 물었는지 기록으로 남겨, 보안 점검과 활용도 확인에 씁니다.
문서 요약·초안 작성
회의록 요약, 보고서 초안, 계약서 비교처럼 반복되는 문서 작업을 돕습니다.
쓰던 도구 안에서
사내 웹 화면이나 그룹웨어, 메신저에 붙여서 따로 배우지 않아도 쓰게 합니다.
설치 후 운영
새 문서 반영, 모델 업데이트, 장애 대응, 월간 사용 보고까지 12개월 동안 맡습니다.
03장비 규모
쓰는 사람과 데이터에 맞춰
장비를 고릅니다.
처음부터 큰 서버를 살 필요는 없습니다. 진단에서 사용자 수와 문서 양을 확인하고 맞는 규모를 제안합니다.
- 시작 · 부서 단위
NVIDIA DGX Spark 1대
사내 문서 검색과 질의응답부터 시작합니다. 책상 위에 두는 크기라 서버실 없이도 사무실에 설치할 수 있습니다.
- 확장 · 여러 부서
DGX Spark 2대 연결
더 큰 AI 모델이 필요하거나 함께 쓰는 사람이 늘어나면, 장비를 연결해 처리 용량을 늘립니다.
- 전사 · 대규모
GPU 서버 · 전용 클라우드
전사에서 쓰거나 많은 데이터를 학습해야 하면, 사용량을 확인하고 GPU 서버나 전용 클라우드로 설계합니다.
- 5만 건사내 서버 AI 구축 사례의 검색 대상 문서
- 100%같은 사례에서 사내 서버로 처리한 질문
- 0건외부 AI 서비스로 나가는 질문과 문서
- 12개월설치 후 운영 계약
04진행
작게 시험하고,
효과를 보고 넓힙니다.
- 11~2주 · 무료
진단
문서 종류와 양, 보안 규정, 쓸 사람을 확인하고 실제 문서 일부로 시험합니다.
- 2범위 확정
장비와 범위
장비 규모, 먼저 넣을 문서, 쓸 부서를 정하고 기간과 비용을 확정합니다.
- 3진단 후 확정
설치와 시범 운영
한 부서에서 먼저 쓰며 답변 품질과 권한을 다듬습니다.
- 412개월
확대와 운영
다른 부서로 넓히고, 새 문서 반영과 업데이트를 매달 진행합니다.
Private AI는 데이터와 장비 상황에 따라 기간과 비용이 달라, 진단 후 숫자로 제안합니다. 장비는 고객 명의로 구매하고, 계정과 데이터도 처음부터 고객 소유입니다.
05FAQ
사내 AI,
이것이 궁금합니다.
ChatGPT만큼 똑똑한가요?
사내 AI는 Llama, Qwen 같은 공개 모델을 씁니다. 모든 질문에서 최신 상용 AI와 같지는 않지만, 사내 문서를 찾고 요약하고 답하는 일에는 충분한 경우가 많습니다. 진단 단계에서 실제 회사 문서로 시험해 보여 드립니다.
인터넷 연결 없이도 쓸 수 있나요?
네. 설치가 끝나면 질문과 답변은 사내 장비 안에서 처리됩니다. 모델이나 소프트웨어를 업데이트할 때만 정해진 절차로 외부 연결이 필요합니다.
어떤 문서를 넣을 수 있나요?
PDF, 워드, 엑셀, 파워포인트, 한글(HWP) 문서와 사내 게시판·위키의 글을 넣을 수 있습니다. 스캔 이미지 문서는 글자 인식을 거쳐 넣습니다.
틀린 답을 하면 어떻게 하나요?
답변마다 근거 문서를 함께 보여 줘서 직원이 바로 확인할 수 있게 합니다. 운영 중에 자주 틀리는 질문을 모아 매달 개선합니다.
장비는 어디서 사나요?
장비는 고객 명의로 직접 구매하시고, 저희는 맞는 사양과 수량을 정해 드립니다. 이미 GPU 서버나 DGX Spark가 있으면 그 장비에 설치합니다.
함께 보기