데이터 유출 없이 챗GPT를 쓰는 방법

챗GPT의 사용성과 답변의 질이 높아지면서, 챗GPT를 통해 회사 기밀이나 주요 데이터가 유출이 되는 기사를 많이 접하고 있습니다.

 

https://www.aitimes.com/news/articleView.html?idxno=150619

“챗GPT와 내부 업무 결합하면 기밀 유출 위험" - AI타임스

https://www.donga.com/news/Inter/article/all/20230519/119386344/1

애플, 직원에 챗GPT 사용 금지령… “기밀유출 우려”

 

이에 대응하기 위해 MS 도 PrivateGPT를 준비하고 있습니다.

https://www.digitaltoday.co.kr/news/articleView.html?idxno=475479

MS, 기밀 유출 우려 없앤 프라이빗 챗GPT 곧 공개..."가격은 최대 10배" - 디지털투데이 (DigitalToday)

 

PrivateGPT 설명

PrivateGPT는 현재 OpenAI에서 출시된 범용적인 ChatGPT가 아닌 개인 또는 조직이 보유한 데이터를 기반으로 사용자에게 맞춤형 챗봇, 번역, 요약 등의 다양한 자연어처리(NLP) 서비스를 제공할 수 있는 인공지능 기술입니다. 기존 생성형 AI 챗봇서비스에 사용하는 모델과 다른 부분은 기업 또는 사용자의 데이터를 기반으로 학습하여 도메인에 최적화한 서비스를 제공하는 것입니다. 초거대 AI 모델을 사용하기 때문에 유연한 리소스 관리를 위해서 PrivateGPT는 대개 클라우드 환경에서 운영되나 On-Prem 환경에서 운영 가능합니다. 이를 이용하면 중요 데이터 유출에 대한 고민을 덜 수 있습니다. 따라서, PrivateGPT는 개인정보나 기업 기밀 보호에 있어서 우수한 보안 기능을 제공합니다. 데이터의 보안성을 유지하면서 학습 데이터를 바탕으로 사용자의 요구에 맞는 품질 높은 서비스를 제공할 수 있는 것이 가장 큰 장점입니다.

 

PrivateGPT 오픈소스 소개

현재 공개된 초거대 AI 모델(LLM)을 기준으로 PrivateGPT를 구축할 수 있습니다. 인터넷 연결 없이 회사의 데이터로 초거대 AI 모델에 로딩하게 추론을 요청할 수 있습니다. 구조는 LangChain + GPT4ALL + LlamaCPP + Chroma + SetenceTransformers로 되어 있습니다. 지원가능한 데이터는 csv, word 파일(docx, doc) 이외에도 14가지 형식의 데이터 포맷을 지원합니다. 파이썬은 3.10 이상의 버전에서 사용하는 것을 추천드리며, Mac의 M1을 사용하시는 분들은 바로 구동가능합니다. (Intel의 경우 pip install 시 archiflags 설정 필요)

 

오픈소스 프로젝트를 공개하니 즐거운 공부 되시길 바랍니다.

https://github.com/imartinez/privateGPT

GitHub - imartinez/privateGPT: Interact privately with your documents using the power of GPT, 100% privately, no data leaks