1차 업무는 RFP, 제안서 등을 통해 고객의 니즈를 도식화하고 구체화하는 업무입니다.
첫 번째 업무는 RFP(Request For Proposal)와 제안서를 꼼꼼히 분석하며 프로젝트의 목표와 요구 사항을 이해하고 구체화하는 과정입니다. 실제 생성형 AI 개발 프로젝트에서 활용되는 RFP 양식을 기반으로 한 샘플 RFP를 분석하여 고객이 GPT-4o나 Claude-3.5-Sonnet 등과 같은 생성형 AI 모델을 활용하여 해결하려는 구체적인 문제는 무엇인지, 최종 사용자는 일반 사용자(B2C)인지 혹은 법인 고객(B2B)인지, 보안이나 성능에 대한 특별한 요구사항은 없는지 등 각 항목별로 프로젝트의 목표와 요구 사항을 세분화합니다.
이 단계에서는 대상 사용자와 그들의 요구 사항을 파악하고, 생성할 콘텐츠의 유형을 결정하는 것이 중요합니다. 최종 사용자와 텍스트, 이미지, 코드 등 생성하고자 하는 내용에 따라 구체적인 목표를 설정하고, 모델의 성능과 프로젝트의 성공 여부를 평가할 수 있는 정성적/정량적 지표에 대해 설계해 보면서 프로젝트를 구체화해 나아가는 과정입니다.
2차 업무는 도메인 데이터에 대해 이해하고 생성형 AI 모델을 선택하고 적용하는 업무입니다.
최종 사용자와 사용 사례가 정의되고 나면 프로젝트 구현을 위해 사전 학습된 모델을 사용할지 아니면 자체 모델을 학습하여 활용할지 결정해야 합니다. 이 때 AWS나 MS Azure 혹은 GCP 등의 CSP(Cloud Service Provider)에서 제공하는 LLMOps 플랫폼을 통해 모델을 연동할 수도 있고, 고객의 요구사항에 따라 고객사의 서버 환경에 직접 모델을 구축할 수도 있습니다.
간단한 작업에는 모델 허브에서 제공되는 비교적 사이즈가 작은 사전 학습된 모델로도 충분할 수 있습니다. 또한 금융, 의료, 법률 등 전문 지식이 필요하다면, 관련 도메인 데이터를 추가로 학습해 해당 분야에 특화된 초거대언어모델(LLM)을 만들어볼 수도 있습니다. 이 때 LLM을 직접 학습시키려면 상당한 계산 자원과 데이터셋이 필요하다는 점도 염두에 두어야 합니다. 구체적인 서비스 구현을 위해 LLM 호출을 위한 API 활용법과 오픈소스 모델 활용에 필요한 Huggingface 활용법에 대해서도 알아봅니다.
3차 업무는 생성형 AI 모델을 조정 및 최적화하고 배포 및 실무에 통합하는 업무입니다.
이 단계는 사용 사례에 맞게 선택한 모델을 다듬는 데 중점을 둡니다. 예를 들어 ‘생성형 AI 기반 투자 어드바이저’를 만들고 싶다면, 무엇보다 정확하게 최신 정보에 근거한 답변을 하는 것이 중요하겠지요. 좋은 성능의 LLM을 활용하는 것 보다 중요한 것은 LLM이 사용자의 요구사항을 반영한 최종결과를 생성해 낼 수 있도록 유도하는 것입니다.
다음으로 LangChain이나 LangGraph와 같은 프레임워크를 활용하여 LLM을 검색증강생성(RAG) 파이프라인과 연동하고 서비스의 컨셉에 맞게 답변을 제어하는 과정을 거칩니다. 코딩 없이 LLM의 아웃풋을 조정하는 가장 대표적인 방법으로는 프롬프트 엔지니어링이 있습니다. 이 단계에서는 특정 도메인의 서비스나 분석 과제에 맞게 LLM의 답변을 유도하고 행동을 제어하는 효과적인 프롬프트를 작성하는 과정을 거칩니다.
또한, 미세 조정을 통해 작은 규모의 작업 특화형 데이터셋을 사용해 모델의 파라미터를 조정하여 목표 작업에서의 성능을 향상시키고 환각현상(Hallucination)을 방지합니다. 이 단계에서는 모델이 안전하고 편향되지 않으며 인간의 가치와 선호에 부합하는 출력을 생성하도록 인간 피드백을 반영하는 작업인 인간 피드백 강화 학습(RLHF) 기법에 대해서도 알아보도록 하겠습니다.
다음으로 사용 목적에 맞게 다듬어진 생성형 AI 모델을 응용 프로그램이나 작업 흐름과 통합하고 배포하는 작업이 필요합니다. 이 때, 모델을 콘텐츠 생성의 효율성을 높이기 위해 추론을 최적화하고, 적합한 환경(클라우드 or 온프레미스)에 직접 구축한 생성형 AI 서비스를 배포해보는 과정을 거칩니다. 이 때 LLM을 외부 API 및 도구와 연결하여 기능을 확장하거나 사용자 인터페이스에 통합하는 작업도 포함될 수 있는데, 모델의 실제 환경에서 성능을 지속적으로 평가하고 모니터링할 수 있는 메커니즘을 마련하고, 필요에 따라 조정하는 것이 중요합니다.
4차 업무는 PPT를 만들고 최종 발표 및 피드백을 통해 개선점을 찾아가는 단계입니다.
AI Software Architect는 엔지니어이기도 하지만 생성형 AI의 전문가로서 고객의 다양한 문제를 해결하는 역할도 합니다. 따라서 개발자 마인드셋에 더해 사용자의 입장에서 생각하는 비즈니스 마인드셋을 장착하는 것 역시 중요합니다. 실제로 AI Software Architect로 일하다 보면 코딩이나 LLM 테스트 이외에도 테크 웨비나를 진행하거나 잠재고객에게 피칭을 하게될 기회가 많이 있습니다.
마지막 업무를 통해서 참가자 분들이 스스로 개발한 생성형 AI 서비스를 실제로 고객에게 어필하는 시간을 가져봅니다. 이 과정에서는 참가자들이 자신을 AI Software Architect로 생각하고, 실제로 생성형 AI 서비스를 어떻게 개발하고 배포했는지, 이를 통해 고객이 어떤 가치를 얻을 수 있는지를 효과적으로 전달해야 합니다.
멘티님도 할 수 있어요.
