[NCP-AI] 기출내용 기반 이론 내용

2025년 3월 6일 NCP-AI 자격증 취득 완료!

빨간색으로 표시된 부분은 2번의 시험동안 나왔던 내용

 

NCP-AI 시험 이론

 

지도 학습 : 레이블로 된 데이터를 학습

• 분류 : 스팸 메일 분류, MNIST 필기체 인식, 붓꽃 종류 구분 등
  • 입력과 정답(레이블)이 함께 제공되는 학습 방식
  • 이진분류, 다중분류
• 회귀 : 중고차 가격 예측, 강우 및 기상 확률 예측 등
  • 데이터 분석을 통해 결과 수치를 예측

비지도 학습 : 레이블이 없는 훈련 데이터를 이용하여 시스템이 스스로 학습

• 클러스터링(군집화) : 기사 내용을 보고 기사 카테고리 분류, 영상의학 분야에서 이미지 판독 등
  • 정답(레이블)이 없는 입력 데이터에서 비슷한 특징끼리 군집화 (포유류, 조류)

강화 학습 : 에이전트가 환경과 상호작용하여 시행착오를 통해 최적의 행동 전략을 배우는 과정

• 가상환경에서의 시뮬레이션 게임, 로봇 팔과 같은 정밀 작업, 자율 주행, 로봇 이동 경로 최적화 등
  • 벽돌깨기 게임을 하는 기계 학습 모델 등
  • DQN(Deep Q-Network) : Target group 이중화 후 결과값 고정하여 학습, 리플레이 메모리
  • A3C(Asynchronous Advantage Actor-Critic) : 샘플 수집하는 여러개의 에이전트 사용(병렬)

딥러닝

• 인공신경망 방식으로 학습처리
  • 컴퓨터 비전 : 이미지 분류, 물체 감지, 얼굴 인식 등
  • 자연어 처리 : 감정 분석, 언어 번역, 챗봇 등
  • 헬스 케어 : 의료 영상 분석, 질병 예측, 약물 발견 등
  • 자율 시스템: 자율 주행 자동차, 드론 네비게이션 등
  • 금융: 사기 탐지, 주식 시장 예측 등
  • 게임 및 엔터테인먼트 : 비디오 게임 AI, 콘텐츠 생성 등
• 딥러닝이 최근에 주목 받는 이유
  • 컴퓨터의 연산 능력 향상
  • GPU와 분산처리 등으로 복잡하고 정교한 모델 구현 가능
  • 빅데이터 학습이 가능해져 정확도 향상
  • 인공 신경망을 라이브러리(텐서플로, 케라스 등)을 통해 쉽게 구현 가능

네이버 클라우드 플랫폼의 GPU 서버

• 병렬 연산에 최적화된 GPU 서버의 고성능 컴퓨팅 파워를 제공하는 서비스
  • 딥 러닝을 위한 GPU 서버 팜
    • NVIDIA T4, V100, A100 장착
    • NVIDIA GRID 기술이 아닌 Pass Through를 적용하여 제공
    • Virtual Machine (VM) : NVIDIA T4 (최대 2장), V100 (최대 4장)
    • Bare Metal Server (BM) : A100 (최대 8장), 로컬 NVME(고도로 병렬화된 데이터 전송을 위한 프로토콜) 디스크를 기본으로 지원

AI의 구현 방법 (모델 이용)

• 이미 잘 만들어진 AI 모델을 이용하는 방식으로 Input에 처리하려고 하는 데이터를 넣으면 Output으로 모델로 처리된 내용 전달

 

AI모델 훈련과 평가를 위한 데이터 세트

• 특정 목적을 위해 수집 된 데이터들의 집합
  • 데이터의 형태 : 숫자, 텍스트, 이미지, 음성, 비디오 등 다양한 형태
  • 질문과 정답으로 이루어진 훈련 데이터 (지도 학습)
  • 데이터로만 이루어진 훈련 데이터 (비지도 학습)
• 훈련 세트와 테스트 세트
  • 훈련 세트 : AI모델 학습을 위해 사용되는 데이터로 패턴을 찾고, 규칙을 학습
  • 테스트 세트 : 학습된 AI모델의 성능을 평가하는데 사용되는 데이터
• 샘플링 편향 (Sampling Bias)
  • 테스트 세트의 데이터의 밸런스가 한 쪽으로 치우쳐져 균형 잡힌 모델을 만들 수 없는 경우
    • 얼굴 인식 AI 모델 - 훈련 데이터 (다양한 인종과 성별 데이터가 필요)
• 데이터 전처리
  • 데이터 세트에 대해 보다 정확한 모델을 만들 수 있도록 사전에 데이터에 전처리 과정을 적용

네이버 클라우드 AI 상품

• AI NAVER API :Rest API로 제공되는 AI 서비스
  • CLOVA Speech Recognition : 음성 인식 기술
  • CLOVA VOICE : 고품질 음성 합성 기술로 다양하고 자연스러운 목소리 제공
  • Maps : 위치 기반 서비스를 만들 수 있는 API
  • CAPTCHA : 사람 인증 서비스
  • nShortURL : 길이가 긴 URL을 짧게 줄여주는 서비스
  • Search Trend : 네이버 통합검색 서비스를 통해 수집되는 검색어 통계를 다양한 기준으로 조회하고 활용
• AI Service : 빌더를 이용하여 사용자가 빌드할 수 있으며 콘솔에서 다양한 구성 설정 가능
  • Papago Translation : AI 기반 번역
  • CLOVA Chatbot : 챗봇 대화 모델 작성과 다양한 메시징 채널 연계
  • CLOVA OCR : 인쇄물 상의 문자를 인식 / 디지털 데이터 자동 추출
  • CLOVA Speech : 말소리를 인식하여 텍스트로 바꿔주는 음성 인식 서비스
  • CLOVA Dubbing : AI 보이스를 동영상에 입히는 기능
  • AITEMS : 사용자 분석하여 취향에 맞는 상품 추천하는 서비스
  • CLOVA Studio : 초대규모 AI HyperCLOVA 기반의 No Code AI 도구
  • CLOVA NSML : 인프라 제약 없이 딥러닝을 가속화할 수 있는 도구와 인프라 제공
  • CLOVA Greeneye : 이미지 판독, 유해 이미지 탐지
  • CLOVA CareCall : 어르신들을 위한 돌봄 서비스
  • NCLUE : 사용자 데이터를 활용하여 사용자 행동 예측 & 속성 정량적 추론
  • Papago Image Translation :이미지에 포함된 텍스트 인식하여 결과 제공
  • Ncloud TensorFlow : ML 패키지들을 설치형으로 제공하는 서비스
  • Ncloud TensorFlow Cluster : Ncloud Tensorflow 상위 서비스

CLOVA Speech

• 음성 인식 기술을 통한 미디어내 음성 인식 서비스
  • 음성 메모, 영상 자막 생성, 통화 녹취록 관리 서비스에 활용 가능
  • 결과 파일 포맷
    • json, csv, xls, srt, smi
  • 인식 가능 언어장문인식 한국어, 영어, 한영 동시, 일본어, 중국어(번체/간체)
  • 인식 가능 시간장문인식 2시간 (sync), 6시간 (Batch, async)
  • 인식 파일 크기장문인식 최대 2GB (빌더), 최대 20GB (API)
  • 인식 대상 파일 형식장/단문 - 음성 mp3, aac, ac3, ogg, flac, wav, m4a
  • 인식 결과 수정을 위한 Speech 빌더 제공
  • 문장 자동 분리 및 타임 스탬프 지원 (작업 편의성)
  • 키워드 부스팅 (인식 확률 높이기)
  • 인식 결과 수정 에디터 제공 (작업 편의성)
  • API 기반 인식 제공 (최대 2시간, 2GB 까지 지원)

CLOVA Dubbing

• 사용자가 입력한 문장을 음성으로 변환
• 100여종의 다양한 음색 + 나만의 음색 + 다양한 효과음 제공
• 작업 결과물개별 더빙 파일 *.zip(mp3,wav) 글자 수 차감
• 서비스 지원 범위동영상 H.264 코덱의 MP4, MOV 20분 / 500MB
• 파일 저장
  • 영상 파일 : 1개 (더빙 + 동영상)
  • 음원 파일 : 1개 (더빙 + 효과음)
  • 개별 더빙 파일 : 각각의 보이스 합성음

Papago Translation (Neural Machine Translation)

• 통계 기반 번역
  • 번역할 언어의 종류를 자동 감지
  • 학습을 통해 높아지는 성능
  • Rest API 제공
  • 자연스러운 번역 기술 제공
  • 영어, 일어, 중국어 등 13개국어 제공
• 텍스트 번역 요청 파라미터
  • Source : 원본 언어의 언어코드
  • Target : 목적 언어의 언어코드
  • Text : 번역 내용
  • Glossarykey : 용어집 기능 사용 (선택)
  • Replaceinfo : 치환 번역 지정 (선택)
  • Honorific : 높임말 여부 (선택)
• 문서 요청 파라미터
  • 문서 파일 (docs, pptx, xlsx, pdf, hwp) 번역
    • 최대 100MB , 30만 글자수
    • 한국어-영어, 일본어, 중국어(간체) 번역
  • Source : 원본 언어의 언어코드
  • Target : 목적 언어의 언어코드
  • File : 번역할 파일
• 웹사이트 번역 요청 파라미터
  • HTML 혹은 element를 타겟 언어로 번역
    • 한국어-영어 ,일본어, 중국어(간체) 번역
    • 정적 페이지에 대해 번역
  • Source, Target, html (번역할 html 소스, 공백 포함 20만 bite 이내)
• 언어 감지 API
  • 텍스트를 분석하여 언어 감지 (15개 언어 감지)
  • query : 언어 감지할 텍스트
• 이미지 번역
  • 이미지상의 텍스트 OCR로 추출하고 번역 텍스트 및 번역 이미지 제공
  • 11개 언어 감지
  • 이미지 → 텍스트 / 이미지 → 이미지

 

CLOVA Chatbot

• 답변 자동화, CSR, CSS와 연동을 통해 음성 채팅까지 확장 가능
• 라인, 톡톡, 페이스북 메신저와 연동
• 학습을 위한 별도의 빌더 제공
• 도메인 단위로 관리

CLOVA OCR (Optical Character Recognition)

• 진보된 템플릿 기능
  • 지정된 템플릿에 맞추어 데이터를 추출하고 데이터베이스화
• 학습을 위한 별도의 빌더 제공
• 도메인 단위로 관리

AiTems

• 사용자별 이력을 분석하여 관심사와 취향에 맞는 상품을 추천하는 완전 관리형 머신러닝 서비스
• 개인화된 추천 서비스 제공
  • 고객의 데이터를 Object Storage에 업로드 필요
  • DataSet 생성
  • 학습 시작 및 결과 확인
  • 구성 : Object Storage , DataSet, Schema
• 구축 및 운영 비용 절감
• 데이터 강력 보안

CLOVA Speech Recognition

• 음성을 텍스트로 변환
  • 국내에서 가장 높은 한국어 인식률
  • Android 및 IOS SDK 제공
  • Rest API 제공
  • 한,영,일,중(간체) 제공
  • 인식 가능 시간은 60초
• mp3, aac, ac3, ogg, flac, wav

CLOVA Voice

• 사람의 음성에 가까운 고품질 합성음 제공
• 1회 요청시 2,000자까지

HyperCLOVA X 특장점

• 업그레이드 된 튜닝 기능
  • Fine-tuning 기반 데이터 미세 조정
  • SFT(Supervised Fine Tuning) : 기존 모델을 세밀하게 조정하는 과정
  • RLHF(Reinforcement Learning from Human Feedback) : 사람 피드백 기반 강화 학습
• 기능 강화 도구
  • Embedding API (검색 엔진 개선)
  • RAG를 통해 보다 정확, 최신, 관련성 높은 결과 출력
  • RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스
• 외부 서비스 연동 도구
  • Skill trainer
  • 기업 고객사의 다양한 서비스와 연동하여 사용자 만족도 향상

Cue

• 네이버 AI 검색 서비스

CLOVA Studio (목차)

1. 플레이 그라운드
   1. 파라미터를 조절해 결과값 세부 설정
   2. 프롬프트를 입력해 원하는 형태 출력
   3. 조율한 값을 기반으로 API 생성
2. 익스플로러
   1. AI 제작 작업에 활용할 도구 지원
   2. 임베딩 API 등 특화 모델 도구 제공
      1. clir-emb-dolphin
         • 도메인과 무관한 높은 범용성
         • 큰 범위 내에서 유사도 체크
         • 문장 간 전반적인 관련성 및 유사성 평가
         • 회의록, 논문, FAQ 또는 문단 단위 클러스터
      • clir-sts-dolphin
        • 문장 간 의미적인 유사도 비교 및 판단
        • 작은 범위에서 세부적으로 유사도 체크
        • 문장 간 세부적인 유사성 분석 및 평가
        • 텍스트 분류, 문장 단위 클러스터
   3. 기존에 생성한 작업물 저장 및 공유
3. 튜닝
   1. 기업 맞춤형 데이터로 모델 학습
   2. 특화 모델 구축하여 AI 제작
   3. 작업 종류, 언어에 최적화하여 활용
4. 스킬 트레이너
   1. 모델에 외부 서비스 API 연결
   2. 특화 지식을 모델에 학습
   3. 최신 정보를 반영한 답변 제공

플레이 그라운드

• 파라미터 (텍스트 생성을 위해 설정하는 값)
  • Mode, Engine 등 11개의 설정값
• 기능
  • 플레이 그라운드에서 제공되는 기능
    • 저장, 불러오기, 재시작 등
• 실행 및 에디터 영역
  • 프롬프트를 입력하고 결과값이 출력되는 영역

• 파라미터
  • Mode : 일반 모드, 챗 모드

• 파라미터 종류
  • Engine
    • 문구를 생성할 때 사용하는 언어 모델
    • LK-B, LK-D2, HCX-003(지시문 작업시 사용), HCX-DASH-001(단순한 작업에 사용)
  • Top K
    • 확률 값이 가장 높은 K개 중에서 하나 선택
    • Top K=5 일 경우, 확률 값이 높은 5개의 토큰 중 하나의 토큰 선택
  • Top P
    • 선택 확률 값이 높은 순서대로 나열한 후 누적 확률 값에 포함되지 않는 토큰 제거
    • Top P = 0.8일 경우 상위 80%만 토큰 후보로 선택
  • Maximum tokens
    • 결괏값을 생성할 때 사용할 최대 토큰 수
    • HCX-003 최대 토큰 : 입출력 = 8192 / 입력 : 7600 / 출력 : 4096
    • HCX-DASH-001 최대 토큰 : 입출력 = 4096 / 입력 : 3500 / 출력 : 4096
    • LK 최대 토큰 : 입출력 2048
  • Temperature
    • 값이 0에 가까울수록 높은 확률 토큰은 더 높은 확률로, 낮은 확률 토큰은 더 낮은 확률
  • Repetition penalty
    • 반복적인 결과값을 생성하지 않도록 하는 값
  • Stop sequences
    • 해당 단어의 이전까지만 내용 출력
  • Seed
    • 결과물의 일관성을 조절하는 값
    • Seed가 0일경우 결과는 무작위 출력
  • Inject start text (일반모드만)
    • 출력값 앞에 항상 출력될 텍스트
  • Inject restart text (일반모드만)
    • 출력값 뒤에 항상 출력될 텍스트
  • Show probabilities (일반모드만)
    • 생성된 각 토큰이 선택될 확률
  • Generation Type (일반모드만)

 

Prompt 엔지니어링

• Prompt : 텍스트, 질문 또는 이미지를 생성형 AI 모델에 입력하는 값
• Prompt Engineering : 인공지능, 특히 언어 모델에게 정확한 정보나 창의적인 컨텐츠를 생성하도록 지시하는 방법 연구하는 분야
• 구성하는 4가지 요소
  • Instruction : 모델이 수행하기를 원하는 특정 작업
  • Context : 모델을 조정할 수 있는 외부 정보 또는 추가 맥락
  • Input Data : 답변을 찾고자 하는 입력 또는 질문
  • Output Indicator : 출력의 유형, 형식
• In-Context Learning
  • Zero-shot : 예제를 구성하지 않고 요청
    • ex) 마케팅 문구 작성해줘, 분류해줘, 요약해줘 등
  • One-shot : 하나의 예제로 구성하는 프롬프트
    • ex) 마케팅 문구 작성해줘 상품: 커피 , 문구: 향기롭고 산미가 가득한 아메리카노
  • few-shot : 여러 개의 예제로 구성하는 프롬프트
• 구체적이고 명확하게, 대상자 지정, 부정문대신 긍정문

 

튜닝

• 튜닝 : 기본 모델 성능 개선의 한계에 도달하였을 때, 사용자 데이터셋을 통해 모델 최적화시키는 작업
• 장점
  • 튜닝 이용 시 토큰 제약 없이 다양한 예제 구성 가능
  • 데이터셋을 구성하여 니즈에 적합한 방향으로 출력 가능
  • 테스트 수행 시간 단축 및 비용 절감 가능
  • 성능 정체 구간 해소 가능
• 튜닝 작업 : 튜닝을 수행하는 기준 단위
• 데이터셋은 학습하려는 모델에 따라 상이함
• 활용 영역 :
  • 현재 가능한 작업(7개)
    • 문서 분류(이중 분류) : 긍/부정 판별, 감정 분석
    • 문서 분류(다중 분류) : 난이도 분류, 문서 색인, 의도 분류
    • 문장 요약 : 키워드 추출, 리뷰 요약, 보고서 요약
    • 문장 생성 : 마케팅 문구 창작, 메뉴얼 작성, 상품 설명 생성, 질문답변셋 생성
    • 문장 교정 : 상품명 교정, 번역, 문장 정교화
    • 문체 전환 : 사투리 전환, 법률 문체 전환, 말투 전환, 문어체/구어체 전환
    • 대화 : 심리 상담, FAQ 생성, 전문 영역 상담, 대화 시나리오 생성

 

• 과정
  • Task 선택
  • 모델 엔진 선택
  • 작업 이름 지정 및 데이터셋 업로드
    • 파일의 한 행당 공백 포함 4,000자 이하
    • Text : 입력값 , Completion : 원하는 결과값
  • 인퍼런스 테스트
    • 데이터셋의 Text와 유사한 길이 및 형식으로 입력 권장
  • 테스트 앱 생성
    • 코드 타입은 curl과 python 제공