💻 🧐

선형식의 경우 이해가 직관적이나 그것만을 가지고 갑자기 CNN 모델에 대입하면 머리가 띵해지는 경험을 한적이 있을것이다. 그래서 오늘은 CNN 기반 학습 과정에서 역전파가 어떻게 동작하는지 알아보기 위해 정리할겸 글을 작성했다.CNN 기반 머신러닝 시스템의 학습 과정과 역전파의 이해머신러닝 시스템의 학습 과정은 데이터 준비, 모델 정의, 순전파, 손실 계산, 역전파, 그리고 파라미터 업데이트의 단계로 이루어진다. 이번에는 CNN(Convolutional Neural Network) 모델을 사용하고, Cross Entropy 손실 함수를 적용하여 각 단계를 살펴보도록 하자.1. 데이터 준비CNN 모델은 주로 이미지 데이터를 다루므로, 이미지 데이터셋을 준비해야 한다. PyTorch의 torchvision ..

데이터를 쌓아두고 있으나 데이터 가치를 발굴해내려는 노력을 하지 않던 집단이 학습용 데이터셋을 만들고 싶어한다면 어떻게 해야할까 ?이런 고민을 하고 있는 사람이라면, 나와 같이 고민을 했으면 좋을 것 같은 마음에 글을 작성함. 최근 MLOps 까지는 아니지만, 아무것도 없는 환경에서 사용자 친화적 STT 를 뽑아내야하는 상황에 직면했다. 할거라면 제대로 하고 싶은 마음에 각을 잡고 고민을 해봤다. 진짜 사람들이 '잘' 쓰게 만들기 위해서는 결과도 빠르게 나와야하고 결과물을 수정해서 다시 학습시키는 재학습의 기능도 있어야 했다. 그리고 또 초기 학습에 필요한 데이터도 필요했으니 아주 밑바닥 부터 뭔가를 쌓아올리는 거대한 일의 시작이 되겠구나.. 라는 생각이 들었다. 근데 결과물을 '잘' 보여주고 보여준 결..

. 역전파 1단계(BackPropagation Step 1)순전파가 입력층에서 출력층으로 향한다면 역전파는 반대로 출력층에서 입력층 방향으로 계산하면서 가중치를 업데이트해갑니다. 출력층 바로 이전의 은닉층을 N층이라고 하였을 때, 출력층과 N층 사이의 가중치를 업데이트하는 단계를 역전파 1단계, 그리고 N층과 N층의 이전층 사이의 가중치를 업데이트 하는 단계를 역전파 2단계라고 해봅시다.역전파 1단계에서 업데이트 해야 할 가중치는 w5,w6,w7,w8 총 4개입니다. 원리 자체는 동일하므로 우선 w5에 대해서 먼저 업데이트를 진행해보겠습니다. 경사 하강법을 수행하려면 가중치 w5를 업데이트 하기 위해서 ∂Etotal / ∂w5를 계산해야 합니다. ∂Etotal/∂w5를 계산하기 위해 미분의 연쇄 법칙(C..

https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80 선형 회귀 - 위키백과, 우리 모두의 백과사전위키백과, 우리 모두의 백과사전. 독립변수 1개와 종속변수 1개를 가진 선형 회귀의 예 통계학에서 선형 회귀(線型回歸, 영어: linear regression)는 종속 변수 y와 한 개 이상의 독립 변수 (또는 설명ko.wikipedia.org 선형회기는 수치 데이터를 기반으로 " 예상되는 값이 00이다 " 라는 질문에 답하기 위한 영역이다. 선형회기에서는 예상값(추정되는 값)이 선형일 것이라고 가정한다. 예측가능한 함수를 만들 때 선형이라면,어떤 선형의 예측가능한 함수가목적에 걸맞는 경향성을 나타내는지를 찾는 것이다. 이때 경향성을 찾기 ..

MLOps는 머신러닝 모델의 개발부터 배포 및 관리까지의 과정을 자동화하고 최적화하는 기술로, 최근 많은 기업들이 도입하고 있습니다. 특히 온프레미스 환경에서는 데이터 보안과 성능 문제로 인해 클라우드 대신 자체 인프라를 사용하는 경우가 많습니다. 이를 위해 Kubeflow와 MLflow와 같은 도구들이 활용되는데, 각각의 특징과 장단점을 이해하여 적합한 도구를 선택하는 것이 중요합니다.이번 포스팅에서는 Kubeflow와 MLflow의 주요 차이점을 중심으로 온프레미스 환경에서 Kubeflow를 선택해야 하는 이유를 설명하겠습니다.목차Kubeflow와 MLflow 개요Kubeflow와 MLflow의 주요 차이점온프레미스 환경에서 Kubeflow가 적합한 이유결론1. Kubeflow와 MLflow 개요Ku..

Kubeflow는 Kubernetes 위에서 머신러닝 모델 개발 및 배포 파이프라인(MLOps)을 관리할 수 있도록 돕는 오픈소스 플랫폼입니다. Kubeflow는 모델 학습, 실험, 하이퍼파라미터 튜닝, 배포까지 머신러닝 파이프라인의 모든 단계에서 자동화와 관리 기능을 제공하여, 효율적인 MLOps 환경을 구축할 수 있습니다.이번 포스팅에서는 Kubeflow의 주요 기능과 각 기능을 활용하여 MLOps 파이프라인을 구축하는 방법을 단계별로 설명합니다.목차Kubeflow 개요Kubeflow 설치Kubeflow의 주요 구성 요소파이프라인 생성 및 실험모델 배포 및 관리Kubeflow의 장단점1. Kubeflow 개요Kubeflow는 머신러닝 워크플로우의 모든 단계를 Kubernetes 위에서 관리할 수 있게..

MLOps 입문: 머신러닝 운영의 새로운 패러다임안녕하세요, 데이터 과학과 머신러닝에 관심 있는 여러분! 오늘은 MLOps라는 흥미로운 주제에 대해 심도 있게 이야기해보려 합니다. MLOps가 무엇인지, 왜 중요한지, 그리고 어떻게 시작할 수 있는지 상세히 알아보겠습니다.MLOps란 무엇인가?MLOps는 'Machine Learning Operations'의 줄임말로, 머신러닝 모델의 개발부터 배포, 유지보수까지의 전체 생명주기를 관리하는 방법론입니다. 이는 DevOps의 원칙을 머신러닝 프로젝트에 적용한 것으로 볼 수 있습니다.MLOps는 단순히 도구나 기술의 집합이 아닙니다. 이는 조직의 문화, 프로세스, 그리고 기술적 실행을 포괄하는 총체적인 접근 방식입니다. MLOps의 목표는 머신러닝 모델의 개..

Seq2Seq 태그: Attention Sequence-to-Sequence Structure 입력 된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델. 챗봇과 번역이 대표적인 예시인데, 입력시퀀스와 출력 시퀀스를 각각 질문과 대답으로 구성하면 챗봇을 만들 수 있고 번역기로도 사용 할 수 있다. 줄여서 Seq2Seq 부른다. 번역기가 Seq2Seq 를 통해 번역을 하는 구조인데, 그 자세한 내부 구조가 어떻게 생겼는지를 알아야 한다. Seq2Seq 는 인코더와 디코더로 이루어지는데 인코더는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤에 하나의 벡터 , 의미벡터 ( Context Vector ) 로 만든다. 컨텍스트 벡터로 압축되면 디코더로 보내는데 디코더는 이 컨텍스트 벡터를 디코더에 학습 된 다..

학습률 ( Learning Rate ) Gradient Descent :경사하강법 알고리즘은 기울기에 학습률또는 보폭의 스칼라를 곱해 값의 다음지점을 결정한다. :Local Minimum 에 효율적으로 도달 할 수 있도록, 너무 크지도 작지도 않은 적절한 값 ( lr ) 을 결정 해야 함. 사용 된 학습률이 효율적인지, 적절한지는 다음의 그림을 통해서 알 수 있다. low learning rate : 손실 감소가 선형의 형태를 보이며 천천히 학습 됨 -> 너무 느려서 작업이 완료되지 않을 가능성이 있음. high leaning rate : 손실 감소가 지수적인 형태를 보이며 빠른 학습이거나 완전 정체 -> 특정 값에 수렴하지 않고 발산 할 가능성이 큼 very high leaning rate : 매우 높..