💻 🧐

데이터를 쌓아두고 있으나 데이터 가치를 발굴해내려는 노력을 하지 않던 집단이 학습용 데이터셋을 만들고 싶어한다면 어떻게 해야할까 ?이런 고민을 하고 있는 사람이라면, 나와 같이 고민을 했으면 좋을 것 같은 마음에 글을 작성함. 최근 MLOps 까지는 아니지만, 아무것도 없는 환경에서 사용자 친화적 STT 를 뽑아내야하는 상황에 직면했다. 할거라면 제대로 하고 싶은 마음에 각을 잡고 고민을 해봤다. 진짜 사람들이 '잘' 쓰게 만들기 위해서는 결과도 빠르게 나와야하고 결과물을 수정해서 다시 학습시키는 재학습의 기능도 있어야 했다. 그리고 또 초기 학습에 필요한 데이터도 필요했으니 아주 밑바닥 부터 뭔가를 쌓아올리는 거대한 일의 시작이 되겠구나.. 라는 생각이 들었다. 근데 결과물을 '잘' 보여주고 보여준 결..

. 역전파 1단계(BackPropagation Step 1)순전파가 입력층에서 출력층으로 향한다면 역전파는 반대로 출력층에서 입력층 방향으로 계산하면서 가중치를 업데이트해갑니다. 출력층 바로 이전의 은닉층을 N층이라고 하였을 때, 출력층과 N층 사이의 가중치를 업데이트하는 단계를 역전파 1단계, 그리고 N층과 N층의 이전층 사이의 가중치를 업데이트 하는 단계를 역전파 2단계라고 해봅시다.역전파 1단계에서 업데이트 해야 할 가중치는 w5,w6,w7,w8 총 4개입니다. 원리 자체는 동일하므로 우선 w5에 대해서 먼저 업데이트를 진행해보겠습니다. 경사 하강법을 수행하려면 가중치 w5를 업데이트 하기 위해서 ∂Etotal / ∂w5를 계산해야 합니다. ∂Etotal/∂w5를 계산하기 위해 미분의 연쇄 법칙(C..

https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80 선형 회귀 - 위키백과, 우리 모두의 백과사전위키백과, 우리 모두의 백과사전. 독립변수 1개와 종속변수 1개를 가진 선형 회귀의 예 통계학에서 선형 회귀(線型回歸, 영어: linear regression)는 종속 변수 y와 한 개 이상의 독립 변수 (또는 설명ko.wikipedia.org 선형회기는 수치 데이터를 기반으로 " 예상되는 값이 00이다 " 라는 질문에 답하기 위한 영역이다. 선형회기에서는 예상값(추정되는 값)이 선형일 것이라고 가정한다. 예측가능한 함수를 만들 때 선형이라면,어떤 선형의 예측가능한 함수가목적에 걸맞는 경향성을 나타내는지를 찾는 것이다. 이때 경향성을 찾기 ..

1. 진단자 ( 공격자 ) 아이피 주소 확인NAT 네트워크 [ 192.168.0.0/24 ] 로 지정했었음.네트워크 마스터 24 [ 255.255.255.0 ] 으로 17번째 네트워크에 할당 된 것을 볼 수 있음.진단자(공격자)는 17번째 네트워크를 갖게 되었음. 2. 대상 ( 피해자 ) 식별-진단 대상 아이피 주소 찾기Netdiscover 도구 sudo netdicover -i eth0 -r 192.168.0.0/241,2,3 으로 할당 된 것은 Virtualbox 는 할당되어 있는 주소이다. 따라서 18이 타겟임을 알 수 있다.ARP 프로토콜을 활용하여 네트워크 세그먼트에서 연결 된 클라이언트를 검색하는 스캐너  Netenum 도구본인의 IP 주소또한 포함시킨다.sudo apt install irp..

Git은 분산 버전 관리 시스템으로, 인터넷 연결이 없어도 코드의 버전 관리를 가능하게 합니다. 특히 오프라인 환경에서는 로컬 네트워크나 외부 디스크를 활용해 원격 저장소를 설정할 수 있으며, SSH를 이용해 직접적인 인터넷 연결 없이도 원격 저장소에 접근하는 방법도 가능합니다.이번 포스팅에서는 SSH를 활용한 원격 저장소 접근 방식과 함께, 오프라인 환경에서 Git을 효과적으로 활용하는 방법에 대해 자세히 설명하겠습니다. svn 같은 형상관리 시스템을  사용 할 수 있으나, github 가 익숙한 우리는 오프라인 환경에서도 svn 을 사용해봅시다. 목차오프라인 환경에서 Git을 사용해야 하는 이유로컬에서 Git 저장소 생성 및 초기 설정Git 명령어를 이용한 기본적인 버전 관리오프라인 환경에서 원격 저..

MLOps는 머신러닝 모델의 개발부터 배포 및 관리까지의 과정을 자동화하고 최적화하는 기술로, 최근 많은 기업들이 도입하고 있습니다. 특히 온프레미스 환경에서는 데이터 보안과 성능 문제로 인해 클라우드 대신 자체 인프라를 사용하는 경우가 많습니다. 이를 위해 Kubeflow와 MLflow와 같은 도구들이 활용되는데, 각각의 특징과 장단점을 이해하여 적합한 도구를 선택하는 것이 중요합니다.이번 포스팅에서는 Kubeflow와 MLflow의 주요 차이점을 중심으로 온프레미스 환경에서 Kubeflow를 선택해야 하는 이유를 설명하겠습니다.목차Kubeflow와 MLflow 개요Kubeflow와 MLflow의 주요 차이점온프레미스 환경에서 Kubeflow가 적합한 이유결론1. Kubeflow와 MLflow 개요Ku..

Kubeflow는 Kubernetes 위에서 머신러닝 모델 개발 및 배포 파이프라인(MLOps)을 관리할 수 있도록 돕는 오픈소스 플랫폼입니다. Kubeflow는 모델 학습, 실험, 하이퍼파라미터 튜닝, 배포까지 머신러닝 파이프라인의 모든 단계에서 자동화와 관리 기능을 제공하여, 효율적인 MLOps 환경을 구축할 수 있습니다.이번 포스팅에서는 Kubeflow의 주요 기능과 각 기능을 활용하여 MLOps 파이프라인을 구축하는 방법을 단계별로 설명합니다.목차Kubeflow 개요Kubeflow 설치Kubeflow의 주요 구성 요소파이프라인 생성 및 실험모델 배포 및 관리Kubeflow의 장단점1. Kubeflow 개요Kubeflow는 머신러닝 워크플로우의 모든 단계를 Kubernetes 위에서 관리할 수 있게..

Python의 Dataclass: 개념과 활용법Python의 dataclass는 코드에서 데이터를 구조화하고 관리하는 데 매우 유용한 기능입니다. Python 3.7부터 도입된 dataclass는 보일러플레이트 코드를 줄이고, 더 가독성 있는 데이터 구조를 만들 수 있도록 도와줍니다. 이 글에서는 dataclass의 기본 개념, 특징, 사용법, 다양한 옵션을 포함한 심화 내용까지 다루겠습니다.1. Dataclass란?dataclass는 단순히 데이터를 저장하기 위해 사용하는 클래스를 정의할 때 유용한 Python의 내장 데코레이터입니다. 기본적으로 클래스의 생성자, __repr__, __eq__ 등 여러 메서드를 자동으로 생성해 줌으로써 반복적인 코드를 줄이고, 가독성을 높여줍니다.from datacla..

Python에서 DAO, DTO, VO란? 개념과 예제Python을 비롯한 여러 프로그래밍 언어에서는 데이터를 관리하고 구조화하기 위해 다양한 디자인 패턴과 객체 유형이 사용됩니다. 특히 데이터베이스와 통신하거나 데이터를 전송할 때 DAO(Data Access Object), DTO(Data Transfer Object), VO(Value Object)와 같은 개념이 자주 활용됩니다. 각각의 개념과 특징, 그리고 Python에서의 구현 예제를 살펴보겠습니다.1. DAO (Data Access Object)DAO란?DAO는 데이터베이스나 파일 등에서 데이터를 조회하고 저장하는 데 사용하는 객체입니다. DAO는 데이터베이스와의 직접적인 상호작용을 담당하며, 데이터베이스 관련 코드와 비즈니스 로직을 분리하여 ..

1. 데코레이터의 기본 개념데코레이터는 하나의 함수를 다른 함수에 인자로 전달하여, 원본 함수에 새로운 기능을 추가하거나 수정하는 데 사용됩니다. Python에서 데코레이터는 @ 기호와 함께 사용됩니다. @데코레이터def 함수이름(): pass 위 구문은 함수이름 = 데코레이터(함수이름)과 동일하게 동작합니다.예를 들어, 다음과 같은 단순 데코레이터는 어떤 함수가 호출될 때마다 그 함수의 이름을 출력합니다. def simple_decorator(func): def wrapper(): print(f"Calling function: {func.__name__}") func() return wrapper@simple_decoratordef say_hello(): ..