이자다의 기록

https://www.youtube.com/watch?v=wb4F1aeZtRA 위 영상을 시청하고 실습한 결과를 포스팅한다. Google Colab 사양 확인 플랫폼 확인 입력 import platform platform.platform() 결과 Linux-5.15.109+-x86_64-with-glibc2.35 운영체제 확인 입력 !cat /etc/issue.net #'!'으로 명령 프롬프트에 명령어를 입력 #'cat(concatenate)' 명령어로 파일의 내용 출력 #'/etc/issue.net' 는 리눅스의 배너파일이다. login 이전 줄에 이 파일에 저장된 배너를 출력한다. 결과 Ubuntu 22.04.2 LTS CPU 사양 확인 입력 !cat /proc/cpuinfo #리눅스 운영체제에서 탑..

Q: 딥러닝 프로젝트로 모델을 사용, 학습 등을 수행하려는데 노트북에 그래픽카드가 성능이 좋지 않아. 구글 colab 같은걸 이용하는게 좋을까? A: 노트북의 그래픽카드 성능이 딥러닝 프로젝트에 적합하지 않을 때, 구글 Colab을 사용하는 것은 좋은 대안입니다. Colab은 클라우드 기반의 Jupyter 노트북 환경으로, GPU 및 TPU를 무료로 제공해줍니다. 이를 통해 노트북의 성능에 구애받지 않고 높은 성능의 그래픽카드를 이용하여 딥러닝 모델을 학습하고 사용할 수 있습니다. 구글 Colab의 장점: 1. 무료 GPU 및 TPU 지원: Colab은 NVIDIA Tesla K80 GPU 또는 TPU를 무료로 제공하여 딥러닝 모델 학습 속도를 크게 향상시킬 수 있습니다. 2. 클라우드 기반: 모든 작업..

Q: 구글 colab에서 딥러닝 모델에게 학습을 시키는데 노트북을 장시간 방치해 디스플레이가 종료되면 구글 colab도 멈춰버려. 이 문제를 해결할 방법이 뭐가 있지? A: 구글 Colab은 노트북이 일정 시간 동안 비활성화될 경우 세션을 자동으로 끊는 정책을 가지고 있습니다. 이는 무한정 리소스를 사용하는 것을 방지하기 위해 적용되는 보안 및 자원 관리 정책입니다. 하지만 노트북이 자동으로 종료되는 것은 번거로울 수 있습니다. 노트북이 자동으로 종료되는 것을 방지하고 싶다면, 다음과 같은 방법들을 사용할 수 있습니다: 1. **주기적인 입력**: 노트북이 종료되지 않도록 하려면, 일정 주기(예: 30분마다)로 입력을 주는 것이 도움이 될 수 있습니다. 아래의 코드를 노트북 셀에 입력해보세요. 이렇게 하..

https://www.youtube.com/watch?v=55FrHTNjTCc 아직 웹개발 등을 제대로 배우지 못해 이 개념들에 대해 서툴렀는데 이를 바로잡아주는 영상이었다. 클라이언트가 지도에서 어떤 가게를 클릭하면 이 요청을 서버에 보내고, 서버는 해당 가게의 정보를 보내게 되는데 그때 사용하는 파일의 형식이 xml과 json이다. 이 형식들로 작성된 파일은 전송할 때 minifier 과정을 거쳐서 엔터와 탭(여백)을 전부 제거해 한줄의 코드로 만들어 보낸다. 사람과 다르게 컴퓨터는 이런 형식을 읽어들이는데 전혀 불편함이 없다. xml은 사람이 보기엔 가독성이 떨어지고 태그를 일일이 열고닫는 등 작성에 굉장한 불편함이 있는 반면 json은 훨씬 간략하다. xml에 비해서 간결하고 작성하기가 쉽다. 그..

유튜브에서 여러 영상들을 보며 백엔드 개발자가 갖춰야할 역량을 탐색한다. https://www.youtube.com/watch?v=zHT5wwIdLVA 위 영상에서는 백엔드 개발자가 되기 위한 과정을 단계별로 소개하고 있다. 1. 오딘프로젝트. 웹에 대한 전반적인 기초를 배울 수 있는 사이트이다. 하지만 전부 영어이고 웹번역기로 제대로 번역할 수 없다. html, css 같은 각 분야의 기초를 학습하란 것이 아니라 웹개발 전체의 전반적인 부분을 파악하라는 의미로 이것을 추천했기에 아마 이 강의로 어느정도 대체할 수 있다고 생각한다. https://www.inflearn.com/course/%EC%9B%B9%EC%96%B4%ED%94%8C%EB%A6%AC%EC%BC%80%EC%9D%B4%EC%85%98-%..

데이터 직군 관련해서 여러 영상들을 보며 내용들을 정리해본다. 데이터 직군 별 역할 데이터 분석가 - 해당 업계의 도메인 지식 많이 필요 - 의사결정자에게 발표, 설득을 위한 데이터 시각화와 커뮤니케이션 능력이 필요함. - 데이터 시각화 툴인 Power BI, Tableau, Google Analytics 등을 다룰 수 있어야함 - 데이터 가공, 분석 과정에서 SQL, R, Python 등 언어를 사용하기에 데이터 분석을 위한 최소환의 수준은 갖춰야함. 데이터 사이언티스트 - 수학, 통계 지식 필요 - 분석 모델, 머신러닝 모델을 개발해야 하기에 관련 지식 필요함. 예시로 한 쇼핑몰의 고객별 재구매 주기 모델을 들 수 있음. - Python, scala 언어 지식 필요 - Pytorch, tensor f..

RSS(Really Simple Syndication)란? RSS(Really Simple Syndication)는 웹 사이트의 정보를 쉽게 공유하고 실시간 업데이트를 받을 수 있게 해주는 XML 기반의 웹 피드입니다. RSS 피드는 주로 뉴스, 블로그, 포럼 등에서 사용됩니다. RSS 피드를 제공하는 웹 사이트에서는 피드를 구독할 수 있는 버튼이 제공되며, 이 버튼을 클릭하면 사용자가 구독할 RSS 피드의 주소를 확인할 수 있습니다. RSS 리더(피드 리더) 프로그램을 통해 구독한 RSS 피드는 주기적으로 업데이트를 확인하고, 새로운 정보가 업데이트되면 사용자에게 알려줍니다. Open API(Open Application Programming Interface)란? Open API(Open Applic..

센싱이란? 센싱은 센서를 이용하여 물리적인 변수, 환경의 상태, 위치, 움직임 등을 감지하고 측정하는 기술을 말합니다. 이를 통해 데이터를 수집하고, 분석 및 활용하여 생산성 향상, 에너지 절약, 안전 관리 등 다양한 영역에서의 문제를 해결할 수 있습니다. 센싱의 활용분야 센싱은 다양한 분야에서 활용되고 있습니다. 주요 활용분야로는 스마트 시티, 스마트 홈, 의료, 자동차 등이 있습니다. 예를 들어, 스마트 시티 분야에서는 교통, 에너지, 환경 등의 다양한 데이터를 수집하여 시티마다 다른 문제점을 해결할 수 있습니다. 또한 스마트 홈 분야에서는 가전제품 등을 연동하여 생활의 편리함을 제공할 수 있습니다. 센싱의 수행과정 예시 센싱의 수행과정은 대략적으로 센서에서 데이터를 수집하여, 데이터를 전처리하고 분..

1. 크롤링과 스크래핑이란? 크롤링과 스크래핑은 웹에서 데이터를 수집하는 기술입니다. 크롤링은 인터넷 상에 공개된 페이지를 모두 방문하여 정보를 수집하는 기술이며, 스크래핑은 특정 웹 페이지에서 원하는 정보만을 추출하는 기술입니다. 2. 크롤링과 스크래핑의 사용처 크롤링과 스크래핑은 데이터 수집과 분석에 활용됩니다. 예를 들어, 경쟁사의 제품 정보를 수집하여 비교 분석하는 경우나, 소셜 미디어에서 사용자 반응을 모니터링하는 경우 등이 있습니다. 3. 크롤링과 스크래핑의 수행 과정 예시 크롤링과 스크래핑은 각각 다른 수행 과정을 가지고 있습니다. 크롤링은 먼저 대상 웹 페이지를 방문하여 HTML 문서를 수집하고, 수집한 HTML 문서에서 링크를 추출합니다. 이후 추출된 링크를 따라가며 HTML 문서를 수집..

1. 로그 수집기란? 로그 수집기는 네트워크나 시스템 등에서 발생하는 로그 데이터를 수집하는 도구입니다. 로그 데이터는 이벤트 발생 시간, 이벤트 종류, 이벤트에 대한 추가 정보 등을 기록한 파일입니다. 2. 로그 수집기의 사용처 로그 수집기는 시스템 오류나 보안 문제를 감지하고 해결하는 데에 사용됩니다. 또한, 시스템 사용자나 네트워크 트래픽 등의 모니터링에도 활용됩니다. 3. 로그 수집기의 수행 과정 예시 로그 수집기는 먼저 로그 데이터가 기록되는 위치나 경로를 설정합니다. 그 다음, 설정한 위치에서 로그 데이터를 수집하고, 수집한 로그 데이터를 분석합니다. 분석한 결과를 시각화하여 사용자에게 제공하거나, 알림을 설정하여 시스템 관리자가 즉시 대응할 수 있도록 돕습니다. 4. 로그 수집기에 필요한 기..