반응형

전체 글 697

오피니언 마이닝이란?

1. 오피니언 마이닝이란? 오피니언 마이닝(Opinion Mining)은 텍스트로 된 자료에서 사용자의 의견이나 감성 등을 추출하고 분석하는 기술을 말합니다. 이는 텍스트 마이닝과 밀접한 관련이 있으며, 자연어 처리, 머신러닝, 통계학 등 다양한 분야의 기술과 지식을 활용하여 감성 분석, 문서 군집화, 토픽 모델링 등의 분석을 수행합니다. 2. 오피니언 마이닝의 사용처 오피니언 마이닝은 다양한 분야에서 활용됩니다. 예를 들어, 소셜 미디어에서의 상품 리뷰 분석, 블로그나 포털 사이트에서의 글쓰기 분석, 뉴스나 보고서에서의 기업의 평판 분석 등이 있습니다. 또한, 정치, 문화 등의 사회 현상을 분석하는데에도 활용됩니다. 3. 오피니언 마이닝의 수행과정 예시 오피니언 마이닝의 수행 과정은 크게 데이터 수집,..

텍스트 마이닝이란?

1. 텍스트 마이닝이란? 텍스트 마이닝(Text Mining)은 텍스트로 된 자료에서 유용한 정보를 추출하고 분석하는 기술을 말합니다. 이는 자연어 처리, 통계학, 머신러닝 등 다양한 분야의 기술과 지식을 활용하여 텍스트 데이터의 의미를 파악하고, 텍스트의 특징을 분석하는 과정을 거칩니다. 2. 텍스트 마이닝의 사용처 텍스트 마이닝은 다양한 분야에서 활용됩니다. 예를 들어, 소셜 미디어에서의 감성 분석, 상품평 분석, 기업 리뷰 분석, 의료 분야에서의 질병 예측 등이 있습니다. 또한, 정보 검색 분야에서도 활용되어 검색어 추천, 문서 군집화 등에 활용됩니다. 3. 텍스트 마이닝의 수행과정 예시 텍스트 마이닝의 수행 과정은 크게 데이터 수집, 전처리, 분석, 시각화로 나눌 수 있습니다. 예를 들어, 특정 ..

[패스트 캠퍼스] 자바 스프링 강의 1주차 공부일지

패스트 캠퍼스에서 하는 국비 자바 스프링 과정을 수강했고 오늘이 1주차의 마지막 날이다. 국가에서 지원받은 내일배움카드로 수강한 국비지원교육이다. 호기롭게 신청했지만 대학 생활이랑 병행하느라 바빠서 기간 내에 영상을 다 볼 수 있을지는 모르겠다. 대학 과목으로 오라클, R, 머신러닝 등 배울게 많아서 주말을 할애해 수강했고 앞으로도 그럴 예정이다. 이번 시간에는 자바의 기초 문법을 다시 복습하는 느낌으로 수강했다. 이번 주에는 개발환경 구축 강의와 이클립스 설치, 기본적인 문법을 다뤘다. 자바는 학교 강의는 대충 듣고, 생활코딩 자바 강의를 한번 수강한 게 전부라서 아직 서툰 부분이 많았는데 이번 국비 과정으로 자바실력과 더불어 스프링 실력을 올리려 한다. 강사가 자바 기본서도 저술한 강사다보니 강의 내..

웹소설 문법 교정기 제작 방법

챗gpt한테 물어봤다 네이티브 언어(소설, 논문만의 고유어)를 구별하고 딥 러닝을 사용하여 맞춤법 및 띄어쓰기 오류를 수정할 수 있는 맞춤법 검사기를 만들려면 다음과 같은 일반적인 단계를 따르세요. 데이터 수집 및 전처리: 웹소설, 학술 논문 등 원어와 원어가 아닌 단어(웹소설, 논문만의 고유어)가 모두 포함된 대규모 텍스트 데이터셋을 수집합니다. 텍스트를 정리하고 토큰화하여 데이터를 전처리합니다. 언어 모델 교육: 순환 신경망(RNN) 또는 트렌스포머와 같은 딥 러닝 기술을 사용하여 언어 모델을 교육합니다. 모델은 이전 단어를 기반으로 문장의 다음 단어를 예측하는 방법을 학습해야 합니다. 언어 모델 미세 조정: 맞춤법 검사 및 모국어 식별이라는 특정 작업에 대한 언어 모델을 미세 조정합니다. 올바른 맞..

프로젝트 구상. 웹소설 문법 교정기

작가들이 매일 연재하는 웹소설은 검수가 제대로 이루어지지 않아서 맞춤법이 틀리는 경우도 많아. 그런데 맞춤법 검사기를 돌리면 맞춤법만 교정하고, 잘못 붙은 단어를 띄어쓰는것 뿐만 아니라 그 소설의 고유어, 예를 들면 해리포터의 '익스펠리아르무스', '아바다케다브라' 같은 것들도 띄어써버려서 문제야. 기존의 맞춤법 검사기의 문제를 딥러닝을 이용해 해결하고 싶어. 딥러닝을 이용해 고유어를 구별하면서 맞춤법, 띄어쓰기를 교정해주는 맞춤법 검사기를 만드는 방법이 뭘까?

웹 크롤링을 할 때 법적으로 주의해야 하는 사항

웹크롤링을 할 때는 반드시 법적인 제한과 사용 규약을 준수해야 합니다. 다음은 웹크롤링 시 주의해야 하는 법적인 사항입니다. 로봇 배제 표준(Robots Exclusion Standard) 준수 로봇 배제 표준은 웹사이트 운영자가 로봇이 웹페이지를 수집하는 것을 허용할지 여부를 나타내는 규약입니다. 만약 로봇 배제 표준에 따라 로봇의 수집을 제한하도록 되어 있다면, 해당 사이트를 크롤링하는 것은 불법적일 수 있습니다. 저작권 문제 저작권이 있는 내용은 웹크롤링을 통해 수집하면 저작권 침해로 간주될 수 있습니다. 따라서 저작권이 있는 사이트에서 데이터를 수집할 경우, 사전에 해당 사이트 운영자의 동의를 받아야 합니다. 개인정보 보호 문제 개인정보 보호 관련 법률에 따라 개인정보를 수집하거나 처리할 때는 개..

반응형