DevFlavor

하둡이란? 그냥 저장소라고 생각하면 된다. 적은 비용으로 빠르게 분석 할 수 있는 소프트웨어로 자바 소프트웨어 프레임워크 범용 하드웨어로 구축된 컴퓨터 클러스터의 방대한 데이터 세트를 분산해 저장하고 처리하는 오픈 소스 소프트웨어 플랫폼이다. 하둡은 Apache Software Foundation에서 개발된 분산 컴퓨팅 시스템으로, 수천 대 이상의 컴퓨터 클러스터를 활용하여 대용량 데이터를 효율적으로 저장하고 처리할 수 있다. 현재 하둡 이외의 다양한 대규모 데이터 처리 기술과 플랫폼들이 나와있기 때문에 하둡의 파이가 줄어드는 추세이다. (하지만 아직은 하둡의 파이가 큰편이다.) 하둡의 핵심 장애 허용 (fault tolence) 확장성을 높이기 위해 장애를 당연히 발생할 수 있는 일로 간주 기반 소프트..

1. 빅데이터 프로젝트 플랫폼 구축형 빅데이터 분석 빅데이터 운영 플랫폼 구축은 빅데이터 SI 구축형 빅데이터의 하드웨어, 소프트웨어 설치 구성 수집 → 적재 → 처리 → 탐색 → 분석 기능을 구성 백업돼 있는 데이터의 마이그레이션, 주변 업무 시스템에서 발생하는 데이터의 양과 속성에 따라 프로젝트 기간이 변동 2. 빅데이터 기술의 변화 초기 : 대용량 저장소와 배치 처리기술에 집중 중기 : 실시간 처리 및 온라인 분석 기술 개발 최근 : 데이터 마이닝 및 AI의 고급 분석을 위한 전처리와 분석 마트를 구성하는 기술 빅데이터 기술의 핵심 하둡 2005년 하둡이 알려지며 빅데이터 기술들이 끊임없이 진화 빅 3 기업 cloudera, hortonworks, mapr 업체들도 하둡을 중심으로 각자의 빅데이터 ..

Beginning 우여꼭절 끝에 얻어낸 ftp 설정과 파이썬3 버전 설치 → 실무로 배우는 빅데이터 기술을 실습해보기로 했다. 해당 서적에서는 가상환경에서 실행했지만 Cent OS 기반으로 구성된 인프라가 있으니 거기서 실행하도록 한다. 실습 예외 부분 centos의 x-window 부팅을 해제하여 콘솔에 바로 아이디/패스워드 입력창이 나타난다.Password : adminuser ↔ 비밀번호 입력id 5 : initdefault: ↔ 5부분을 3으로 수정한다. reboot ↔ 재시작한다. vi /etc/inittab ↔ etc하위의 inittab을 vi 편집기로 수정한다. su root ↔ root로 전환 고정 ip와 네트워크 설정 HWADDR 설정 값은 다 다르게 입력해야할 값으로 가상머신의 MAC ..

https://dacon.io/edu/1003 개요 파이썬 기반의 데이터 분석 및 인공지능 기술을 활용하여 버스 운행 시간을 예측하는 프로젝트입니다. 목표 데이터 분석 및 인공지능 기술을 활용하여 정확한 버스 운행 시간을 예측할 수 있는 능력을 갖춥니다. 데이터 전처리, 시각화, 통계적 분석, 머신러닝 및 딥러닝 모델링 등 다양한 기법을 배우고, 실제 데이터를 바탕으로 예측 모델을 개발하세요! 설명 실제 교통 문제를 해결하는 데 도움이 되는 현실적인 응용 프로젝트입니다. 이를 통해 데이터 분석 및 인공지능 기술의 가치를 직접 체험하며 도시 교통 문제 개선을 위한 방법을 찾아 보세요! 인공지능 기술의 사회적 가치와 책임에 대한 인식을 높이고, 교통 문제를 해결함으로써 지속 가능한 도시 환경을 만드는 데 기..

소셜로그인 구현 allauth 장고에서 allauth라는 장고패키지를 이용하면 소셜로그인을 구현 할 수 있다. pip install djangorestframework pip install djangorestframework-simplejwt pip install django-allauth 자주 사용하는 소셜로그인에는 네이버, 카카오, 구글이 있을것이며 코딩과 관련된 사이트라면 깃허브까지 범용성 있게 사용 가능하다고 생각된다. 이 소셜로그인들을 allauth 패키지 내에서 서비스 명을 찾아본다. 장고에는 모델, 뷰, 템플릿 등이 있는데 이 중 views.py를 다음과 같이 추가해본다. # 소셜 로그인 BASE_URL = 'http://localhost:8000/api/v1/accounts/rest-aut..

nvidia SSH연결 우분투 모니터링 ssh로 연결한 gpu 의 경우 모니터링을 하는게 중요하다. 따라서 우분투에서 해당메모리를 지속적으로 모니터링 하는 터미널을 열어두는게 좋다. watch -d -n 0.5 nvidia-smi → nvidia-smi를 0.5초마다 확인할게라는 의미이다. 메모리 리셋 현재 사용중인 프로세스가 없다고 뜨지만 메모리 할당은 되어있는 상태이다. →child process가 좀비상태로 남아 있다. ps aux | grep python을 실행 현재 실행중인 프로세스가 나온다. 주피터노트북과 파이썬 등이 나오는데 이를 선택제거한다. kill -9 52131 : 52131은 해당 프로세스의 이름이라고 생각하면 된다. 즉 PID이다. 실행결과를 확인하면 깔끔해졌다. $ ps -ef ..

이번 프로젝트에서 주제 선정 및 역할 분담에 어려움이 있었다. 랜덤으로 팀 선정을 하였고, 그 결과 비전공자들만 모여 있었기때문이다. 따라서 목표하는 바를 어떤 서비스를 구현해서 이뤄내자보다는 현재까지 배운 내용을 조금 더 발전시켜보자라는 목표를 세우게 되었다. 1. 수업 및 점프투 장고를 통해 배운 내용을 조금 더 활용하는 방안으로 구현하자. 2. 다른 프로젝트들은 어떻게 하였는지 보고 추가적으로 더 구현할 수 있는 방안을 모색하자. 3. 서버 작업 및 배포를 경험해보자. 1. 배운 내용을 활용하자 -> 점프 투 장고를 베이스로 작업을 하기로 하였다. 수업시간에도 하였지만 복습개념으로 다시 책을 보며 따라한 점프투 장고에서 만든 파이보 게시판을 사진을 넣을 수 있는 작업, 게시판을 더 가독성 및 기능을..

AWS EC2 아마존 웹 서비스에서 다양하고 유용한 기능들이 있는데, 그중 하나로 클라우드 컴퓨팅 서비스다. 클라우드 컴퓨팅 서비스를 어떻게 활용하느냐에 따라서 시간과 비용을 절감할 수 있다. (직접 서버를 관리하려면 어려운 점이 많다.) AWS EC2 서비스를 활용하기 위한 도구 - PUTTY, FILEZILLA AWS EC2는 일종의 리눅스 컴퓨터를 한대 대여했다고 생각하면 된다. PuTTY 이 리눅스 기반의 서버에 접속하기위해서는 원격 접속(SSH)을 해야하는데 PuTTY를 이용하여 접속 가능하다. 먼저 ip주소와 .ppk 파일을 이용하여 접속을 할 수 있다. .ppk 파일은 고유 비밀번호라고 생각하면 된다. putty 설치할때 설치한 putty key generator로 생성가능. ip 주소는 S..

협업레포지토리 생성 먼저 협업을 하기위해서 github를 사용하여 형상관리를 하기로 결정했다. → 팀원 한명의 깃허브에 레포지토리를 형성하여 git clone을 하는 방식으로 가져온다. 레포지토리 및 가상환경 생성 과정 먼저 협업을 할 파일들을 저장할 폴더를 생성한다. mkdir team1 가상환경을 만들어 내 컴퓨터 내에서도 관리를 용이하게 한다 (각각 모듈들의 버전관리 등을 깃으로 올려놓은 것과 맞추기 용이함) apt install python3.10-venv python -m venv 가상환경 이름 쉘스크립트에 작성하여 가상환경으로 접속을 편하게 한다. 가상환경 접속을 할 수 있는 activate가 있는 위치로 가서 pwd를 통해 위치를 작성해놓는다. cd ~ (홈으로 간다) vim 가상환경이름.s..

도커 설치 도커 홈페이지에서 설치 https://www.docker.com/ 명령프롬프트에서 docker를 검색해보면 관련된 사항들이 출력된다. docker run -it —name encore ubuntu:18.04→ docker라는 가상머신에서 encore라는 이름의 우분투 ver.18.04를 실행할 것이다. 도커는 도커허브라는 사이트에서 패키지를 다운받아 와서 쉽게 실행가능하다.→ https://hub.docker.com/ 분석환경을 도커이미지로 담은다음 도커이미지로 가져가면 설치가 간편해진다. 도커에서 파이썬 실행 도커허브에서 python3는 없기 때문에 아나콘다를 설치하여 파이썬을 실행해야한다. 아나콘다는 무겁기때문에 미니콘다를 설치한다. docker 에서 미니콘다 설치하는 방법 apt upda..