DevFlavor

2026년 개발 분야의 압도적 흐름은 자동완성에서 자율 실행하는 AI 코딩 에이전트로의 전환

데브플레이버 — Mon, 29 Jun 2026 23:00:37 +0900

2년 전만 해도 AI 코딩 도구라고 하면 "다음 줄을 추천해 주는 자동완성" 정도였다. 2026년 현재, 도구는 코드를 대신 짜고, 테스트를 돌리고, 실패하면 스스로 고치는 단계로 넘어갔다. 도구의 성능보다 "이걸 어떻게 다룰 것인가"가 개발자의 실력을 가르는 시대가 됐다. 이 글에서는 2026년 AI 코딩의 큰 흐름과, 그래서 지금 무엇을 해야 하는지를 정리한다.

1. 자동완성에서 '에이전트'로

가장 큰 변화는 AI가 단발성 질문-답변에서 벗어났다는 점이다. 이제 코딩 에이전트는 수 분에서 수 시간까지 혼자 돌아가며, 저장소 전체를 읽고 여러 파일을 수정하고 명령을 실행하고 결과를 보며 반복한다. 채팅으로 도움을 받던 방식에서 자율 실행 루프로 넘어간 것이 2026년 코딩 도구를 정의하는 핵심 변화다.

숫자로도 분명하다. 여러 개발자 설문을 보면 2026년 초 기준 대부분의 현업 개발자가 AI 도구를 일상적으로 쓰고 있고, 절반 이상이 매일 사용한다. 더 이상 "AI를 쓸 것인가"가 아니라 "어떤 도구를 어디에 쓸 것인가"가 질문이 됐다.

2. 도구 지형: 단일 승자는 없다

흥미로운 점은, 시장이 하나의 도구로 수렴하지 않았다는 것이다. 개발자들은 보통 2~4개의 도구를 동시에 쓰면서, 상황에 따라 갈아탄다. 빠른 자동완성은 편집기 안에서, 복잡한 다단계 작업은 에이전트에게 맡기는 식이다.

도구	접근 방식	강점	약점
Claude Code	터미널 기반 에이전트	전체 시스템 접근, 복잡한 작업·리팩터링에 강함, MCP·Skills로 확장	GUI 디프 뷰 없음, 터미널 익숙함 필요
Cursor	AI 네이티브 IDE	편집기 통합이 매끄럽고 멀티파일 수정(Composer) 가능	구독·사용량 비용 부담
GitHub Copilot	편집기 플러그인	인지도·기업 도입률 1위, 자동완성 안정적	전역 맥락 이해는 약한 편
Codex	에이전트형	등장은 늦었지만 채택 속도 빠름	생태계가 아직 정착 중

참고할 만한 지표 JetBrains의 2026년 1월 AI Pulse 조사에서 Claude Code는 출시 약 8개월 만에 사용률을 6배 가까이 끌어올리며 만족도(CSAT) 1위를 기록했고, Cursor는 2026년 초 연 환산 매출 20억 달러를 넘겼다고 보도됐다. 어떤 도구든 "내 워크플로에 자연스럽게 붙고, 첫 시도에 맞는 코드를 주는가"가 선택 기준이 되고 있다.

3. 다시 떠오른 MCP

2026년 초만 해도 MCP(Model Context Protocol)는 "설정이 번거롭고 토큰을 너무 먹는다"는 비판을 받았다. 그런데 중반으로 오면서 분위기가 바뀌었다. 공개된 MCP 서버가 2,000개를 넘어서고, GitHub·Slack·Jira·Sentry 같은 주요 플랫폼이 공식 MCP를 내놓으면서다.

핵심 가치는 단순하다. 한 번 만든 연동이 여러 AI 클라이언트에서 재사용된다는 점이다. 예전에는 도구마다 전용 연동을 따로 만들어야 했지만, MCP를 쓰면 데이터베이스·클라우드 API·모니터링 도구를 표준 방식으로 한 번에 붙일 수 있다. 다만 모든 경우에 MCP가 정답은 아니다. 토큰 효율이 중요한 운영 파이프라인에서는 직접 CLI 호출이 훨씬 가벼운 경우가 많다. "연동 재사용이냐, 토큰 효율이냐"를 기준으로 골라 쓰는 감각이 필요하다.

4. 개발자의 역할이 바뀌고 있다

가장 곱씹어 볼 대목이다. AI 도구 경험을 요구하는 채용 공고는 1년 새 큰 폭으로 늘어난 반면, 명세를 코드로 옮기는 단순 구현 위주 직무는 오히려 줄었다. 시장이 보내는 신호는 분명하다.

시스템을 설계하고
AI가 만든 코드를 평가·검증하고
여러 에이전트의 작업을 오케스트레이션하는

개발자의 수요가 높아지고 있다. 한 시니어 엔지니어는 이 변화를 "모든 줄을 직접 쓰던 방식에서, 깊은 전문성이 필요한 부분에 집중하며 AI 에이전트들을 지휘하는 방식으로 옮겨갔다"고 표현하기도 했다.

그런데 앞서 본 또 하나의 숫자를 기억하자. AI 결과물을 정확하다고 신뢰하는 개발자 비율은 오히려 떨어졌다. 도구는 강력해졌지만, 그 결과를 판단할 책임은 여전히 사람에게 있다는 뜻이다. 검증이 쉬운 작업(스크립트, 테스트 통과 여부가 분명한 일)일수록 에이전트에게 맡기기 좋고, 개념적으로 어렵거나 설계 의존도가 높은 작업일수록 사람이 붙잡는 편이 낫다는 경험칙이 자리잡고 있다.

5. 그래서 지금 무엇을 해야 하나

흐름만 읽고 끝내면 의미가 없다. 2026년을 기준으로, 나라면 이렇게 접근하겠다.

① 에이전트 하나를 '제대로' 길들여라

여러 도구를 얕게 건드리기보다, 본인 스택에 맞는 에이전트 하나를 깊게 써보는 게 낫다. 프로젝트 규칙·구조를 정리한 컨텍스트 파일(예: 프로젝트 설명 문서)을 잘 갖춰 두면 에이전트의 결과 품질이 눈에 띄게 좋아진다.

② '검증 가능한 작업'부터 위임하라

테스트가 있는 코드, 결과를 즉시 확인할 수 있는 작업부터 맡겨라. 테스트가 없는 레거시 코드에 곧장 에이전트를 풀면 오히려 디버깅 비용이 늘어난다. AI 시대에 TDD가 다시 주목받는 이유가 여기 있다 — 테스트가 곧 에이전트에게 주는 명세이자 가드레일이 된다.

③ '읽고 판단하는 힘'을 따로 키워라

코드를 짜는 시간이 줄어든 만큼, 남이(혹은 AI가) 짠 코드를 빠르게 읽고 위험을 짚어내는 능력의 가치가 올라간다. 보안 결함, 하드코딩된 비밀값, 미묘한 로직 오류는 여전히 사람의 눈이 마지막 방어선이다.

④ 비용 감각을 가져라

도구가 강력해질수록 사용량 기반 과금이 늘면서, "얼마나 똑똑한가"만큼 "얼마나 토큰을 아끼는가"가 실무의 화두가 됐다. 매번 재시도하게 만드는 도구보다, 첫 시도에 맞는 결과를 주는 도구가 결국 싸다.

정리하면 — 2026년의 핵심은 "AI가 개발자를 대체한다"가 아니라, "코드를 쓰는 사람에서 시스템을 설계하고 AI를 지휘·검증하는 사람으로 무게중심이 옮겨간다"는 것이다. 도구를 거부하면 뒤처지고, 맹신하면 망가진다. 그 사이에서 균형을 잡는 게 올해의 숙제다.

#AI코딩 #코딩에이전트 #개발트렌드2026 #MCP #개발자커리어

참고 자료: JetBrains AI Pulse / State of Developer Ecosystem (2026·2025), Stack Overflow Developer Survey 2025, Anthropic 2026 Agentic Coding Trends Report, The Pragmatic Engineer AI Tooling Survey (2026), Hired.com 채용 데이터 (2026). 통계 수치는 위 출처를 재구성·요약한 것으로, 정확한 원문 수치는 각 보고서를 확인하시기 바랍니다.

hadoop with AWS - 01 (기초)

데브플레이버 — Wed, 21 Jun 2023 22:54:16 +0900

하둡이란?

그냥 저장소라고 생각하면 된다.
적은 비용으로 빠르게 분석 할 수 있는 소프트웨어로 자바 소프트웨어 프레임워크
범용 하드웨어로 구축된 컴퓨터 클러스터의 방대한 데이터 세트를 분산해 저장하고 처리하는 오픈 소스 소프트웨어 플랫폼이다. 하둡은 Apache Software Foundation에서 개발된 분산 컴퓨팅 시스템으로, 수천 대 이상의 컴퓨터 클러스터를 활용하여 대용량 데이터를 효율적으로 저장하고 처리할 수 있다.
현재 하둡 이외의 다양한 대규모 데이터 처리 기술과 플랫폼들이 나와있기 때문에 하둡의 파이가 줄어드는 추세이다. (하지만 아직은 하둡의 파이가 큰편이다.)

하둡의 핵심

장애 허용 (fault tolence)
- 확장성을 높이기 위해 장애를 당연히 발생할 수 있는 일로 간주
- 기반 소프트웨어 시스템이 실패한 작업을 책임지고 재시도하게 설계
- 다소 불안정하지만 저렴한 하드웨어로도 매우 안정적인 시스템 구성이 가능하다.
분산 파일 시스템
리소스 관리자와 스케줄러
분산 데이터 처리 프레임 워크

하둡 에코 시스템

출처 : https://1004jonghee.tistory.com/m/entry/1004jonghee-하둡에코시스템Hadoop-Eco-System-Ver-10?category=419383 출처 : 클라우드데라 (하둡생태계)

출처 : 시작하세요! 하둡 프로그래밍(위키북스)

하둡의 코어 프로젝트

HDFS 분산데이터 저장
MapReduce 분산 처리

하둡의 서브 프로젝트

나머지 프로젝트들
- 워크플로우 관리
- 데이터 마이닝
- 분석
- 수집
- 직렬화 등

하둡의 구성

하둡은 주로 두 가지 핵심 컴포넌트로 구성된다.

Hadoop Distributed File System (HDFS)
- 대용량 데이터를 여러 노드에 분산하여 저장하는 파일 시스템.
- 데이터는 여러 노드로 나뉘어 저장되며, 각 노드는 데이터의 복제본을 가지고 있어 데이터의 안정성과 내결함성을 보장한다.

MapReduc
- 데이터 처리를 위한 분산 프로그래밍 모델.
- MapReduce는 데이터를 작은 조각으로 나누어 여러 노드에서 병렬로 처리하고, 결과를 다시 모아서 최종 결과를 생성한다.
- 대규모 데이터 집합을 효율적으로 분석하고 처리할 수 있다.

실무로 배우는 빅데이터 기술-02 (빅데이터 구현기술)

데브플레이버 — Sun, 4 Jun 2023 17:12:58 +0900

1. 빅데이터 프로젝트

플랫폼 구축형
빅데이터 분석
빅데이터 운영

플랫폼 구축은 빅데이터 SI 구축형

빅데이터의 하드웨어, 소프트웨어 설치 구성

수집 → 적재 → 처리 → 탐색 → 분석 기능을 구성

백업돼 있는 데이터의 마이그레이션, 주변 업무 시스템에서 발생하는 데이터의 양과 속성에 따라 프로젝트 기간이 변동

2. 빅데이터 기술의 변화

초기 : 대용량 저장소와 배치 처리기술에 집중

중기 : 실시간 처리 및 온라인 분석 기술 개발

최근 : 데이터 마이닝 및 AI의 고급 분석을 위한 전처리와 분석 마트를 구성하는 기술

빅데이터 기술의 핵심 하둡

2005년 하둡이 알려지며 빅데이터 기술들이 끊임없이 진화

빅 3 기업 cloudera, hortonworks, mapr 업체들도 하둡을 중심으로 각자의 빅데이터 소프트웨어 스택을 개발하고 공개

3. 빅데이터 구현기술

빅데이터 아키텍처는 수집 → 적재 → 처리 → 탐색 → 분석 → 응용

수집

내,외부 데이터 연동 및 통합

crawling

open api

log aggretion

db aggregation

streaming

빅데이터 수집 기술은 원천데이터를 효과적으로 수집하는 기술

외부데이터 수집에는 SNS, 블로그, 포털 수집시 크롤링, NLP 등 비정형 처리를 위한 기술이 선택적으로 적용

수집 처리에는 대용량 파일 수집, 실시간 스트림 수집

실시간 수집 : CEP(complex event processing), ESP(event stream processing)

수집 데이터는 정제, 변환, 필터링 등의 작업을 추가로 진행하여 데이터 품질을 향상시킨 후 빅데이터 저장소에 적재한다.

빅데이터 수집 관련 소프트웨어는 flume, fluented, scribe, logastash, chukwa, nifi, embulk등이 있다.

파일럿 프로젝트에서는 flume 사용

실시간 스트림 데이터 처리 : 스톰(storm), 에스퍼(esper) 사용

적재

대용량/실시간 데이터 처리, 분산 파일 시스템 저장

distributed file

No-SQL

Memory Cached

Message Que

대용량 파일 전체를 영구적 저장 : HDFS

대규모 메시징 데이터 전체를 영구 저장 : NoSQL(HBase, MongoDB, Casandra 등)

대규모 메시징 데이터 일부를 임시 저장 : 인메모리 캐시 (redis, memcached, infinispan 등)

대규모 메시징 데이터 전체를 버퍼링 처리 : message oriented middleware (kafka, rabbitMQ, ActiveMQ 등)

처리/탐색

데이터 선택, 변환, 통합, 축소 / 데이터 워크플로 및 자동화

structured processing

unstructured processing

workflow

scheduler

SQL : 휴, 하이브 스파크

후처리 작업 자동화 : 우지

분석/ 응용기술

4차 산업혁명 이후 선형적 확장

분산환경 위에서 머신러닝 기술을 구현해 군집(clustering), 분류(classification), 회귀(regression), 추천(recommendation)

분석/응용기술로는 임팔라, 제플린, 머하웃, R, 텐서플로를 다룬다

스쿱을 응용해서 외부 RDBMS에 데이터를 제공한다.

4. 데이터 보안

개인식별 정보는 비식별화 처리해 적재해야한다.

가명처리

총계처리

데이터 값 삭제

범주화

마스킹

정책과 보안으로는 아파치 녹스, 아파치 센트리, 아파치 레인저, 커베로스 등을 활용할 수 있다.

아파치 녹스

네트워크 상의 DMZ에 위치

외부 클라이언트가 하둡에코시스템에 직접 접근하는 것을 막음.

중간 게이트웨이 역할

접근 인증 LDAP, KDC

아파치 센트리 서버

하둡 파일 시스템에 상세한 접근 제어가 필요할 때 사용

센트리 에이전트를 반드시 설치해야한다.

센트리 에이전트가 센트리 서버와 통신하면서 접근 권한을 획득하게 된다.

감사 로그를 편리하게 조회할 수 있다.

아파치 레인저

아파치 센트리와 유사한 아키텍처
호튼웍스에서 지원
레인저가 지원하는 에코시스템이 많아 범용성이 좀 더 높다
레인저 플러그인을 통해 서버와 통신

본 글은 실무 프로젝트로 배우는 빅데이터 기술 서적을 참고하였습니다.

실무로 배우는 빅데이터 기술-01 (with.분석인프라)

데브플레이버 — Sat, 3 Jun 2023 22:59:36 +0900

Beginning

우여꼭절 끝에 얻어낸 ftp 설정과 파이썬3 버전 설치

→ 실무로 배우는 빅데이터 기술을 실습해보기로 했다.

해당 서적에서는 가상환경에서 실행했지만 Cent OS 기반으로 구성된 인프라가 있으니 거기서 실행하도록 한다.

실습 예외 부분

centos의 x-window 부팅을 해제하여 콘솔에 바로 아이디/패스워드 입력창이 나타난다.Password : adminuser ↔ 비밀번호 입력id 5 : initdefault: ↔ 5부분을 3으로 수정한다.
reboot ↔ 재시작한다.
vi /etc/inittab ↔ etc하위의 inittab을 vi 편집기로 수정한다.
su root ↔ root로 전환
고정 ip와 네트워크 설정 HWADDR 설정 값은 다 다르게 입력해야할 값으로 가상머신의 MAC 주소이다.
DEVICE=eth0 HWADDR=08:00:27:97:F1:13 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPADADDR=192.168.56.101 NETMASK=255.255.255.0 GATEWAY=192.168.56.1 NETWORK=192.168.56.0
버츄얼박스에서 설정→네트워크→어댑터2 에서 나온 MAC 주소 값을 두 자리숫자 단위로 잘라서 : 를 구분값으로 입력한다.
vi /etc/sysconfig/network-scripts/ifcfg-eth0 ↔ 이전에는 수정이었다면 ifcfg-eth0 파일을 생성한다.
자동으로 만들어진 네트워크 룰을 모두 주석처리 또는 삭제처리하여 향후 발생할 수 있는 네트워크 충돌을 방지#PCI device 밑을 다 주석처리.
vi etc/udev/rules.d/70-;erskstent-net.rules
재시작후 제대로 설정되었는지 확인
service network restart → ifconfig eh0

실습 시작

현재 ssh로 서버를 접속한 상태이다. 하지만 해당 컨테이너를 구축한지 너무 오래되어 설치된 패키지도 제대로 되어있지 않을 확률이 높다. 따라서 ssh 접속부터 시작한다.

1. ssh 접속을 위한 패키지 설치

yum install openssh*

service sshd restart

chkconfig sshd on

reboot

는… service network restart 했더니 네트워크 에러 : 커넥션 타임아웃

<재시작되는데 5분이 걸렸다.>

2. 호스트 정보를 수정

vi /etc/hosts

vi /etc/sysconfig/network

호스트네임에 server이름.hadoop.com

는… 이책은 하둡을 하는 거고..

서버 하나로 하둡을 못하겠구나 깨달았다.

centos 다운받고 버츄얼로 다시 실행하도록 하겠다.

dacon 버스 운행시간 예측 프로젝트 1

데브플레이버 — Wed, 31 May 2023 01:17:09 +0900

https://dacon.io/edu/1003

개요

파이썬 기반의 데이터 분석 및 인공지능 기술을 활용하여 버스 운행 시간을 예측하는 프로젝트입니다.

목표

데이터 분석 및 인공지능 기술을 활용하여 정확한 버스 운행 시간을 예측할 수 있는 능력을 갖춥니다. 데이터 전처리, 시각화, 통계적 분석, 머신러닝 및 딥러닝 모델링 등 다양한 기법을 배우고, 실제 데이터를 바탕으로 예측 모델을 개발하세요!

설명

실제 교통 문제를 해결하는 데 도움이 되는 현실적인 응용 프로젝트입니다. 이를 통해 데이터 분석 및 인공지능 기술의 가치를 직접 체험하며 도시 교통 문제 개선을 위한 방법을 찾아 보세요! 인공지능 기술의 사회적 가치와 책임에 대한 인식을 높이고, 교통 문제를 해결함으로써 지속 가능한 도시 환경을 만드는 데 기여할 수 있습니다.

산업 적용

버스 운행 시간 예측 모델은 교통, 스마트 시티, 물류 유통 등 다양한 산업 분야에서 활용될 수 있습니다. 교통 체증을 개선하고, 대중교통의 효율성을 높이는 방안을 기획하는 교통 분석가, 도시 교통 인프라를 최적화하는 스마트 시티 기획자, 화물 및 배송/운송의 효율성을 높이고 최적의 경로를 계획하는 물류 유통 전문가로 성장할 기회를 얻을 수 있습니다.

stage 1

1. pandas 라이브러리를 불러온다.

import pandas as pd : 자주 사용하는 라이브러리기 때문에 pd로 축약어를 설정해놓는다.

2. 데이터 불러오기

판다스를 이용하여 데이터를 불러올 수 있다.

공공데이터 포털도 그렇고 대부분의 자료들이 csv로 저장되어있다.

업무하면서도 관과 관련된 자료를 주고 받을때 csv파일로 받게되어 당황한 적도 있었다.

판다스로 파일을 읽기

train = pd.read_csv(’train.csv’)
test = pd.read_csv('test.csv')
submission = pd.read_csv('sample_submission.csv')

3. 데이터 확인하기

데이터를 불러올 때 모두 변수를 할당해놓았는데 submission변수의 데이터를 확인해본다.

submission.head()

head() 메서드는 데이터프레임의 상위 5개의 행을 반환한다. 괄호안에 숫자를 기입하면 출력할 상위 행의 수를 지정할 수 있다.

4. CSV 파일 저장하기

read 이후 저장하는 방법도 알아본다. drop, reindex 등등 작업을 한뒤 저장을 하려면 내보내기와 같은 작업을 하면된다.

.to_csv(’파일이름’, index 여부)

submission.to_csv(’submission.csv’, index=False)

5. 데이터 프레임 정보 확인하기

train.info() : 길이, 특성의 이름, 결측치의 수 등을 확인해볼 수 있다.

tail() 매서드 : 데이터 프레임의 하위 일부 데이터를 반환하는 메서드, head()의 반대.

6. 데이터 분석 중요 개념

feature / target

numerical Data / categorical data

regression / classification

feature : 예측을 위해 활용되는 데이터 ( 독립변수 x)
target : 예측하고자 하는 대상 (종속변수 y)
numerical data : 수치형 자료, 숫자로 측정할 수 있는 자료 ( 기온, 풍속, 체중)
categoricla data : 범주형 자료, 숫자로 측정할 수 없는 자료 ( 날씨, 혈액형 성별)
regression 회귀 : 수치형 데이터 예측에 사용
classificatio 분류 : 범주형 데이터 예측에 사용

→ 회귀 문제인지 분류문제인지는 예측 target이 수치형인지 범주형인지에 따라 결정된다.

7. 데이터 셋 drop()

drop() 메서드를 이용할때는 행을 없앨 것인지 열을 없앨 것인지 설정할 수 있다.

train = train.drop(['id','date','route_nm','now_station','now_arrive_time','next_station'],axis = 1)

axis=1 은 열을 없애려는 모양이다.

8. 필요한 데이터만 변수에 할당하기

리스트 형식으로 변수에 할당하면된다.

하지만 에러가 발생했다.

리스트를 한번 더 묶어줘야하는 것을 빼먹었다.

Project04_장고 소셜 로그인 구현 allauth

데브플레이버 — Tue, 23 May 2023 10:01:43 +0900

소셜로그인 구현 allauth

장고에서 allauth라는 장고패키지를 이용하면 소셜로그인을 구현 할 수 있다.

pip install djangorestframework
pip install djangorestframework-simplejwt
pip install django-allauth

자주 사용하는 소셜로그인에는 네이버, 카카오, 구글이 있을것이며 코딩과 관련된 사이트라면 깃허브까지 범용성 있게 사용 가능하다고 생각된다. 이 소셜로그인들을 allauth 패키지 내에서 서비스 명을 찾아본다.

장고에는 모델, 뷰, 템플릿 등이 있는데 이 중 views.py를 다음과 같이 추가해본다.

# 소셜 로그인
BASE_URL = 'http://localhost:8000/api/v1/accounts/rest-auth/'
KAKAO_CALLBACK_URI = BASE_URL + 'kakao/callback/'
NAVER_CALLBACK_URI = BASE_URL + 'naver/callback/'
GOOGLE_CALLBACK_URI = BASE_URL + 'google/callback/'
GITHUB_CALLBACK_URI = BASE_URL + 'github/callback/'


class KakaoLogin(SocialLoginView):
    adapter_class = KakaoOAuth2Adapter
    callbakc_url = KAKAO_CALLBACK_URI
    client_class = OAuth2Client
    serializer_class = SocialLoginSerializer


class NaverLogin(SocialLoginView):
    adapter_class = NaverOAuth2Adapter
    callback_url = NAVER_CALLBACK_URI
    client_class = OAuth2Client
    serializer_class = SocialLoginSerializer


class GithubLogin(SocialLoginView):
    adapter_class = GitHubOAuth2Adapter
    callback_url = GITHUB_CALLBACK_URI
    client_class = OAuth2Client
    serializer_class = SocialLoginSerializer


class GoogleLogin(SocialLoginView):
    adapter_class = GoogleOAuth2Adapter
    callback_url = GOOGLE_CALLBACK_URI
    client_class = OAuth2Client
    serializer_class = SocialLoginSerializer

이후 어떤 url을 통해 접근을 할 것인지를 매핑해줘야하는데 urls.py에서 수정을 한다.

urlpatterns =[
    path('rest-auth/kakao/', views.KakaoLogin.as_view(), name='kakao'),
    path('rest-auth/naver/', views.NaverLogin.as_view(), name='naver'),
    path('rest-auth/google/', views.GoogleLogin.as_view(), name='google'),
    path('rest-auth/github/', views.GithubLogin.as_view(), name='github'),
 ]

네이버 아이디가 없는 사람이 없겠지만서도 요즘 카카오톡 안쓰는 사람 찾는게 더 어렵기 때문에 카카오 인증으로 추가한다.

동의항목 설정

애플리케이션 이름, 사업자명, 아이콘등을 먼저 받으며 내 애플리케이션 → 제품설정 → 카카오로그인 → 동의항목에서 제공받을 항목을 선택할 수가 있다.

django admin 등록

위에서 설정해놓은 값들을 django admin에서 등록을 해주면 쉽게 진행을 할 수 있다.

127.0.0.1:8000/admin 또는 localhost:8000/admin 으로 접근하여 소셜계정 - 소셜 애플리케이션 에서 등록한다.

서비스에서 발급한 클라이언트 아이디, 키 값을 넣어주면 되고, 카카오 로그인은 rest-api키를 등록해주면 완료.

참고 블로그

https://velog.io/@heyoni/Django-Rest-Framework-소셜로그인-구현하기-google-naver-kakao-github

nvidia cuda 좀비 프로세스 제거

데브플레이버 — Mon, 22 May 2023 11:18:37 +0900

nvidia SSH연결 우분투 모니터링

ssh로 연결한 gpu 의 경우 모니터링을 하는게 중요하다.

따라서 우분투에서 해당메모리를 지속적으로 모니터링 하는 터미널을 열어두는게 좋다.

watch -d -n 0.5 nvidia-smi
→ nvidia-smi를 0.5초마다 확인할게라는 의미이다.

메모리 리셋

현재 사용중인 프로세스가 없다고 뜨지만 메모리 할당은 되어있는 상태이다.

→child process가 좀비상태로 남아 있다.

ps aux | grep python을 실행

현재 실행중인 프로세스가 나온다.

주피터노트북과 파이썬 등이 나오는데 이를 선택제거한다.

kill -9 52131 : 52131은 해당 프로세스의 이름이라고 생각하면 된다. 즉 PID이다.

실행결과를 확인하면 깔끔해졌다.

$ ps -ef | grep defunct | grep -v grep

$ ps aux | egrep "Z|defunct"

Project03_주제 선정 + 역할 분담

데브플레이버 — Sat, 20 May 2023 16:24:04 +0900

이번 프로젝트에서 주제 선정 및 역할 분담에 어려움이 있었다.

랜덤으로 팀 선정을 하였고, 그 결과 비전공자들만 모여 있었기때문이다.

따라서 목표하는 바를 어떤 서비스를 구현해서 이뤄내자보다는 현재까지 배운 내용을 조금 더 발전시켜보자라는 목표를 세우게 되었다.

1. 수업 및 점프투 장고를 통해 배운 내용을 조금 더 활용하는 방안으로 구현하자.

2. 다른 프로젝트들은 어떻게 하였는지 보고 추가적으로 더 구현할 수 있는 방안을 모색하자.

3. 서버 작업 및 배포를 경험해보자.

1. 배운 내용을 활용하자

-> 점프 투 장고를 베이스로 작업을 하기로 하였다.

수업시간에도 하였지만 복습개념으로 다시 책을 보며 따라한 점프투 장고에서 만든 파이보 게시판을 사진을 넣을 수 있는 작업, 게시판을 더 가독성 및 기능을 추가하기. 등으로 보여줄 수 있다.

-> github를 이용한 팀원간 형상관리를 경험해보자

git을 배우고 pybo 공부 내용을 그날그날 git push는 해보았으나 정확히 팀원들간 주고 받는 프로젝트를 해보지 않았기때문에 이번 프로젝트로 경험해보기 좋은 기회라고 느꼈다.

2. 실시간 채팅 기능 및 소셜 로그인을 구현해보자.

-> 예전에 자주 보이던 실시간 채팅기능을 구현해보고, 기존 장고에서 로그인이 추가적으로 소셜 로그인까지 지원할 수 있게 기능을 추가하는 방안으로 채택하였다.

3. 서버 작업 및 배포를 경험해보자

-> 현재 이 포스팅을 작성하는 시점에서는 배포상 문제가 있다.

a. 도커 컴포즈를 통해 서버 배포를 손쉽게 하고자 하였으나, 실시간 채팅기능에서 웹소켓 설정을 하고, nginx를 사용하는 등의 복잡한 과정이 수반되기 때문이다.

b. 장고 프로젝트를 도커 이미지를 생성하여 8000번 포트로 서버를 여는 것은 확인하였으며, 도커 컴포즈를 위한 작업을 남겨 놓고 있다.

c. 현재 프로젝트는 금요일자로 끝났지만 추후 유지보수 개념으로 도커 컴포즈를 완성하여 서버 배포를 일주일 내에 완료하는 것을 목표로 하고 있다.

팀프로젝트에서 중점 관리 요소

팀프로젝트를 진행함에 있어서 PM과 팀원들의 호응이 매우 중요하다고 느껴진 프로젝트였다.

팀원들의 의견을 모으고자 slack방을 만들고, 단톡을 만들고 통일감 있는 주제를 만들고자 의견 공유를 바랐으나 hey9님과 나만 이야기하는 분위기였다.

결론적으로 어찌어찌 기능을 구현하였지만 구성이 완벽하다는 느낌을 받기는 힘들었다.

역할 분담

가장 어려웠던 역할 분담.

먼저 hey9님과 내가 putty를 이용하여 AWS EC2 서버의 우분투에 접속하였다.

이후 도커 이미지를 생성, mariadb를 django_db라는 이름으로 생성해놓았다.

이를 통해 역할은 서버 작업 + 기능 구현을 맡게 되었고, 다른 팀원들은 각각 기능을 구현해보자는 초기 목표를 세웠다.

내가 맡은 기능 : 소셜 로그인 + html 작업 + 서버

AWS EC2에 서버작업은 미리 해놓았다. 그다음은 소셜로그인.

소셜로그인을 선택하게 된 이유

요즘 각 서비스를 이용해보면 소셜로그인으로 회원가입을 받는 경우가 매우 많다.

이 서비스를 구현해놓은 이유는 많겠지만 내가 생각한 이유는 3가지이다.

1. 접근 장벽이 낮아진다.

소셜로그인이 있으면 가입을 하기도 쉬울 뿐더러 뭔가 모르게 내 정보를 다 넣지 않아도 되니 신뢰도가 높아지는 느낌이다.

2. 정보를 꽤 많이 가져올 수 있다.

사용자의 이메일, 성별, 연령대 등 소비자의 정보를 손쉽게 가져올 수 있다. 위에서 말한 이유와는 상반되는 개념이지만 이번 기능을 구현하면서 선택사항으로 연령대 성별 등등 꽤 많은 정보를 공유하고 있었다는 것을 알 수 있었다.

3. 보안상 편리하다.

시장에서 많이 채택하는 건 그에 합당한 이유가 있다. 각 서비스에 토큰값을 주고 받는 과정을 거치기 때문에 보안상의 관리하기도 편하다는 점이 있었다.

Project02_AWS EC2 접속 및 파일 관리

데브플레이버 — Sun, 14 May 2023 16:06:49 +0900

AWS EC2

아마존 웹 서비스에서 다양하고 유용한 기능들이 있는데, 그중 하나로 클라우드 컴퓨팅 서비스다.
클라우드 컴퓨팅 서비스를 어떻게 활용하느냐에 따라서 시간과 비용을 절감할 수 있다. (직접 서버를 관리하려면 어려운 점이 많다.)

AWS EC2 서비스를 활용하기 위한 도구 - PUTTY, FILEZILLA

AWS EC2는 일종의 리눅스 컴퓨터를 한대 대여했다고 생각하면 된다.

PuTTY

이 리눅스 기반의 서버에 접속하기위해서는 원격 접속(SSH)을 해야하는데 PuTTY를 이용하여 접속 가능하다.
- 먼저 ip주소와 .ppk 파일을 이용하여 접속을 할 수 있다.
- .ppk 파일은 고유 비밀번호라고 생각하면 된다.
- putty 설치할때 설치한 putty key generator로 생성가능.
- ip 주소는 Session → Host Name과 port번호를 넣고 saved sessions에 이름을 넣고 저장한다.혹시 모르니 다시 save하고 open
- ppk파일은 connection→SSH→Auth→Credentials에 넣는다.
- login as : ubuntu 로 접속 -> 서버 접속이 완료되었다.

Putty session 설정

.pkk 파일 입력하는 곳

login할 계정 선택

접속 완료 상태

Filezilla

EC2를 gui 형식으로 보여주는 프로그램으로 pem키와 주소 등을 입력하면 디렉토리 처럼 EC2 내부를 그려준다.

PuTTY와 마찬가지로 호스트, 키 파일을 넣어주면 접속이 가능하다.

까만 화면에서 파일을 cd, ls, ll, pwd 등으로 찾아가던 과정보다 훠어얼씬 직관적으로 찾아갈 수 있게되었다.

Project01_협업 레포지토리 생성 및 가상환경 설정

데브플레이버 — Fri, 12 May 2023 10:18:51 +0900

협업레포지토리 생성

먼저 협업을 하기위해서 github를 사용하여 형상관리를 하기로 결정했다.

→ 팀원 한명의 깃허브에 레포지토리를 형성하여 git clone을 하는 방식으로 가져온다.

레포지토리 및 가상환경 생성 과정

먼저 협업을 할 파일들을 저장할 폴더를 생성한다.
mkdir team1
가상환경을 만들어 내 컴퓨터 내에서도 관리를 용이하게 한다
1. (각각 모듈들의 버전관리 등을 깃으로 올려놓은 것과 맞추기 용이함)
2. apt install python3.10-venv
3. python -m venv 가상환경 이름
4. 쉘스크립트에 작성하여 가상환경으로 접속을 편하게 한다.
  1. 가상환경 접속을 할 수 있는 activate가 있는 위치로 가서 pwd를 통해 위치를 작성해놓는다.
  2. cd ~ (홈으로 간다)
  3. vim 가상환경이름.sh
  4. #!/bin/bash
    source /home/dev/venv/yolo/bin/activate (가상환경 접속 주소를 넣는다.)
  5. . ~/가상환경이름.sh (현재 내 위치가 어디에서나 바로 가상환경 접속을 할 수 있게 된다)
깃허브 레포지토리에 팀원들의 아이디를 접근 권한 등록한다.

https://github.com/2hey9/playdata-django.git

GitHub - 2hey9/playdata-django

Contribute to 2hey9/playdata-django development by creating an account on GitHub.

github.com

깃 브랜치 만들기 및 푸시하기

1. git branch를 입력하면 현재 브랜치가 어떤게 있는지 알 수 있다.

2. git branch 브랜치명 새로운 브랜치를 만든다.

3. 현재 브랜치에서 새로 만든 브랜치로 바꾸기 branch checkout 브랜치명

4. 깃 clone을 한 상태라 git init은 별도로 필요 없고, 형상관리를 할 파일들을 추가, 커밋, 푸시하는 과정을 거친다.

5. git add . / git commit -m "메세지내용" / git push origin 브랜치명

터미널에서 테스트하면서 commit을 여러번 해보았다.

커밋 브랜치를 각각 다른 이름으로 하여 추후 형상관리시 편하게 설정해놓았다.

Docker02. 도커 설치

데브플레이버 — Mon, 8 May 2023 09:45:07 +0900

도커 설치

도커 홈페이지에서 설치 https://www.docker.com/

명령프롬프트에서 docker를 검색해보면 관련된 사항들이 출력된다.

docker run -it —name encore ubuntu:18.04→ docker라는 가상머신에서 encore라는 이름의 우분투 ver.18.04를 실행할 것이다.

도커는 도커허브라는 사이트에서 패키지를 다운받아 와서 쉽게 실행가능하다.→ https://hub.docker.com/

분석환경을 도커이미지로 담은다음 도커이미지로 가져가면 설치가 간편해진다.

도커에서 파이썬 실행

도커허브에서 python3는 없기 때문에 아나콘다를 설치하여 파이썬을 실행해야한다.

아나콘다는 무겁기때문에 미니콘다를 설치한다.

docker 에서 미니콘다 설치하는 방법

apt update : 시스템 패키지 관리자에 대한 패키지 목록을 업데이트

apt install wget : wget 패키지를 설치wget 패키지는 웹에서 파일을 다운로드하는데 사용되는 유틸리티이다.

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh: wget을 사용하여 Linux용 미니콘다3의 최신버전을 다운로드 (sh는 쉘스크립트 파일)

설치된 파일 확인법

ls를 입력해보면 현재 설치된 파일이 나온다.

ll도 현재 설치된 파일들을 보여주는데 ls와 ll의 차이는 정렬의 차이인듯하다

미니콘다에서 파이썬 접속

먼저 미니콘다로 접속해야한다.→ cd ~/miniconda3

미니콘다에 파이썬이 있는지 확인→ bin
→ ./python

파이썬 유무를 확인했다면 나가자.→ exit()
→ ctrl + d → 컨테이너 종료

추후 웹배포할때도 도커사용할 예정이며 모델을 장고에 올려서 보여줄 예정이다. (23.4.3~장고설치중)

docker run -it --name encore2 -p 9000:8888 ubuntu:18.04

도커를 실행하는데 name은 encore2로 설정한다.

포트는 9000번과 8000번을 이어준다.

각 프로그램별로 사용하는 포트가 나눠져 있는편이다.

8888포트는 주피터 노트북이 사용

3306 mysql

1221 oracle

apt update 를 실행해주고 wget 과 vim을 설치한다.

apt install

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

위치가 잘못되거나 권한때문에 오류나는경우가 많다.

따라서 내가 누군지와 나의 위치를 확인자주 해주는게 필요하다

사용자 확인 whoami

현재 위치 확인 pwd

현재 폴더의 파일 목록 ls-al

# sh파일 실행하는 방법

chmod +x ./Miniconda3-latest-Linux-x86_64.sh

./Miniconda3-latest-Linux-x86_64.sh

ch ./Miniconda3-latest-Linux-x86_64.sh

yes를 다해준다.

vim ~/.bashrc

vim(?) (1)

insert모드에서 애가 맛이가서 다시실행했다.

도커를 껐을때는 attach를 이용하여 재접속할 수 있다.

export PATH=/root/miniconda3/bin:$PATH

를 사이에 적어놓는다.

:wq로 저장후 나가기하기

파이썬 설치 완료

pip intsall jupyter

파이썬이 설치되었기 때문에 주피터 설치가 가능해짐.

주피터 노트북 파일을 생성.

환경파일이다.

빔으로 열어보면 엄청 길다.

:q로 나간다.

온라인으로 하면 패스워드가 필요함/

리눅스 정책상 패스워드는 쳐도 보이지 않는다.

ipython 입력

from notebook.auth import passwd 패스워드 모듈을 임포트

passwd() 패스워드를 설정한다.

비밀번호 텍스트로 저장해놓자…

exit()

수정하는 부분은 주석을 해제해야한다.

vim /root/.jupyter/jupyter_notebook_config.py

# 주석 해제

명령어 : 136

allow_origin = "*"

명령어 : 469

위에서 복사한 password 를 붙여넣는다.

명령어 : 450

c.NotebookApp.notebook_dir = '/root/workspace/'

458

c.NotebookApp.open_browser = False

ctrl + c / y 를해서 나와주고

jupyter notebook --ip=0.0.0.0 --allow-root

를 입력

뭔가 오류가 있는지 비밀번호 설정이 안되어있음.

token을 활용하여 아래 사이트에서 다시 비밀번호를 설정해준다.

openpose라는 모듈 사용하면 굿

openpose-docker를 제공한다.

WSA2 그래픽 설정.

Python01. 파이썬 기초

데브플레이버 — Fri, 28 Apr 2023 15:49:51 +0900

주피터 노트북

파이썬을 이용하기 위한 개발도구(ILE)에는 jupyter notebook, VS code 등이

있다.

변수할당하기

파이썬에서 ‘=’ 는 오른쪽 값을 왼쪽 변수에 할당하는 것이다.

변수명은 숫자로 시작하면 안되고, 특수문자가

포함되면 안된다. 또한 예약어를 사용하면 안된다.

파이썬의 자료형

숫자 (Number): 정수(Integer), 실수(Float), 복소수(Complex)
문자열 (String): 문자나 문자열의 연속으로 이루어진 데이터 타입
불리언 (Boolean): True 또는 False를 나타내는 데이터 타입
리스트 (List): 대괄호([])로 둘러싸인 값의 목록으로, 여러 가지 자료형을 포함할 수 있는 시퀀스 타입입니다.
튜플 (Tuple): 소괄호(())로 둘러싸인 값의 목록으로, 리스트와 유사하지만 값을 변경할 수 없는 시퀀스 타입입니다.
세트 (Set): 중괄호({})로 둘러싸인 값의 목록으로, 순서가 없고 중복된 값을 허용하지 않는 자료형입니다.
딕셔너리 (Dictionary): 중괄호({})로 둘러싸인 key-value 쌍의 목록으로, 키와 값이 쌍으로 연결된 자료형입니다.

시퀀스형 자료구조

시퀀스형 자료구조는 번호가 있는 자료이다.

시퀀스의 처음 인덱스 번호는 0으로 시작하며, -1은 뒤에서부터 1번이다.

슬라이싱 : 변수[start:end:step] 의 방법으로 구성, step에서 마이너스를 하면 역순으로 진행한다.

format(), f-string

format()

'안녕하세요 ooo입니다.' 와 같이 ooo의 값만 바꾸기 위해 사용되는 함수이며

문자열 안에 중괄호를 집어넣고 변수명. format("{넣고 싶은 값}")을 대입하면 중괄호 안의 값만 유동적으로 변한다.

#문자열에서 동적으로 집어 넣고 싶다면 중괄호를 집어넣는다
print("{}년 {}dnjf {}일 {}입니다.".format(year, month, day)

and의 특징 두구문이 참일 경우 true false 2
or 두 구문중 하나라도 참이면 true 3
not 구문이 참이면 거짓 거짓이면 참 1

f-string

파이썬 3.6부터 지원하는 문자열 포맷팅 방법

한줄로 간결하게 나타낼 수 있다는 장점이 있다.

컴퓨터 연산에서는 부동소수점 표현오류가 있다.

→ 0.1은 2진수로 표현하면 후만이다.

for x in range(10): #중간체크할때 자주 사용함 %나머지를 반환 **지수연산 ..나눗셈의 소수점 이하는 제거
    if x % 2 ==0:
        print(x)

웹에서 가져오는 자료

웹에 표현되어 있는 모든 숫자는 문자임
따라서 변환이 필요함
int(x) x를 정수형으로 
float(x) x를 실수형으로

값을 입력받아서 내용을 출력하기

distance = input("숫자입력")
distance = int(distance) #문자를 숫자로 변환해줘야하기때문 distance=int(input("숫자입력"))으로 해도 됨
if distance <= 3:
    print("걸어가세요")
elif distance  <= 10 :
    print("버스타세요")
else:
    print("택시타세요")
print("수고")

for 문을 이용하여 반복하기

반복문에는 for문과 while 문이 있다.

for x in range(10): #조건문 뒤에 :
    print("스팸")

for 변수 in 반복가능한 개체:

반복수행할 코드

윤년조건을 활용하여 for 반복문 연습

윤년조건
서력 기원 연수가 4로 나누어 떨어지는 해는 윤년으로 한다. (1988년, 1992년, 1996년, 2004년, 2008년, 2012년, 2016년, 2020년, 2024년, 2028년, 2032년, 2036년, 2040년, 2044년 ...)
서력 기원 연수가 4, 100으로 나누어 떨어지는 해는 평년으로 한다. (1700년, 1800년, 1900년, 2100년, 2200년, 2300년...)
서력 기원 연수가 4, 100, 400으로 나누어 떨어지는 해는 윤년으로 둔다. (1600년, 2000년, 2400년...)

4로 나누어 떨어지는 해

for year in range(1900,2101):
    if year % 4 == 0 and year % 100 != 0 or year % 400 == 0: 
        
        print(year)

완성본

def func_1(year):
    if year % 4 == 0 and year % 100 != 0 or year % 400 == 0:
        return "윤년임" #리턴을 하면 거기서 끝남 
    else:
        return "아님"
    print("동해물과")

while 문

while 문은 for 문과는 다르게 조건이 참일 때만 실행된다.

cnt = 0
while cnt < 10: #무한루프 조심해야함
    print(cnt)
    cnt +=1

#무한루프
cnt = 0
while cnt < 10:
    if cnt ==5:
        cnt+=1
        continue
    print(cnt)

while 조건:

수행할 코드

변화식

break , continue

for x in range(100):
    if x %2 == 0:
        break
        print(x)

cnt = 0
while cnt<10:
	if cnt == 5:
		break
	print(cnt)
	cnt+=1

리스트 축약형

일반적인 리스트 형식

total = []
for x in range(1,100):
    if x % 3 == 0 and x % 5 == 0:
        total.append(x)

리스트 축약형

total=[x for x in range(1,5)]
#리스트 축약형이고 더 선호하는 편 , total.append(X)가 안들어가도 됨

total2 = [x for x in range(1,100) if x % 3 == 0 and x % 5 == 0]
# 조건문을 넣을 수 있음

[year for year in range(1900, 2101) if year % 4 == 0 and year % 100 != 0 or year % 400 == 0]

for x in range(100):
    if x % 2 == 0:
        continue
        print(x)

다중문자열

multiline = """동해물과 백두산이"""
#다중문자열

텍스트의 앞뒤로 세개의 따옴표를 이용하여 나타낼 수 있는 다중문자열은 여러 텍스트 문자열을 저장할 수 있다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

이때 변환한 값을 활용하고 싶다면 diito = ditto..lower()처럼 재정의를 해야한다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

r.text #응답 결과의 내용을 가져옴 #가져온 응답 결과가 딕셔너리 형태로 이루어져있으면 json형태로 표현해준다. star = r.json()['list'] #r.json 중 사용할 값을 꺼내기 위해 인덱스한것이다. star

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

print(multiline) 
#\\n 줄바꾸기

ditto = """Woo woo woo woo ooh
Woo woo woo woo
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
훌쩍 커버렸어
함께한 기억처럼
널 보는 내 마음은
어느새 여름 지나 가을
기다렸지 all this time
Do you want somebody
Like I want somebody
날 보고 웃었지만
Do you think about me now yeah
All the time yeah
All the time
I got no time to lose
내 길었던 하루
난 보고 싶어
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Not just anybody
너를 상상했지
항상 닿아있던
처음 느낌 그대로 난
기다렸지 all this time
I got nothing to lose
널 좋아한다고
wooah wooah wooah
Ra-ta-ta-ta 울린 심장 (Ra-ta-ta-ta)
But I don't want to
Stay in the middle
Like you a little
Don’t want no riddle
말해줘 say it back
Oh say it ditto
아침은 너무 멀어
So say it ditto
I don't want to
Walk in this 미로
다 아는 건 아니어도
바라던 대로
말해줘 Say it back
Oh say it ditto
I want you so, want you
So say it ditto
Woo woo woo woo ooh
Woo woo woo woo 
"""

ditto.count("ditto" or "Ditto")
# 안됨 그래서 소문자로 먼저 만들고 카운트해주자

소문자, 대문자 변환

ditto.lower()
ditto.upper()

.lower()을 사용하여 모든 문자를 소문자로 변환할 수 있다.

반대로 .upper()을 사용하여 모든 문자를 대문자로 변환할 수 있다.

split

split = ditto.split()
#리스트 형식으로 출력

#리스트면 for를 써서 반복시킨다.
#워드 카운트하는 법

dict_a={}
for count in split:  
    if count in dict_a:
        dict_a[count] += 1
    else:
        dict_a[count]= 1

dict_a

#불러 온 값들을 이쁘게 정렬하려면 람다 함수를 이용
sorted(dict_a.items(), key=lambda x: x[1]) #람다함수로 낮은값부터 정리

답안

ditto.lower().count('ditto')
ditto = ditto.lower()
word_dict = {}
for word in ditto.split():
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

word_dict

def tmp(x):
    return x[1]

sorted(word_dict.items(), key=tmp, reverse=True) #키부분에 어느부분으로 정렬할것인지 나타내는 것 리스트 순서 [0,1,2,3,4,5]]
# sorted는 파이썬 제공함수
#true에 T대문자로 해줘야함
#tmp 함수는 재활용 가능

def calc(a,b):
    return a+b

#람다를 사용하면 한줄로 , 람다는 이름이 없는 일회성/ 데이터 분석시 람다 많이 활용하는 편
(lambda a, b : a+b)(5,10)

상대경로 절대경로
import os
os.getcwd()

import os
os.getcwd()

os.mkdir("test") # test라는 폴더를 만든다 절대경로 c:\\\\workspace\\\\test
#상대경로 ./test

f=open("./encore.txt", "w", encoding='utf-8') #encore 텍스트파일 상대경로, "w" 쓴다, encoding 형식

f.write("Hi")
f.close()

for roots, dirs, files in os.walk("c:/windows/"):
    for file in files:
        print(f"{roots}/{file}") #윈도우즈 안에 있는 파일을 다 불러오는 것, 모든 파일 마지막 닫아주어야

#파일 목록을 텍스트로 관리 가능

f = open("./pic.txt", "w", encoding='utf-8')
for roots, dirs, files in os.walk("c:/Windows/"):
    for file in files:
        f.write(f"{roots}/{file}\\n")
f.close()

#파일 안에 숫자는 문자기때문에 숫자형으로 바꿔줘야함, 천단위 구분 세미콜론은 없애줘야함
.replace(",","")

웹크롤링 (스타벅스 사진 저장)

먼저 requests 모듈을 불러와야 http 요청을 보낼 수 있다.

import requests
url = "<https://www.starbucks.co.kr/store/getStore.do?r=GKYHQKU7D3>"
payload = {"in_biz_cds" : "0",
"in_scodes" : "0",
"ins_lat" : "37.566535",
"ins_lng" : "126.9779692",
"search_text" : "",
"p_sido_cd" : "01",
"p_gugun_cd" : "",
"in_distance" : "0",
"in_biz_cd" : "",
"isError" : "true",
"searchType" : "C",
"set_date" : "",
"all_store" : "0",
"T03" : "0",
"T01" : "0",
"T27" : "0",
"T12" : "0",
"T09" : "0",
"T30" : "0",
"T05" : "0",
"T22" : "0",
"T21" : "0",
"T10" : "0",
"T36" : "0",
"T43" : "0",
"T48" : "0",
"P10" : "0",
"P50" : "0",
"P20" : "0",
"P60" : "0",
"P30" : "0",
"P70" : "0",
"P40" : "0",
"P80" : "0",
"whcroad_yn" : "0",
"P90" : "0",
"new_bool" : "0",
"iend" : "1000",
"rndCod" : "IZVHHSIFWC",}
r =  requests.post(url, data=payload)
star = r.json()['list']

payload에서 가져올 수 있는 값을 찾아본다.

r = requests.post(url, data = payload)

url에 post요청을 보내고 r에 응답을 할당한 것이다.

딕셔너리와 json은 모두 key-value 쌍으로 데이터를 표현하기 때문에 데이터 변환이 쉽다.

SQL01. 3월에 태어난 여성 회원 목록 출력하기

데브플레이버 — Fri, 28 Apr 2023 10:50:31 +0900

프로그래머스 SELECT 연습 첫번째 3월에 태어난 여성 회원 목록 출력하기

처음 풀이

SELECT MEMBER_ID,MEMBER_NAME, GENDER, DATE_OF_BIRTH
FROM MEMBER_PROFILE
WHERE MONTH(DATE_OF_BIRTH)=3
    AND TLNO IS NOT NULL
    AND GENDER = 'W'

ORDER BY MEMBER_ID ASC;

ID, 이름, 성별, 생년월일을 가져온다

멤버프로필에서

조건을 넣어준다.

정렬은 멤버ID 오름차순으로 한다

결과는 생년월일에 출력되는 형식을 지정해주지 않아서 틀렸다.

SELECT MEMBER_ID,
MEMBER_NAME,
GENDER, 
DATE_FORMAT(DATE_OF_BIRTH, '%Y-%m-%d') AS DATE_OF_BIRTH
FROM MEMBER_PROFILE
WHERE MONTH(DATE_OF_BIRTH)=3
    AND TLNO IS NOT NULL
    AND GENDER = 'W'

ORDER BY MEMBER_ID ASC;

따라서 처음부터 DATE_OF_BIRTH에 FORMAT을 걸어줘야한다.

출력결과

WSL 환경 C드라이브 → D드라이브

데브플레이버 — Fri, 28 Apr 2023 00:23:15 +0900

wsl이란?

WSL(Windows Subsystem for Linux)

windows 10 에서 도입한 기능으로, 리눅스 커널인터페이스를 통해 Linux 배포판을 Windows에서 실행할 수 있게 해주는 것이다.

→ wsl을 통해 윈도우 운영체제에서 리눅스 개발 및 시스템 관리도구를 함께 사용할 수 있다.

c드라이브는 꽉 차는 경우가 많다. 나도 C드라이브의 용량이 빨간색으로 변하는 것을 목격하고 이 작업을 찾아보았다.

C드라이브 용량이 부족할때 D드라이브로 wsl을 이동시키면 용량 관리에 유용하다.

이 작업은 임포트하는데 시간이 꽤 많이 들기에 여유가 있을때 실행하기 바란다.

내보내기

wsl -l --all
wsl --export Ubuntu d:\\<파일명>.tar

wsl -l —all은 모든 상태의 WSL(Windows Subsystem for Linux)에서 사용가능한 linux 배포판을 나열한다.
wsl --export <리눅스 명> <저장할 파일 경로 및 파일명>
"wsl --export Ubuntu d:\<파일명>.tar"는 WSL에 설치된 Ubuntu 배포판을 "<파일명>.tar"라는 TAR 파일로 내보내는 작업이다.
기존에 사용하던 Ubuntu 설치의 백업을 만들때 사용한다.
또한, 컴퓨터를 바꿨을때 기존에 사용하던 Ubuntu를 가져올 때 tar파일을 만들어 새로운 컴퓨터에서 사용할 수 있다.

가져오기

mkdir d:\\wsl\\ubuntu_20_04
wsl --import Ubuntu-20.04 d:\\wsl\\ubuntu_20_04 d:\\<파일명>.tar

가져오기를 진행할 폴더를 먼저 만든다.
이후 import로 가져오기를 시작한다.
시간이 꽤 걸리기 때문에 그냥 방치하는 것을 추천한다.
wsl --import <설정할 wsl 이름> <설치경로> <저장된 파일 경로 및 파일명>

정상적으로 import가 되었는지 확인 후 기존 사용하던 우분투를 지우기

wsl --unregister <wsl 이름>
wsl -l --all에서 확인한 기존에 사용하던 wsl 이름을 넣어줘서 C드라이브에 사용중이던 wsl을 삭제한다.
Dongle's 님의 글에는 export후 바로 삭제한다고 되어있지만 실제로 해본 결과 제대로 export 되었을때 대략 난감한 상황이 펼쳐질 것 같다.
이 작업을 하기전 깃이나 파일을 따로 백업해두는 것도 추천한다. (export나 import하는 과정에서 오류가 있어 시간을 한참 잡아먹었다.)
기존 사용하던 wsl환경의 용량과 새로 import한 wsl환경의 용량이 같은지를 확인하는게 제일 편한 것 같다.

사용자 계정 추가

새로 import한 wsl을 실행하면 root계정으로 실행된다.
root계정으로 작업을 하면 안되는건 아니지만 추후 작업을 진행하면서 권한에 있어 오류가 나는 경우가 많다고 한다.
따라서 사용자 계정을 추가한 후 관리자 권한이 필요할 때만 sudo를 사용하여 권한 부여하는 것이 좋다.
ubuntu config --default-user <기존사용자명>

참고 블로그 심량 님

Docker01. 도커란?

데브플레이버 — Tue, 25 Apr 2023 10:38:34 +0900

리눅스 컨테이너에 여러 기능을 추가함으로써 애플리케이션을 컨테이너로서 좀 더 쉽게 사용할 수 있게 만들어진 오픈소스 프로젝트

도커 프로젝트
- Docker Compose
- Private Registry
- Docker Machine
- Kitematic
- Docker Engine
- 컨테이너를 생성하고 관리하는 주체로서 이 자체로도 컨테이너를 제어할 수 있고 다양한 기능을 제공하는 도커의 주 프로젝트
- 도커의 생태계에 있는 여러 프로젝트들은 도커 엔진을 좀 더 효율적으로 사용하기 위한 것에 불과하기 때문에 핵심이 되는 것은 도커 엔진이다.

가상머신과 도커 컨테이너

가상머신

기존의 가상화 기술은 하이퍼바이저를 이용해 여러 개의 운영체제를 하나의 호스트에 생성해 사용하는 방식
여러 개의 운영체제는 가상 머신이라는 단위로 구별되고, 각 머신에 우분투, CentOS등의 운영체제가 설치
하이퍼바이저에 의해 생성되고 관리되는 운영체제는 게스트 운영체제라고 하고, 다른 게스트 운영체제와는 완전히 독립된 공간과 시스템 자원을 할당 받아 사용
각종 시스템 자원을 가상화하고 독립된 공간을 생성하는 작업은 하이퍼바이저를 반드시 거치기 때문에 일반 호스트에 비해 성능의 손실이 발생함
또한 가상 머신을 배포하기 위한 이미지로 만들었을 때 이미지의 크기가 큰 단점이 있음

도커 컨테이너

도커 컨테이너는 가상화된 공간을 생성하기 위해 리눅스의 자체 기능인 chroot, 네임스페이스, cgroup을 사용함으로써 프로세스 단위의 격리 환경을 만들기 때문에 성능 손실이 거의 없음
컨테이너에 필요한 커널은 호스트의 커널을 공유해 사용하고, 컨테이너 안에는 애플리케이션을 구동하는 데 필요한 라이브러리 및 실행 파일만 존재하기 때문에 컨테이너를 이미지로 만들었을 때 이미지의 용량 또한 가상머신에 비해 매우 작음

도커의 장점

애플리케이션의 개발과 배포가 편하다.
- 컨테이너 내부에서 여러 작업을 마친 뒤 이를 운영 환경에 배포하려고 한다면, 해당 컨테이너를 도커 이미지라고 하는 일종의 패키지로 만들어 운영 서버에 전달하기만 하면 된다
여러 애플리케이션의 독립성과 확장성이 높아진다.
- 소프트웨어의 여러 모듈이 상호 작용하는 로직을 하나의 프로그램 내에서 구동시키는 방식을 모놀리스 애플리케이션이라고 한다.
- 모놀리스는 소규모 서비스에는 적합하지만 확장성과 유연성은 포기해야 한다는 단점
- 모놀리스를 대체할 수 있는 방식이 마이크로서비스 구조
- 컨테이너는 마이크로서비스 구조에서 가장 많이 사용되고 있는 가상화 기술이다.

도커의 기본 단위 : 이미지 / 컨테이너

도커이미지
- 이미지는 컨테이너를 생성할 때 필요한 요소이며, 가상머신을 생성할 때 사용하는 iso 파일과 비슷한 개념
- 이미지는 여러 개의 계층으로 된 바이너리 파일로 존재하고, 컨테이너를 생성하고 실행할 때 읽기 전용으로 사용
- 이미지는 도커 명령어로 내려 받을 수 있으므로 별도로 설치할 필요는 없음
도커 컨테이너
- 아파치 웹, nginx, mysql, 하둡, 스파크등의 도커 이미지가 있다.
- 이러한 이미지로 컨테이너를 생성하면 해당 이미지의 목적에 맞는 파일이 들어 있는 파일시스템과 격리된 시스템 자원 및 네트워크를 사용할 수 있는 독립된 공간이 생성
  - 도커 프로젝트
    - Docker Compose
    - Private Registry
    - Docker Machine
    - Kitematic
    - Docker Engine
    - 컨테이너를 생성하고 관리하는 주체로서 이 자체로도 컨테이너를 제어할 수 있고 다양한 기능을 제공하는 도커의 주 프로젝트
    - 도커의 생태계에 있는 여러 프로젝트들은 도커 엔진을 좀 더 효율적으로 사용하기 위한 것에 불과하기 때문에 핵심이 되는 것은 도커 엔진이다.
  가상머신과 도커 컨테이너가상머신
  - 기존의 가상화 기술은 하이퍼바이저를 이용해 여러 개의 운영체제를 하나의 호스트에 생성해 사용하는 방식
  - 여러 개의 운영체제는 가상 머신이라는 단위로 구별되고, 각 머신에 우분투, CentOS등의 운영체제가 설치
  - 하이퍼바이저에 의해 생성되고 관리되는 운영체제는 게스트 운영체제라고 하고, 다른 게스트 운영체제와는 완전히 독립된 공간과 시스템 자원을 할당 받아 사용
  - 각종 시스템 자원을 가상화하고 독립된 공간을 생성하는 작업은 하이퍼바이저를 반드시 거치기 때문에 일반 호스트에 비해 성능의 손실이 발생함
  - 또한 가상 머신을 배포하기 위한 이미지로 만들었을 때 이미지의 크기가 큰 단점이 있음
  도커 컨테이너
  - 도커 컨테이너는 가상화된 공간을 생성하기 위해 리눅스의 자체 기능인 chroot, 네임스페이스, cgroup을 사용함으로써 프로세스 단위의 격리 환경을 만들기 때문에 성능 손실이 거의 없음
  - 컨테이너에 필요한 커널은 호스트의 커널을 공유해 사용하고, 컨테이너 안에는 애플리케이션을 구동하는 데 필요한 라이브러리 및 실행 파일만 존재하기 때문에 컨테이너를 이미지로 만들었을 때 이미지의 용량 또한 가상머신에 비해 매우 작음
  - 애플리케이션의 개발과 배포가 편하다.
    - 컨테이너 내부에서 여러 작업을 마친 뒤 이를 운영 환경에 배포하려고 한다면, 해당 컨테이너를 도커 이미지라고 하는 일종의 패키지로 만들어 운영 서버에 전달하기만 하면 된다
  - 여러 애플리케이션의 독립성과 확장성이 높아진다.
    - 소프트웨어의 여러 모듈이 상호 작용하는 로직을 하나의 프로그램 내에서 구동시키는 방식을 모놀리스 애플리케이션이라고 한다.
    - 모놀리스는 소규모 서비스에는 적합하지만 확장성과 유연성은 포기해야 한다는 단점
    - 모놀리스를 대체할 수 있는 방식이 마이크로서비스 구조
    - 컨테이너는 마이크로서비스 구조에서 가장 많이 사용되고 있는 가상화 기술이다.
  도커의 기본 단위 : 이미지 / 컨테이너
  - 도커이미지
    - 이미지는 컨테이너를 생성할 때 필요한 요소이며, 가상머신을 생성할 때 사용하는 iso 파일과 비슷한 개념
    - 이미지는 여러 개의 계층으로 된 바이너리 파일로 존재하고, 컨테이너를 생성하고 실행할 때 읽기 전용으로 사용
    - 이미지는 도커 명령어로 내려 받을 수 있으므로 별도로 설치할 필요는 없음
  - 도커 컨테이너
    - 아파치 웹, nginx, mysql, 하둡, 스파크등의 도커 이미지가 있다.
    - 이러한 이미지로 컨테이너를 생성하면 해당 이미지의 목적에 맞는 파일이 들어 있는 파일시스템과 격리된 시스템 자원 및 네트워크를 사용할 수 있는 독립된 공간이 생성

Git08.깃 작업 되돌리기

데브플레이버 — Mon, 24 Apr 2023 09:51:46 +0900

스테이지에 올렸던 파일을 내리기, 커밋 취소등 각 단계로 돌아가는 방법.

작업 트리에서 수정한 파일 되돌리기 git checkout — 파일이름

vim hello.txt 수정 →

2. git checkout — hello.txt → git checkout — + 수정을취소할 파일 이름.

3. cat hello.txt 를 이용하여 파일내용을 확인

스테이징 되돌리기 git reset HEAD 파일 이름

vim hello2.txt 이후 파일을 수정 → modified위를 보면 restore가 있다.

2. git reset HEAD hello2. txt

unstaged가 되었다.

특정 커밋으로 되돌리기 git reset 커밋 해시

특정 커밋으로 되돌릴때는 명령 다음에 커밋 해시를 사용한다.

vim rev.txt → git add rev.txt → 수정 git commit -a -m “R2” … R4 까지 커밋을 한다.

2. R2메세지가 있는 커밋을 최신 커밋으로 만들 것이다.

3. 먼저 git log를 통해 commit의 해시를 찾고 선택한다, 마우스 우클릭 copy

4. $ git reset —hard 커밋해시

5. $ git log를 확인하면 R2가 최신로그가 된다.

커밋 삭제하지 않고 되돌리기. git revert + 커밋해시

추가로 남겨둘 내용이 있다면 입력하고 저장.

커밋은 삭제되지 않고 내용은 사라진 것을 확인 할 수 있다.

「위 글은 Do it! 지옥에서 온 문서관리자 깃&깃허브 입문을 바탕으로 실습하였습니다.」

Git.07 버전 만드는 단계마다 파일 상태 알아보기

데브플레이버 — Sun, 23 Apr 2023 02:38:19 +0900

깃은 버전을 만드는 각 단계마다 파일 상태를 다르게 표시한다.

따라서 파일의 상태를 이해하면 파일 버전관리중 어느 단계, 어떤 일을 하는지를 알 수 있다.

tracked 파일과 untracked 파일

먼저 hello.txt 파일을 수정
hello2.txt 파일을 생성
$ git status 확인

위의 결과 두 파일 모두 작업 트리에 있다.

이전에 커밋했었던 파일은 changes not staged for commit: 이라고 되어있다.

→ 즉, 변경된 파일이 아직 스테이지에 올라가지 않았다.

그리고 modified가 파일명 앞에 적혀있다. → 파일이 수정되었다.

작업트리에 올리기 git add ……..

작업트리에 올린 파일을 커밋한다. → 메세지를 넣으면 작업트리에 올려놓은 모든 파일 같이 커밋되는듯.

위와같이 git log를 실행하였을때 각 커밋에 어떤 파일들이 관련된 것인지 알 수 없다.

—stat 옵션을 사용하여 커밋에 관련된 파일까지 확인

$ git log —stat

만약 로그메세지가 너무 많으면 한 화면씩 나누어 보여줌.

enter를 누르면 다음 로그화면을 볼 수 있고, Q을 밖으로 빠져나온다.

.gitignore 파일 버전 관리에서 제외하기

버전관리를 하지 않을 파일 혹은 디렉터리가 있다면 vim 을 통해 .gitignore 파일을 만든 후, 버전 관리를 하지 않을 파일 또는 디렉터리 이름이나 파일 확장자를 입력하면 된다.

ex) 자동으로 생성된 swp파일, 백업파일 등.

unmodified, modified, staged 상태

깃의 커밋 과정 중에서 tracked 파일의 상태 확인

ls -al

2. git status → 수정되지 않은 상태인 것을 확인.

3. hello2.txt를 vim hello2.txt로 수정후 파일 편집기를 종료하고, 깃 상태를 확인하면

4. hello2.txt를 git add를 통해 스테이지에 추가, git commit -m을 통해 커밋.

tip. 방금 커밋한 메세지 수정하기

$ git commit —amend

deleteb,c,d로 되어있던것을 delete b,c,d로 수정완료

「위 글은 Do it! 지옥에서 온 문서관리자 깃&깃허브 입문을 바탕으로 실습하였습니다.」

전국 음식점 데이터 전처리

데브플레이버 — Thu, 20 Apr 2023 00:59:30 +0900

행정안전부_일반음식점 데이터를 기준으로 데이터 정리를 해보았다.

먼저 판다스를 이용하여 파일을 로드했다

정부 관련 파일들은 대부분 인코딩 형식이 cp949이다.

encoding='cp949'를 추가한다.

import pandas as pd

df = pd.read_csv("./fulldata_07_24_04_P_일반음식점.csv", encoding='cp949')

데이터 프레임은 206만 123개의 row가 있다.

전국 음식관련 업종이 206만여개가 있다는 뜻이다.

하지만 영업상태명을 보았을때 폐업이 있는 것으로 보아 현재 영업중인 파일만 출력하기로 한다.

# 폐업구분

df = df.query("영업상태명!='폐업'")

영업상태명컬럼에서 폐업이 아닌 데이터만 남긴다.

2,060,123 rows -> 691,795 rows 약 1/3의 데이터 드롭

# 컬럼 정리

불러온 데이터 프레임의 컬럼을 본다면 실제로 결측치인 경우가 많다.

필요 없는 데이터와 함께 계속 데이터 프레임을 확인하며 데이터 프레임을 드롭한다.

df = df.drop(['인허가일자', '인허가취소일자', '영업상태구분코드','시설총규모','소재지전화'], axis=1)

df = df.drop(['위생업태명', '남성종사자수', '여성종사자수', '영업장주변구분명',

'등급구분명', '급수시설구분명', '총직원수', '본사직원수', '공장사무직직원수', '공장판매직직원수', '공장생산직직원수',

'건물소유구분명',], axis=1)

df = df.drop(['홈페이지','Unnamed: 47','개방서비스아이디', '폐업일자', '휴업시작일자', '휴업종료일자', '재개업일자'], axis=1)

df = df.drop(['소재지면적', '소재지우편번호','데이터갱신구분','개방서비스명','관리번호', '상세영업상태코드', '도로명우편번

호'], axis=1)

df = df.drop(['번호','상세영업상태명','영업상태명'], axis=1)

# 지자체 기준으로 정렬

해당 데이터는 개방자치단체코드라는 컬럼으로 각 지자체 라벨링이 되어있다.

df_label = df['개방자치단체코드'].unique()

len(df_label)

len 을 이용하여 df_label의 개수를 확인하여보면 229개로 나온다.

기초지자체의 개수를 확인하여 보니 229개가 맞다.

# 데이터 재정렬

기초지자체를 기준으로 파일을 따로 관리하고자 한다.

따라서 쉽게 정리하기 위해 개방자치단체코드를 기준으로 재정렬한다.

df_sorted = df.sort_values(by='개방자치단체코드')

# csv파일로 출력

from tqdm import tqdm

dfs = []

for code in df['개방자치단체코드'].unique():

temp = df_sorted[df_sorted['개방자치단체코드'] == code]

dfs.append(temp)

# 생성된 데이터프레임 출력하기

for i, df_temp in tqdm(enumerate(dfs), total=len(dfs)):

filename = f"{df_temp['개방자치단체코드'].iloc[0]}.csv" # 파일명을 개방자치단체코드로 지정

df_temp.to_csv(filename, index=False) # 인덱스를 저장하지 않음

먼저 변환 과정이 얼마나 시간이 걸리는지를 확인하기 위하여 tqdm모듈을 임포트 하였다.

dfs 라는 빈 리스트를 만들고. 229개의 개방자치단체 코드와 일치하면 정렬된 파일을 리스트에 추가한다.

df_sorted['개방자치단체코드'] == code

일때 temp에 해당 컬럼들을 temp로 정의해놓고

dfs 리스트에 추가한다.

csv 파일로 저장한 결과 글자가 다 깨졌다.

# 인코딩 형식 지정

정부 csv 파일은 대부분 cp949 이다.

인코딩형식을 지정하지 않아서 발생하는 것으로 utf-8-sig로 설정하면 위와 같은 문제를 해결 할 수 있다.

01 인공지능,머신러닝, 딥러닝

데브플레이버 — Wed, 19 Apr 2023 18:30:45 +0900

머신러닝

대표적인 라이브러리 : 사이킷 런 scikit-learn

딥러닝

인공신경망을 기반으로 한 방법들을 통칭 딥러닝

텐서플로 , 파이토치 라이브러리

마켓과 머신러닝

머신러닝에서 여러개의 종류 중 하나를 구별해 내는 문제를 분류라고 부른다.

2개의 클래스중 하나를 고르는 문제를 이진분류라고 한다.

생선의 길이, 무게와 같은 특징을 특성(feature)이라고 부른다.

길이를 x축으로하고 무게를 y축으로 정해서 그래프에 점으로 표시하는 것은 산점도라고 부른다.

산점도

파이썬에서 과학계산용 그래프를 그리는 대표적인 패키지는 맷플롯립 matplotlib이다.

산점도를 그리는 함수는 scatter( )

산점도 그래프가 일직선에 가까운 형태로 나타나는 경우를 선형(linear)적이라고 말한다.

맷플롯립에서 2개의 산점도를 한 그래프로 그리는 것은 scatter( ) 함수를 연달아 사용하면 된다.

k-최근접 이웃 알고리즘

zip( ) 함수와 for문을 사용.

from sklearn.neighbors import KNeighborsClassifier
kn=KNeighborsClassifier()

KNeighborsClassifier 클래스의 객체를 먼저 만든다.
data와 target을 전달하여 기준을 학습시킨다. (모델에 데이터를 전달하여 규칙을 학습하는 과정을 훈련이라고함)
kn.fit(fish_data, fish_target)
kn.score(fish_data, fish_target)

fit() 메서드는 주어진 데이터로 알고리즘을 훈련.

score() 메서드는 모델을 평가하는 메서드. → 0~1사이의 값을 반환한다.

정확도(accuracy)를 score로 가늠이 가능하다.

k최근접이웃 알고리즘은 어떤 데이터에 대한 답을 구할 때 주위의 다른 데이터를 보고 다수를 답으로
→ 즉, 주위의 데이터로 현재 데이터를 판단한다.

kn.predict([[30,600]])

predict 메서드는 새로운 데이터의 정답을 예측. fit( )메서드와 마찬가지로 리스트의 리스트를 전달해야한다.

KNeighborsClassfier 클래스의 기본 값은 5이지만 n_neighbors 매개변수로 바꿀 수 있다.

kn49 = KNeighborsClassifier(n_neighbors=49)

문제

데이터를 표현하는 하나의 성질, 국가 데이터의 경우 인구 수, GDP, 면적 등이 하나의 국가를 나타낸다 머신러닝에서 이런 성질을 무엇이라고하는가?
⇒ 특성
가장 가까운 이웃을 참고하여 정답을 예측하는 알고리즘이 구현된 사이킷런 클래스는 무엇인가?
⇒KNeighborsClassifier k 최근접이웃
사이킷런 모델을 훈련할 때 사용하는 메서드는?
⇒ fit()

정규식의 사용

데브플레이버 — Mon, 17 Apr 2023 14:18:28 +0900

정규식의 필요성

최근 파이썬 크롤링을 진행하며 막히는 점이 데이터 전처리 과정인데 이를 해결하기 위해서는 정규식을 정확히 사용할 줄 알아야 한다고 느꼈다.

정규식이란?

문자열을 처리하기 위한 패턴으로, 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용된다. 주로 문자열의 검색, 추출, 대체, 분리 등의 작업에 활용한다.

정규식의 사용법

정규식은 다양한 메타문자(meta-character)와 문자 클래스(character class)를 사용하여 구성된다.

메타문자란?

메타문자는 특별한 의미를 가지는 문자로, 대표적으로 . ^ $ * + ? { } \ | 등이 있다.

문자 클래스란?

문자 클래스는 대괄호[ ] 안에 포함된 문자나 문자열 집합을 의미하며, 여러 문자 중에서 하나를 선택하는 기능을 한다. 대표적으로 [0-9]나 [a-zA-Z] 등이 있다.

파이썬에서 정규식 사용법

먼저 파이썬에서 정규식은 re모듈을 활용하여 사용할 수 있다.

re 모듈은 match(), search(), findall() 등의 함수를 제공하며 정규식 패턴을 활용한 문자열 처리를 수행할 수 있다.

예를 들어, 다음은 문자열 'apple'이 정규식 패턴 'ap.e'와 일치하는지를 확인할 수 있다.

—mixed HEAD^	최근 커밋 과 스테이징을 하기 전 상태로 작업 트리를 되돌린다. 옵션 없이 git reset 명령을 사용할 경우 기본 옵션
—hard HEAD^	최근 커밋과 스테이징, 파일 수정을 하기 전 상태로 작업 트리를 되돌린다. 되돌린 내용은 복구 불가.