파이썬으로 데이터 주무르기 ch.4

4장 - 셀프 주유소는 정말 저렴할까¶

이번 장에서는 아주 간단한 질문에 답하는 것을 함꼐 해보려 한다. 누군가 셀프 주유소는 정말 저렴한가? 에 대해 물었다면 데이터를 만지는 사람들은 어떻게 할까? 답은 바로 주유소의 가격을 조사해서 셀프 주유소와 아닌 주유소를 구분해서 비교하면 된다. 앞서 우리는 BeautifulSoup를 사용했다. 그걸로도 많은 일을 할 수 있다. 하지만 몇가지 문제로 인해 BeautifulSoup만으로는 접근할 수 없는 인터넷 정보가 있다. 그래서 사용하는 것이 바로 Selenium 이다. 우선 주유소의 가격을 비교하는 정부 사이트인 Opninet에 접속해서 정보를 모아야 한다.

In [25]:

from selenium import webdriver

먼저 selenium 에서 webdriver를 import 한다. 그리고 네이버(www.naver.com)에 접속해 보자.

In [26]:

driver = webdriver.Chrome('C:/Users/이재윤/Downloads/chromedriver_win32/chromedriver')
driver.get("http://naver.com")

위처럼 네이버에 접속을 하면 'chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다' 라는 문구와 함께 웹 브라우저가 또 하나 떠 있을 텐데, 저 웹 브라우저는 우리가 코드로 움직일 브라우저이다. 그래서 가급적 우리가 생성한 크롬 브라우저는 손으로 조작하면 안된다. 코드를 작성할 때 혼선이 생길 수 있다. 별도로 네이버창을 하나 더 열어서 작업하자.

In [29]:

driver.save_screenshot('C:/Users/이재윤/images/001.jpg')

Out[29]:

True

selenium은 save_screenshot 명령으로 화면을 캡처할 수 있다.

In [38]:

elem_login = driver.find_element_by_id("id")
elem_login.clear()
elem_login.send_keys("wodbsdbsk")

elem_login = driver.find_element_by_id("pw")
elem_login.clear()
elem_login.send_keys("sorkwodbs1!")

네이버에 로그인 정보를 입력하는 곳이 있다. 크롬 드라이버로 네이버에 로그인하고 싶다면 당연히 id와 비밀번호를 입력해야 한다. 개발자 도구를 이용해서 id와 비밀번호를 입력하는 부분의 html 소스 코드를 확인해 보면 id= 라는 항목에 id 혹은 pw 라고 되어있다. selenium이 제공하는 명령 중 find_element_by_id 를 이용해서 id와 pw를 찾으면 된다. 위 코드를 치면 로그인 정보가 입력되어 있을 것이다.

그런 후에 로그인 개발자 도구로 로그인 버튼 쪽을 클릭하면 특정 코드가 하이라이트 되어 있을 것이다. 그곳에서 마우스 오른쪽 버튼을 클릭 후 copy 항목으로 가서 copy xpath를 선택하면 로그인 버튼의 xpath를 복사할 수 있다.

In [39]:

xpath = '''//*[@id="frmNIDLogin"]/fieldset/input'''
driver.find_element_by_xpath(xpath).click()

그리고 위 코드를 작성하면서 방금 복사한 xpath를 xpath = 뒤에 붙여 넣기 하면 된다. 이렇게 로그인을 한 후 메일(mail.naver.com)에 접근해 보자.

In [40]:

driver.get("http://mail.naver.com")

원하는 곳으로 이동 했다면 Beautiful Soup를 이용해서 페이지 내용을 읽어오게 된다.

In [48]:

from bs4 import BeautifulSoup

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')

driver.page_source를 사용하면 현재 selenium이 접근한 페이지의 소스를 넘겨 받을 수 있다.

이제 크롬 개발자 도구를 이용해서 메일을 보낸 사람이 나타나는 곳의 태그를 확인해두자.

In [50]:

raw_list = soup.find_all('div', 'name _ccr(lst.from)')
raw_list

Out[50]:

[<div class="name _ccr(lst.from)"><span class="blind">보낸 이:</span><a class="_c1(myContextMenu|showSenderContextLayer|list|4) _stopDefault" href="#" title='"네이버메일" &lt;navermail_noreply@navercorp.com&gt;'>네이버메일</a></div>,
 <div class="name _ccr(lst.from)"><span class="blind">보낸 이:</span><a class="_c1(myContextMenu|showSenderContextLayer|list|3) _stopDefault" href="#" title="&lt;no_reply@its-lil.com&gt;">no_reply@its-lil.com</a></div>,
 <div class="name _ccr(lst.from)"><span class="blind">보낸 이:</span><a class="_c1(myContextMenu|showSenderContextLayer|list|2) _stopDefault" href="#" title='"네이버" &lt;webmaster@naver.com&gt;'>네이버</a></div>,
 <div class="name _ccr(lst.from)"><span class="blind">보낸 이:</span><a class="_c1(myContextMenu|showSenderContextLayer|list|1) _stopDefault" href="#" title='"네이버" &lt;webmaster@naver.com&gt;'>네이버</a></div>]

위처럼 find_all 명령을 사용하면 된다.

In [51]:

send_list = [raw_list[n].find('a').get_text() for n in range(0, len(raw_list))]
send_list

Out[51]:

['네이버메일', 'no_reply@its-lil.com', '네이버', '네이버']

손쉽게 메일을 보낸 사람의 리스트를 확보할 수 있다. 이제 크롬 드라이버를 닫아야 한다.

In [52]:

driver.close()

close()명령을 이용해서 실행된 크롬 드라이버를 종료할 수 있다.

4-2 서울시 구별 주유소 가격 정보 얻기¶

앞에서 배운 selenium 지식으로 https://goo.gl/VH1A5t 에 접속해서 서울시 구별 주유소 정보를 받아오자.

In [53]:

from selenium import webdriver

In [55]:

driver = webdriver.Chrome('C:/Users/이재윤/Downloads/chromedriver_win32/chromedriver')
driver.get('http://www.naver.com')

In [57]:

driver.get('http://www.opinet.co.kr/searRgSelect.do')

우리는 서울시만 검색할 것이니 가만히 두고, 처음에 나타나는 구에 종로구 라는 글자가 있는 부분은 바꿔줘야 한다. 리스트 박스 형태로 되어 있어서 해당 리스트의 내용을 받아와서 순차적으로 반환해주면 된다.

In [59]:

gu_list_raw = driver.find_element_by_xpath('''//*[@id="SIGUNGU_NM0"]''')
gu_list = gu_list_raw.find_elements_by_tag_name('option')

크롬 개발자 도구를 이용해서롬 개발자 도구를 이용해서 구 이름이 위치하는 곳을 클릭하면 나타나는 우측 코드에 마우스 오른쪽 버튼으로 Xpath를 복사하기를 하면 된다. 그렇게 확보한 xpath를 이용해서 element를 찾고 gu_list_raw 변수에 저장한다. 구 리스트는 find_elements_by_tag_name으로 option이라는 태그를 찾으면 된다.

In [60]:

gu_names = [option.get_attribute("value") for option in gu_list]
gu_names.remove('')
gu_names

Out[60]:

['강남구',
 '강동구',
 '강북구',
 '강서구',
 '관악구',
 '광진구',
 '구로구',
 '금천구',
 '노원구',
 '도봉구',
 '동대문구',
 '동작구',
 '마포구',
 '서대문구',
 '서초구',
 '성동구',
 '성북구',
 '송파구',
 '양천구',
 '영등포구',
 '용산구',
 '은평구',
 '종로구',
 '중구',
 '중랑구']

그렇게 얻은 결과가 나타난다. 구 이름을 전체적으로 다 알았다. 구 이름이 있는 태그에 위 코드에서 저장한 gu_names에서 첫 번째 것을 한번 시험 삼아 입력하자.

In [63]:

element = driver.find_element_by_id("SIGUNGU_NM0")
element.send_keys(gu_names[0])

In [65]:

driver.save_screenshot('C:/Users/이재윤/images/002.jpg')

Out[65]:

True

그러면 구 이름부분이 변경된 것을 알 수 있다. 그리고 조회 버튼을 누르면 된다. 조회 버튼의 xpath도 알아낼 수 있다.

In [68]:

xpath ='''//*[@id="searRgSelect"]/span'''
element_sel_gu = driver.find_element_by_xpath(xpath).click()

그리고 해당 xpath를 찾아서 click()을 붙여 주면 된다. 결과가 나타난 곳 아래에 엑셀저장 버튼을 눌러서 엑셀로 내용을 저장해야 한다. 지금까지 한 것처럼 xpat를 알아내서 엑셀 저장 버튼을 누른다.

In [75]:

xpath = """//*[@id="glopopd_excel"]/span"""
element_get_excel = driver.find_element_by_xpath(xpath).click()

이렇게 엑셀로 저장 버튼까지 누르고 나면 당연히 크럼 드라이버가 실행하는 브라우저가 지정된 다운로드 폴더에 파일을 다운로드 한다.

In [79]:

import time
from tqdm import tqdm_notebook

for gu in tqdm_notebook(gu_names):
    element = driver.find_element_by_id('SIGUNGU_NM0')
    element.send_keys(gu)
    
    time.sleep(2)
    
    xpath ='''//*[@id="searRgSelect"]/span'''
    element_sel_gu = driver.find_element_by_xpath(xpath).click()
    
    time.sleep(1)
    
    xpath = '''//*[@id="glopopd_excel"]/span'''
    element_get_excel = driver.find_element_by_xpath(xpath).click()
    
    time.sleep(1)

<ipython-input-79-da81b98703dc>:4: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0
Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`
  for gu in tqdm_notebook(gu_names):

이제 서울시 25개 구에 대해 반복문을 수행하면 된다.적절히 중간중간에 기다리라는 time.sleep 명령을 사용했고 25개 구에 대한 주유소 기름값을 저장한 엑셀파일이 다운로드 폴더에 저장된다.

In [81]:

driver.close()

4-3 구별 주유 가격에 대한 데이터의 정리¶

앞서 받은 25개의 엑셀 파일을 우리가 다루는 data 폴더로 옮긴다. 이전에 배운 엑셀 파일을 read하는 명령으로 하나하나 읽으면 25줄을 입력해야 하지만 파이썬에는 이를 해결해줄 좋은 모듈이 있다. pandas와 파일 glob 라고 하는 파일 경로등을 쉽게 접근할 수 있게 해주는 모듈을 import 하자.

In [36]:

import pandas as pd
from glob import glob

In [37]:

glob('C:/Users/이재윤/DataScience/data/지역*xls')

Out[37]:

['C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (1).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (10).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (11).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (12).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (13).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (14).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (15).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (16).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (17).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (18).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (19).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (2).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (20).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (21).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (22).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (23).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (24).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (3).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (4).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (5).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (6).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (7).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (8).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (9).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소).xls']

위와 같이 ./data 폴더 안에 지역으로 시작하는 xls 파일 전체를 의미하는 ../data/지역*.xls과 같은 명령을 사용할 수 있다.

In [38]:

stations_files = glob('C:/Users/이재윤/DataScience/data/지역*xls')
stations_files

Out[38]:

['C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (1).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (10).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (11).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (12).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (13).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (14).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (15).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (16).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (17).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (18).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (19).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (2).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (20).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (21).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (22).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (23).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (24).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (3).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (4).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (5).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (6).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (7).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (8).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소) (9).xls',
 'C:/Users/이재윤/DataScience/data\\지역_위치별(주유소).xls']

이제 station_files 변수에 각 엑셀 파일의 경로와 이름을 리스트로 저장한다.

In [39]:

tmp_raw = []

for file_name in stations_files:
    tmp = pd.read_excel(file_name, header=2)
    tmp_raw.append(tmp)
    
station_raw = pd.concat(tmp_raw)

그리고 read_excel로 각 파일을 반복문을 이용해서 읽은 후 tml_raw 변수에 append 시킨다. 반복문이 끝나고 나면 concat 명령으로 쉽게 하나로 합칠 수 있다.

In [40]:

station_raw.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 537 entries, 0 to 45
Data columns (total 10 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   지역      537 non-null    object
 1   상호      537 non-null    object
 2   주소      537 non-null    object
 3   상표      537 non-null    object
 4   전화번호    537 non-null    object
 5   셀프여부    537 non-null    object
 6   고급휘발유   537 non-null    object
 7   휘발유     537 non-null    object
 8   경유      537 non-null    object
 9   실내등유    537 non-null    object
dtypes: object(10)
memory usage: 46.1+ KB

총 545개의 주유소 정보가 저장된 것을 알 수 있다. 하지만 가격 정보가 숫자형(int, float)이 아니어서 나중에 처리하자.

In [41]:

station_raw.head()

Out[41]:

	지역	상호	주소	상표	전화번호	셀프여부	고급휘발유	휘발유	경유	실내등유
0	서울특별시	오렌지주유소	서울 강동구 성안로 102 (성내동)	SK에너지	02-484-6165	N	-	1554	1354	997
1	서울특별시	구천면주유소	서울 강동구 구천면로 357 (암사동)	현대오일뱅크	02-441-0536	N	-	1556	1355	-
2	서울특별시	GS칼텍스㈜직영 신월주유소	서울 강동구 양재대로 1323 (성내동)	GS칼텍스	02-475-2600	N	1855	1559	1349	1000
3	서울특별시	광성주유소	서울 강동구 올림픽로 673 (천호동)	S-OIL	02-470-5133	N	-	1578	1388	1100
4	서울특별시	(주)소모에너지엔테크놀러지성내주유소	서울 강동구 올림픽로 578 (성내동)	GS칼텍스	02-479-3838	Y	-	1588	1388	-

In [42]:

stations = pd.DataFrame({'Oil_store': station_raw['상호'],
                         '주소': station_raw['주소'],
                         '가격': station_raw['휘발유'],
                         '셀프': station_raw['셀프여부'],
                         '상표': station_raw['상표']
                        })
stations.head()

Out[42]:

	Oil_store	주소	가격	셀프	상표
0	오렌지주유소	서울 강동구 성안로 102 (성내동)	1554	N	SK에너지
1	구천면주유소	서울 강동구 구천면로 357 (암사동)	1556	N	현대오일뱅크
2	GS칼텍스㈜직영 신월주유소	서울 강동구 양재대로 1323 (성내동)	1559	N	GS칼텍스
3	광성주유소	서울 강동구 올림픽로 673 (천호동)	1578	N	S-OIL
4	(주)소모에너지엔테크놀러지성내주유소	서울 강동구 올림픽로 578 (성내동)	1588	Y	GS칼텍스

위 처럼 원하는 컬럼만 가지고 오고 이름도 다시 정의해서 stations 라는 변수에 저장하자.

여기에 추가로 주소에서 구 이름만 추출한다. 그래서 구별 주유 가격도 조사하자.

In [43]:

stations['구'] = [eachAddress.split()[1] for eachAddress in stations['주소']]
stations.head()

Out[43]:

	Oil_store	주소	가격	셀프	상표	구
0	오렌지주유소	서울 강동구 성안로 102 (성내동)	1554	N	SK에너지	강동구
1	구천면주유소	서울 강동구 구천면로 357 (암사동)	1556	N	현대오일뱅크	강동구
2	GS칼텍스㈜직영 신월주유소	서울 강동구 양재대로 1323 (성내동)	1559	N	GS칼텍스	강동구
3	광성주유소	서울 강동구 올림픽로 673 (천호동)	1578	N	S-OIL	강동구
4	(주)소모에너지엔테크놀러지성내주유소	서울 강동구 올림픽로 578 (성내동)	1588	Y	GS칼텍스	강동구

위 출력을 보면 주소 컬럼의 주소를 봤을 때 빈 칸을 기준으로 분리(split) 시키고 두 번째 단어를 선택하면 구 이름이 될 것 같다.

일단 head()만 조사했을 때는 이상 없어 보이지만 5백여 개나 되는 데이터를 다 보기에는 난감하다. 이때는 unique() 검사를 수행하자.

In [44]:

stations['구'].unique()

Out[44]:

array(['강동구', '동대문구', '동작구', '마포구', '서대문구', '서초구', '성동구', '서울특별시', '성북구',
       '송파구', '양천구', '영등포구', '강북구', '용산구', '은평구', '종로구', '중구', '중랑구',
       '강서구', '관악구', '광진구', '구로구', '금천구', '노원구', '도봉구', '특별시', '강남구'],
      dtype=object)

결과를 보면 '서울특별시'와 '특별시'라는 항목이 구 이름이 아닌데 들어 있다는 것을 확인할 수 있다.

In [45]:

stations[stations['구']=='서울특별시']

Out[45]:

	Oil_store	주소	가격	셀프	상표	구
12	SK네트웍스(주)효진주유소	1 서울특별시 성동구 동일로 129 (성수동2가)	1654	N	SK에너지	서울특별시

서울 특별시를 확인해보니 애초 주소가 입력될 때 알 수 없는 글자가 하나 들어가서 칸 수가 맞지 않았다.

In [46]:

stations.loc[stations['구']=='서울특별시','구'] = '성동구'
stations['구'].unique()

Out[46]:

array(['강동구', '동대문구', '동작구', '마포구', '서대문구', '서초구', '성동구', '성북구', '송파구',
       '양천구', '영등포구', '강북구', '용산구', '은평구', '종로구', '중구', '중랑구', '강서구',
       '관악구', '광진구', '구로구', '금천구', '노원구', '도봉구', '특별시', '강남구'],
      dtype=object)

위와 같이 직접 변경하자.

In [47]:

stations[stations['구']=='특별시']

Out[47]:

	Oil_store	주소	가격	셀프	상표	구
10	서현주유소	서울 특별시 도봉구 방학로 142 (방학동)	1524	Y	S-OIL	특별시

또 특별시로 되었던 것도 검색 했다. 이번엔 서울특별시라 적지 않고 서울과 특별시를 띄어쓰기를 해서 발생한 문제이다.

In [48]:

stations.loc[stations['구']=='특별시','구']= '도봉구'
stations['구'].unique()

Out[48]:

array(['강동구', '동대문구', '동작구', '마포구', '서대문구', '서초구', '성동구', '성북구', '송파구',
       '양천구', '영등포구', '강북구', '용산구', '은평구', '종로구', '중구', '중랑구', '강서구',
       '관악구', '광진구', '구로구', '금천구', '노원구', '도봉구', '강남구'], dtype=object)

In [49]:

stations[stations['가격']=='-']

Out[49]:

	Oil_store	주소	가격	셀프	상표	구
18	명진석유(주)동서울주유소	서울특별시 강동구 천호대로 1456 (상일동)	-	Y	GS칼텍스	강동구
33	하나주유소	서울특별시 영등포구 도림로 236 (신길동)	-	N	S-OIL	영등포구
12	(주)에이앤이청담주유소	서울특별시 강북구 도봉로 155 (미아동)	-	Y	SK에너지	강북구
13	송정주유소	서울특별시 강북구 인수봉로 185 (수유동)	-	N	자가상표	강북구

한 가지 문제가 더 있는데 바로 가격이 기록된 컬럼이 숫자형이 아니라는 것이다. 그래서 확인해 보니 가격이 기록되지 않은 경우 '-' 문자를 기입한 것 같다.

이 주유소들에 대해 우리가 가격을 일일이 확인할 수 없으니 가격 정보가 입력되지 않은 주유소는 대상에서 제외하자.

In [50]:

stations = stations[stations['가격'] != '-']
stations.head()

Out[50]:

	Oil_store	주소	가격	셀프	상표	구
0	오렌지주유소	서울 강동구 성안로 102 (성내동)	1554	N	SK에너지	강동구
1	구천면주유소	서울 강동구 구천면로 357 (암사동)	1556	N	현대오일뱅크	강동구
2	GS칼텍스㈜직영 신월주유소	서울 강동구 양재대로 1323 (성내동)	1559	N	GS칼텍스	강동구
3	광성주유소	서울 강동구 올림픽로 673 (천호동)	1578	N	S-OIL	강동구
4	(주)소모에너지엔테크놀러지성내주유소	서울 강동구 올림픽로 578 (성내동)	1588	Y	GS칼텍스	강동구

아직 가격 정보가 숫자형으로 변환되지는 않았다.

In [51]:

stations['가격'] = [float(value) for value in stations['가격']]

이제 변수 stations의 가격 컬럼은 float 형으로 변경되었다.

In [52]:

stations.reset_index(inplace=True)
del stations['index']

그리고 25개의 엑셀을 합쳤기 때문에 index가 중복될 수 있다. 그래서 reset_index 명령으로 처음부터 인덱스를 다시 기록하기로 한다. 그러면 index라는 컬럼이 하나 더 생성되는데 그 부분을 제거하자.

In [53]:

stations.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 533 entries, 0 to 532
Data columns (total 6 columns):
 #   Column     Non-Null Count  Dtype  
---  ------     --------------  -----  
 0   Oil_store  533 non-null    object 
 1   주소         533 non-null    object 
 2   가격         533 non-null    float64
 3   셀프         533 non-null    object 
 4   상표         533 non-null    object 
 5   구          533 non-null    object 
dtypes: float64(1), object(5)
memory usage: 25.1+ KB

이제 데이터가 어느정도 준비 되었다.

4-4 셀프 주유소는 정말 저렴한지 boxplot으로 확인하기¶

앞서 우리는 셀프 주유소가 정말 저렴한지 확인할 수 있는 데이터를 모두 준비했다. 이번엔 아주 간단하게 그래프를 통해 셀프 주유소가 저렴한지 확인하자.

In [54]:

# import platform
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

import platform 

from matplotlib import font_manager, rc
plt.rcParams['axes.unicode_minus'] = False
if platform.system() == 'Darwin':
    rc('font', family='AppleGothic')
elif platform.system() == 'Windows':
    path = "c:/Windows/Fonts/malgun.ttf"
    font_name = font_manager.FontProperties(fname=path).get_name()
    rc('font', family=font_name)
elif platform.system() == 'Linux':
    path = "/usr/share/fonts/NanumGothic.ttf"
    font_name = font_manager.FontProperties(fname=path).get_name()
    plt.rc('font', family=font_name)
else:
    print('Unknown system... sorry~~~~')

한글 문제를 해결하는 코드를 준비한다.

In [55]:

stations.boxplot(column='가격', by='셀프', figsize=(12,8));

boxplot으로 간편하게 셀프 컬럼을 기준으로 가격 분포를 확인할 수 있게 되었다. 전반적으로 셀프 주유소인 경우가 가격이 낮게 되어있다.

In [56]:

plt.figure(figsize=(12,8))
sns.boxplot(x="상표", y="가격", hue="셀프", data=stations, palette="Set3")
plt.show()

현대 오일뱅크,GS칼텍스,S-Oil,SK에너지 모두 셀프주유소가 저렴하다. SK에너지는 그중 가격대가 가장 높게 형성되어 있다.

In [57]:

plt.figure(figsize=(12,8))
sns.boxplot(x="상표",y="가격", data=stations, palette="Set3")
sns.swarmplot(x="상표", y="가격", data=stations, color=".6")
plt.show()

C:\Users\이재윤\AppData\Roaming\Python\Python39\site-packages\seaborn\categorical.py:1296: UserWarning: 5.6% of the points cannot be placed; you may want to decrease the size of the markers or use stripplot.
  warnings.warn(msg, UserWarning)
C:\Users\이재윤\AppData\Roaming\Python\Python39\site-packages\seaborn\categorical.py:1296: UserWarning: 5.5% of the points cannot be placed; you may want to decrease the size of the markers or use stripplot.
  warnings.warn(msg, UserWarning)

Swarmplot을 같이 그려보면 좀 더 확실히 데이터의 분포를 볼 수 있다. 셀프 주유소 말고 상표별 데이터를 확인했는데 SK에너지가 높은 가격대를 형성하는 주유소가 많았다. 전반적으로 현대오일뱅크가 4대 브랜드 중에서는 저렴하다는 것을 알 수 있다. 이렇게 해서 셀프 주유소는 대체로 저렴하다고 얘기할 수 있다. 여기서 더 나아가 서울시 구별 주유 가격, 서울에서 높은 가격의 주유손 낮은 가격의 주유소에 대해서도 확인해보자.

4-5 서울시 구별 주유 가격 확인하기¶

In [58]:

import json
import folium
import googlemaps
import warnings
warnings.simplefilter(action = "ignore", category = FutureWarning)

먼저 지도를 구하기 위해 필요한 모듈을 import를 한다. 이제 서울시에서 가장 주유 가격이 비싼 주유소를 보자

In [59]:

stations.sort_values(by='가격', ascending=False).head(10)

Out[59]:

	Oil_store	주소	가격	셀프	상표	구
325	서남주유소	서울 중구 통일로 30 (봉래동1가)	2132.0	N	SK에너지	중구
324	장충주유소	서울 중구 장충단로 202 (장충동1가)	2130.0	N	SK에너지	중구
124	양재주유소	서울 서초구 바우뫼로 178 (양재동)	2128.0	N	SK에너지	서초구
532	뉴서울(강남)	서울 강남구 언주로 716 (논현동)	2120.0	N	SK에너지	강남구
531	오천주유소	서울 강남구 봉은사로 503 (삼성동)	2107.0	N	SK에너지	강남구
313	재동주유소	서울특별시 종로구 율곡로 58 (경운동)	2106.0	N	SK에너지	종로구
285	청파주유소	서울특별시 용산구 청파로 311 (청파동1가)	2106.0	N	SK에너지	용산구
284	갈월동주유소	서울특별시 용산구 한강대로 322 (갈월동)	2106.0	N	SK에너지	용산구
283	강변주유소	서울특별시 용산구 원효로 9 (청암동)	2106.0	N	SK에너지	용산구
323	통일주유소	서울 중구 동호로 296 (장충동2가)	2106.0	N	SK에너지	중구

In [60]:

stations.sort_values(by='가격', ascending=True).head(10)

Out[60]:

	Oil_store	주소	가격	셀프	상표	구
83	만남의광장주유소	서울 서초구 양재대로12길 73-71 (원지동)	1490.0	N	알뜰(ex)	서초구
344	강서오곡셀프주유소	서울특별시 강서구 벌말로 254 (오곡동)	1497.0	Y	SK에너지	강서구
451	태릉솔밭주유소	서울특별시 노원구 노원로 49 (공릉동)	1497.0	Y	S-OIL	노원구
258	수유동주유소	서울특별시 강북구 도봉로 395 (수유동)	1498.0	Y	GS칼텍스	강북구
227	(주)강서오일	서울 영등포구 도신로 151 (도림동)	1499.0	N	현대오일뱅크	영등포구
225	도림주유소	서울 영등포구 도림로 343 (도림동)	1499.0	Y	알뜰주유소	영등포구
226	(주)대청에너지 대청주유소	서울 영등포구 가마산로 328 (대림동)	1499.0	N	GS칼텍스	영등포구
415	풀페이주유소	서울특별시 구로구 경인로 41 (온수동)	1499.0	N	SK에너지	구로구
326	신일셀프주유소	서울 중랑구 상봉로 58 (망우동)	1499.0	Y	SK에너지	중랑구
40	서경주유소	서울 동작구 대림로 46 (신대방동)	1499.0	N	현대오일뱅크	동작구

위에는 서울시에서 가장 낮은 주유 가격의 주유소이다.

pivot_table을 이용해 구별 가격 정보로 변경하고 가격은 평균값으로 정리하자.

In [61]:

import numpy as np
gu_data = pd.pivot_table(stations, index=['구'], values=['가격'],
                        aggfunc=np.mean)
gu_data.head()

Out[61]:

	가격
구
강남구	1791.000000
강동구	1656.722222
강북구	1534.333333
강서구	1576.428571
관악구	1603.055556

In [62]:

geo_path = 'C:/Users/이재윤/DataScience/data/02. skorea_municipalities_geo_simple.json'
geo_str = json.load(open(geo_path, encoding='utf-8'))

map = folium.Map(location=[37.5502, 126.982], zoom_start=10.5, 
                 tiles='Stamen Toner')

map.choropleth(geo_data = geo_str,
               data = gu_data,
               columns=[gu_data.index, '가격'],
               fill_color='PuRd', #PuRd, YlGnBu
               key_on='feature.id')
map

Out[62]:

Make this Notebook Trusted to load map: File -> Trust Notebook

이를 서울시 구별 정보에 대해 지도로 표현하자.

4-6 서울시 주유 가격 상하위 10개 주유소 지도에 표현하기¶

주유 가격 상위 10개 주유소를 oil_price_top10 이름으로 저장하자.

In [63]:

oil_price_top10 = stations.sort_values(by='가격', ascending=False).head(10)
oil_price_top10

Out[63]:

	Oil_store	주소	가격	셀프	상표	구
325	서남주유소	서울 중구 통일로 30 (봉래동1가)	2132.0	N	SK에너지	중구
324	장충주유소	서울 중구 장충단로 202 (장충동1가)	2130.0	N	SK에너지	중구
124	양재주유소	서울 서초구 바우뫼로 178 (양재동)	2128.0	N	SK에너지	서초구
532	뉴서울(강남)	서울 강남구 언주로 716 (논현동)	2120.0	N	SK에너지	강남구
531	오천주유소	서울 강남구 봉은사로 503 (삼성동)	2107.0	N	SK에너지	강남구
313	재동주유소	서울특별시 종로구 율곡로 58 (경운동)	2106.0	N	SK에너지	종로구
285	청파주유소	서울특별시 용산구 청파로 311 (청파동1가)	2106.0	N	SK에너지	용산구
284	갈월동주유소	서울특별시 용산구 한강대로 322 (갈월동)	2106.0	N	SK에너지	용산구
283	강변주유소	서울특별시 용산구 원효로 9 (청암동)	2106.0	N	SK에너지	용산구
323	통일주유소	서울 중구 동호로 296 (장충동2가)	2106.0	N	SK에너지	중구

역시 하위 10개에 대해서도 oil_price_bottom10에 저장하자

In [64]:

oil_price_bottom10 = stations.sort_values(by='가격', ascending=True).head(10)
oil_price_bottom10

Out[64]:

	Oil_store	주소	가격	셀프	상표	구
83	만남의광장주유소	서울 서초구 양재대로12길 73-71 (원지동)	1490.0	N	알뜰(ex)	서초구
344	강서오곡셀프주유소	서울특별시 강서구 벌말로 254 (오곡동)	1497.0	Y	SK에너지	강서구
451	태릉솔밭주유소	서울특별시 노원구 노원로 49 (공릉동)	1497.0	Y	S-OIL	노원구
258	수유동주유소	서울특별시 강북구 도봉로 395 (수유동)	1498.0	Y	GS칼텍스	강북구
227	(주)강서오일	서울 영등포구 도신로 151 (도림동)	1499.0	N	현대오일뱅크	영등포구
225	도림주유소	서울 영등포구 도림로 343 (도림동)	1499.0	Y	알뜰주유소	영등포구
226	(주)대청에너지 대청주유소	서울 영등포구 가마산로 328 (대림동)	1499.0	N	GS칼텍스	영등포구
415	풀페이주유소	서울특별시 구로구 경인로 41 (온수동)	1499.0	N	SK에너지	구로구
326	신일셀프주유소	서울 중랑구 상봉로 58 (망우동)	1499.0	Y	SK에너지	중랑구
40	서경주유소	서울 동작구 대림로 46 (신대방동)	1499.0	N	현대오일뱅크	동작구

In [65]:

gmap_key = "AIzaSyCkSfQUN2VCuFMbYkgJ7UpRz4NJGpgD-uU"
gmaps = googlemaps.Client(key=gmap_key)

In [66]:

from tqdm import tqdm_notebook

lat = []
lng = []

for n in tqdm_notebook(oil_price_top10.index):
    try:
        tmp_add = str(oil_price_top10['주소'][n]).split('(')[0]
        tmp_map = gmaps.geocode(tmp_add)
        
        tmp_loc = tmp_map[0].get('geometry')
        lat.append(tmp_loc['location']['lat'])
        lng.append(tmp_loc['location']['lng'])
        
    except:
        lat.append(np.nan)
        lng.append(np.nan)
        print('Here is nan !')
        
oil_price_top10['lat']=lat
oil_price_top10['lng']=lng
oil_price_top10

<ipython-input-66-dc0998aef091>:6: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0
Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`
  for n in tqdm_notebook(oil_price_top10.index):

Out[66]:

	Oil_store	주소	가격	셀프	상표	구	lat	lng
325	서남주유소	서울 중구 통일로 30 (봉래동1가)	2132.0	N	SK에너지	중구	37.558348	126.972090
324	장충주유소	서울 중구 장충단로 202 (장충동1가)	2130.0	N	SK에너지	중구	37.562719	127.007010
124	양재주유소	서울 서초구 바우뫼로 178 (양재동)	2128.0	N	SK에너지	서초구	37.478071	127.039610
532	뉴서울(강남)	서울 강남구 언주로 716 (논현동)	2120.0	N	SK에너지	강남구	37.517636	127.035756
531	오천주유소	서울 강남구 봉은사로 503 (삼성동)	2107.0	N	SK에너지	강남구	37.513458	127.053786
313	재동주유소	서울특별시 종로구 율곡로 58 (경운동)	2106.0	N	SK에너지	종로구	37.576388	126.985851
285	청파주유소	서울특별시 용산구 청파로 311 (청파동1가)	2106.0	N	SK에너지	용산구	37.547451	126.969904
284	갈월동주유소	서울특별시 용산구 한강대로 322 (갈월동)	2106.0	N	SK에너지	용산구	37.546955	126.972218
283	강변주유소	서울특별시 용산구 원효로 9 (청암동)	2106.0	N	SK에너지	용산구	37.534910	126.945869
323	통일주유소	서울 중구 동호로 296 (장충동2가)	2106.0	N	SK에너지	중구	37.560714	127.003177

이제 주유 가격 상위 10개 주유소에 대해 위도, 경도 정보를 읽어온다. 혹시 알 수 없는 문제, 이를테면 구글맵에서 주소를 검색할 수 없다든지 하는 문제로 에러가 나는 것에 대비해서 try - except 구문을 사용했다. try 구문을 실행하다가 에러가 나면 except 구문에서 지정된 코드를 실행하게 되는데 이 경우는 NaN을 저장하도록 했다.

In [67]:

from tqdm import tqdm
lat = []
lng = []

for n in tqdm(oil_price_bottom10.index):
    try:
        tmp_add = str(oil_price_bottom10['주소'][n]).split('(')[0]
        tmp_map = gmaps.geocode(tmp_add)
        
        tmp_loc = tmp_map[0].get('geometry')
        lat.append(tmp_loc['location']['lat'])
        lng.append(tmp_loc['location']['lng'])
        
    except:
        lat.append(np.nan)
        lng.append(np.nan)
        print('Here is nan !')
        
oil_price_bottom10['lat']=lat
oil_price_bottom10['lng']=lng
oil_price_bottom10

100%|██████████████████████████████████████████████████████████████████████████████████| 10/10 [00:02<00:00,  4.75it/s]

Out[67]:

	Oil_store	주소	가격	셀프	상표	구	lat	lng
83	만남의광장주유소	서울 서초구 양재대로12길 73-71 (원지동)	1490.0	N	알뜰(ex)	서초구	37.459906	127.042060
344	강서오곡셀프주유소	서울특별시 강서구 벌말로 254 (오곡동)	1497.0	Y	SK에너지	강서구	37.555284	126.768567
451	태릉솔밭주유소	서울특별시 노원구 노원로 49 (공릉동)	1497.0	Y	S-OIL	노원구	37.625918	127.085533
258	수유동주유소	서울특별시 강북구 도봉로 395 (수유동)	1498.0	Y	GS칼텍스	강북구	37.642140	127.029568
227	(주)강서오일	서울 영등포구 도신로 151 (도림동)	1499.0	N	현대오일뱅크	영등포구	37.509969	126.908231
225	도림주유소	서울 영등포구 도림로 343 (도림동)	1499.0	Y	알뜰주유소	영등포구	37.507656	126.900191
226	(주)대청에너지 대청주유소	서울 영등포구 가마산로 328 (대림동)	1499.0	N	GS칼텍스	영등포구	37.498556	126.895791
415	풀페이주유소	서울특별시 구로구 경인로 41 (온수동)	1499.0	N	SK에너지	구로구	37.491009	126.826675
326	신일셀프주유소	서울 중랑구 상봉로 58 (망우동)	1499.0	Y	SK에너지	중랑구	37.590907	127.093834
40	서경주유소	서울 동작구 대림로 46 (신대방동)	1499.0	N	현대오일뱅크	동작구	37.487947	126.908240

동일하게 주유 가격이 가장 낮은 10개 주유소에 대해서도 작업을 수행했다.

In [68]:

map = folium.Map(location=[37.5202, 126.975], zoom_start=10.5)

for n in oil_price_top10.index:
    if pd.notnull(oil_price_top10['lat'][n]):
        folium.CircleMarker([oil_price_top10['lat'][n], oil_price_top10['lng'][n]],
                            radius=15, color='#CD3181',
                            fill_color='#CD3181').add_to(map)
        
    for n in oil_price_bottom10.index:
        if pd.notnull(oil_price_bottom10['lat'][n]):
            folium.CircleMarker([oil_price_bottom10['lat'][n],
                                 oil_price_bottom10['lng'][n]],
                                radius=15, color='#3186cc',
                                fill_color='#3186cc').add_to(map)
map

Out[68]:

Make this Notebook Trusted to load map: File -> Trust Notebook

이제 앞 2개의 코드에서 혹시 에러가 나면 NaN으로 처리한 것에 대해 notnull 명령을 이용해서 Nan이 아닐 때만 지도에 표기하도록 한다. 결과를 보면 대체로 중구, 중랑구에 비싼 주유소가 몰려있고 구로구에 저렴한 주유소가 몰려있다는 것을 알 수 있다.

출처 : 파이썬으로 데이터 주무르기