Getting Started with Open API (1)

Importing Data from OpenAPI on Public Data Portal to Excel File using Python in Google Colab
공공데이터포털 오픈API 데이터 구글코랩 파이썬 통해 엑셀로 가져오는 방법
외교부_국가∙지역별 인구증감 정보

 

 

공공데이터포털 (data.go.kr)

 

1. 필요한 자료 검색 후 Open API "활용신청"하여 인증키를 발급받아야 합니다.

 

저는 오픈 API로 저장된 "외교부_국가∙지역별 인구증감 정보"를 엑셀 파일로 가져오도록 하겠습니다.

 

 

2. 활용신청을 하여 인증키 등 엑셀로 데이터를 변환하기 위해 필요한 정보를 발급 받아야 합니다.

 

- End Point (URL)
- 일반 인증키 (Decoding)

 

 

 

(1) 홈 > 마이페이지 > 데이터 활용 > Open API > 활용신청 현황 > 개발계정 상세보기 - 서비스 정보 - End Point
(2) 또는 참고문서의 API 서비스 배포정보 > 서비스 URL 통해 링크를 확인할 수 있습니다.

End Point = URL

 

Service key(서비스키)는 일반 일증키(Decoding)을 사용하여야 합니다. 혹시 서비스키를 재발급을 받을 경우에는 "재발급 인증키"와 "신급발급 인증키"를 함께 기입하거나 "재발급 인증키"만 기입하여야 합니다.

 

3. 참고문서의 "Open API 활용가이드"를 다운 받아 데이터프레임(DataFrame)에 사용할 쿼리 매개변수(Query parameters) 정보를 획득합니다.

 

 

 

4. 아래 파이썬 코드를 활용하여 구글 코랩에서 작동시킵니다.

 

 

import urllib.request

import json

from pandas import json_normalize

from urllib.parse import urlencode

import pandas as pd

from google.colab import files

# Service URL

api = 'http://apis.data.go.kr/1262000/CountryPopulationService2/getCountryPopulationList2' # End Point 또는 서비스 URL

 

 

만약 "일반 인증키 재발급한 상태라면, (1) '재발급'된 일반 인증키(Decoding)만 입력하거나 (2) 두 키를 함께 입력하는 것이 가능합니다.

 

 

(1) 

# Service key

service_key = ['RRdu2sm4lP7tX+3YDmpkSRj9Sy1BEyChV+h64EQYYedyvS+163PkCfupS+FWJYSX447gYoadn4Xxq0s50F4I2A=='] # 일반 인증키(Decoding)

 

 

(2) 

# Service keys

service_keys = [

'RRdu2sm4lP7tX+3YDmpkSRj9Sy1BEyChV+h64EQYYedyvS+163PkCfupS+FWJYSX447gYoadn4Xxq0s50F4I2A==', # 재발급 인증키

'Opv87t5OZt71vaZcn1U+BMh6oN8REiAIoOJ+8z8uV0sfel1fzta8EKsfeCUktff5Xz0GAOOQx6Kpq0AUG3KjSLQ==' # 신규발급 인증키

]

 

 

(1) 의 경우를 상정한 경우, 이후 아래 코드를 작성해서 작동시켜주시면 파일이 다운로드 됩니다.

 

# Fetch and save data with error handling

for key in service_key:

try:

# Initialize an empty list to store DataFrames

all_data_frames = []

# Query parameters without country-specific conditions

queryParams = '?' + urlencode({

'serviceKey': key,

'returnType': 'json',

'numOfRows': '1000', # Adjusted to fetch more rows per request

'pageNo': '1'

})

# Construct URL

url = api + queryParams

# Fetch data

response = urllib.request.urlopen(url).read().decode('utf-8')

print("Response content:", response) # Debugging line to check the response content

data = json.loads(response)

print("Parsed JSON:", data) # Debugging line to inspect parsed JSON

# Check if 'data' key is present

if 'data' in data:

items = data['data']

df = json_normalize(items)

all_data_frames.append(df)

# Concatenate all dataframes

all_data = pd.concat(all_data_frames, ignore_index=True)

# Save to Excel

all_data.to_excel('country_population_all.xlsx', index=False)

print("Data has been saved to country_population_all.xlsx")

# Download the saved Excel file

files.download('country_population_all.xlsx')

break # Exit loop after successful fetch

else:

print("Key 'data' not found in the response.")

except urllib.error.HTTPError as e:

print("HTTP Error:", e.code, e.reason)

except urllib.error.URLError as e:

print("URL Error:", e.reason)

except json.JSONDecodeError as e:

print("JSON Decode Error:", e.msg)

except Exception as e:

print("Unexpected Error:", str(e))

print(f"Failed with service key: {key}")

 

결과물은 아래와 같습니다.

결과물 캡처본 (외교부_국가·지역별인구증감정보_23년 업로드)

 

 

 

전체코드

 

import urllib.request

import json

from pandas import json_normalize

from urllib.parse import urlencode

import pandas as pd

from google.colab import files

# Service URL

api = 'http://apis.data.go.kr/1262000/CountryPopulationService2/getCountryPopulationList2' # End Point 또는 서비스 URL

# Service keys

service_key = ['RRdu2sm4lP7tX+3YDmpkSRj9Sy1BEyChV+h64EQYYedyvS+163PkCfupS+FWJYSX447gYoadn4Xxq0s50F4I2A=='] # 일반 인증키(Decoding)

# Fetch and save data with error handling

for key in service_key:

try:

# Initialize an empty list to store DataFrames

all_data_frames = []

# Query parameters without country-specific conditions

queryParams = '?' + urlencode({

'serviceKey': key,

'returnType': 'json',

'numOfRows': '1000', # Adjusted to fetch more rows per request

'pageNo': '1'

})

# Construct URL

url = api + queryParams

# Fetch data

response = urllib.request.urlopen(url).read().decode('utf-8')

print("Response content:", response) # Debugging line to check the response content

data = json.loads(response)

print("Parsed JSON:", data) # Debugging line to inspect parsed JSON

# Check if 'data' key is present

if 'data' in data:

items = data['data']

df = json_normalize(items)

all_data_frames.append(df)

# Concatenate all dataframes

all_data = pd.concat(all_data_frames, ignore_index=True)

# Save to Excel

all_data.to_excel('country_population_all.xlsx', index=False)

print("Data has been saved to country_population_all.xlsx")

# Download the saved Excel file

files.download('country_population_all.xlsx')

break # Exit loop after successful fetch

else:

print("Key 'data' not found in the response.")

except urllib.error.HTTPError as e:

print("HTTP Error:", e.code, e.reason)

except urllib.error.URLError as e:

print("URL Error:", e.reason)

except json.JSONDecodeError as e:

print("JSON Decode Error:", e.msg)

except Exception as e:

print("Unexpected Error:", str(e))

print(f"Failed with service key: {key}")

 

참고로 해당 코드 작동시 받는 응답은 아래와 같습니다.