Automa-通過連接塊來自動(dòng)化你的瀏覽器
1、前言通過瀏覽器插件可實(shí)現(xiàn)自動(dòng)化腳本的錄制與編寫，具有代表性的工具就是：Selenium IDE、Katalon Recorder，對(duì)于簡(jiǎn)單的業(yè)務(wù)來說可快速實(shí)現(xiàn)自動(dòng)化的上手工作。Selenium IDEKat
久違了，朋友們，來篇干貨。
ETL 的全稱是 extract, transform, load，意思就是：提取、轉(zhuǎn)換、 加載。ETL 是數(shù)據(jù)分析中的基礎(chǔ)工作，獲取非結(jié)構(gòu)化或難以使用的數(shù)據(jù)，把它變?yōu)楦蓛?、結(jié)構(gòu)化的數(shù)據(jù)，比如導(dǎo)出 csv 文件，為后續(xù)的分析提供數(shù)據(jù)基礎(chǔ)。
1、提取數(shù)據(jù)
這里從電影數(shù)據(jù) API 請(qǐng)求數(shù)據(jù)。在開始之前，你需要獲得 API 密鑰來訪問 API可以在這里[1]找到獲取密鑰的說明。
一旦你有了密鑰，需要確保你沒有把它直接放入你的源代碼中，因此你需要?jiǎng)?chuàng)建 ETL 腳本的同一目錄中創(chuàng)建一個(gè)名為 config.py 的文件，將此放入文件：
#config.py
api_key =
如果要將代碼發(fā)布到任何地方，應(yīng)該將 config.py 放入 .gitignore 或類似文件中，以確保它不會(huì)被推送到任何遠(yuǎn)程存儲(chǔ)庫(kù)中。
還可以將 API 密鑰存儲(chǔ)為環(huán)境變量，或使用其他方法隱藏它。目標(biāo)是保護(hù)它不暴露在 ETL 腳本中。
現(xiàn)在創(chuàng)建一個(gè)名為 tmdb.py 的文件，并導(dǎo)入必要的依賴：
import pandas as pd
import requests
import config
向 API 發(fā)送單個(gè) GET 請(qǐng)求的方法。在響應(yīng)中，我們收到一條 JSON 記錄，其中包含我們指定的 movie_id：
API_KEY = config.api_key
url = 'https://api.themoviedb.org/3/movie/{}?api_key={}'.format(movie_id, API_KEY)
r = requests.get(url)
這里我們請(qǐng)求 6 部電影，電影 movie_id 從 550 到 555 不等。我們創(chuàng)建一個(gè)循環(huán)，一次請(qǐng)求每部電影一部，并將響應(yīng)附加到列表中:
response_list = []
API_KEY = config.api_key
for movie_id in range(550,556):
url = 'https://api.themoviedb.org/3/movie/{}?api_key={}'.format(movie_id, API_KEY)
r = requests.get(url)
response_list.append(r.json())
現(xiàn)在我們拿到了 response_list 這樣復(fù)雜冗長(zhǎng)的 JSON 數(shù)據(jù)，這里使用 from_dict() 從記錄中創(chuàng)建 Pandas 的 DataFrame 對(duì)象：
df = pd.DataFrame.from_dict(response_list)
如果在 jupyter 上輸出一下 df，你會(huì)看到這樣一個(gè)數(shù)據(jù)幀：
至此，數(shù)據(jù)提取完畢。
2、轉(zhuǎn)換
我們并不需要提取數(shù)據(jù)的所有這些列，所以接下來選擇我們需要使用的列。
假如以下列是我們感興趣的：
budget
id
imdb_id
genres
original_title
release_date
revenue
runtime
創(chuàng)建一個(gè)名為 df_columns 的列名稱列表，以便從主數(shù)據(jù)幀中選擇所需的列。
df_columns = ['budget', 'genres', 'id', 'imdb_id', 'original_title', 'release_date', 'revenue', 'runtime']
請(qǐng)注意，有一個(gè) genres 列(表示電影的體裁，類型)是長(zhǎng)這樣的：
這是一個(gè) JSON 格式的列，我們希望擴(kuò)展它。
一種比較直觀的方法是將 genres 內(nèi)的分類分解為多個(gè)列，如果某個(gè)電影屬于這個(gè)分類，那么就在該列賦值 1，否則就置 0，就像這樣：
現(xiàn)在我們用 pandas 來實(shí)現(xiàn)這個(gè)擴(kuò)展效果。
首先扁平化這個(gè) JSON 列表：
genres_list = df['genres'].tolist()
flat_list = [item for sublist in genres_list for item in sublist]
接下來，我們創(chuàng)建一個(gè) genres_all 的臨時(shí)列，作為電影類別的代表，我們只需要 genres 內(nèi)的 name 屬性，稍后把它擴(kuò)展為單獨(dú)的列：
result = []
for l in genres_list:
r = []
for d in l:
r.append(d['name'])
result.append(r)
df = df.assign(genres_all=result)
為了完整的保存 genres 類型表，我們把它單獨(dú)做為一個(gè)表：電影類型表：
df_genres = pd.DataFrame.from_records(flat_list).drop_duplicates()
它是這樣的：
接下來，將類型名稱附加到 df_columns 中，然后刪除 genres 列：
df_columns = ['budget', 'id', 'imdb_id', 'original_title', 'release_date', 'revenue', 'runtime']
df_genre_columns = df_genres['name'].to_list()
df_columns.extend(df_genre_columns)
s = df['genres_all'].explode()
df = df.join(pd.crosstab(s.index, s))
代碼的最后兩行，使用了 explode、crosstab 函數(shù)來擴(kuò)展多個(gè)列，其效果就是如果電影屬于某個(gè)類型，該行的值就為 1，結(jié)果就是這樣： 
關(guān)于日期時(shí)間，我們希望將日期擴(kuò)展為年、月、日、周，像這樣：
那么以下代碼就是干這個(gè)的：
df['release_date'] = pd.to_datetime(df['release_date'])
df['day'] = df['release_date'].dt.day
df['month'] = df['release_date'].dt.month
df['year'] = df['release_date'].dt.year
df['day_of_week'] = df['release_date'].dt.day_name()
df_time_columns = ['id', 'release_date', 'day', 'month', 'year', 'day_of_week']3、加載
加載就很簡(jiǎn)單了，將 DataFrame 導(dǎo)出到 excel 或者 csv 即可。
df[df_columns].to_csv('tmdb_movies.csv', index=False)
df_genres.to_csv('tmdb_genres.csv', index=False)
df[df_time_columns].to_csv('tmdb_datetimes.csv', index=False)
如果要導(dǎo)出 excel，那么就用 to_excel 函數(shù)。
最后的話
Pandas 是處理 excel 或者數(shù)據(jù)分析的利器，ETL 必備工具，本文以電影數(shù)據(jù)為例，分享了 Pandas 的常見用法。
本文鏈接：http://www.tebozhan.com/showinfo-119-2165-0.html用 Pandas 做 ETL，不要太快
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 云安全日?qǐng)?bào)220218：Ubuntu Linux內(nèi)核發(fā)現(xiàn)重要漏洞,需要盡快升級(jí)
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)