本文旨在解決在使用 AWS Lambda 和 SQLAlchemy 連接 redshift 數據庫時，遇到的 “AttributeError: module ‘sqlalchemy.util’ has no attribute ‘text_type'” 錯誤。該錯誤通常是由于 sqlalchemy_redshift 和 sqlalchemy 之間的版本不兼容導致的。通過了解依賴關系和正確安裝依賴，可以有效解決此問題。
問題分析
當你在 AWS Lambda 函數中使用 SQLAlchemy 連接 Redshift，并遇到以下錯誤時：
[ERROR] AttributeError: module 'sqlalchemy.util' has no attribute 'text_type' >>Traceback (most recent call last): ... File "/opt/python/sqlalchemy_redshift/dialect.py", line 1373, in on_connect conn.py_types[quoted_name] = conn.py_types[util.text_type]
這通常表明 sqlalchemy_redshift 依賴的 sqlalchemy 版本與你實際安裝的版本不兼容。sqlalchemy_redshift 通常依賴于特定版本的 sqlalchemy，而顯式安裝一個不兼容的版本會導致此錯誤。
解決方案
解決此問題的關鍵在于理解 sqlalchemy_redshift 的依賴關系，并避免手動安裝 sqlalchemy。
正確安裝依賴
你應該只安裝 sqlalchemy_redshift 包，而讓它自動安裝兼容的 sqlalchemy 版本作為依賴。在你的 Lambda 函數的部署包中，確保只包含 sqlalchemy_redshift，而不要顯式包含 sqlalchemy。
例如，如果使用 pip 進行依賴管理，你的 requirements.txt 文件應該只包含：
sqlalchemy_redshift redshift_connector pandas
然后，運行 pip install -r requirements.txt -t . 將依賴安裝到你的 Lambda 函數的部署包中。
檢查已安裝的 SQLAlchemy 版本
如果問題仍然存在，請檢查你的 Lambda 函數環境中實際安裝的 sqlalchemy 版本。你可以通過以下代碼在 Lambda 函數中打印版本信息：
import sqlalchemy def lambda_handler(event, context): print(f"SQLAlchemy version: {sqlalchemy.__version__}") # ... 你的其他代碼
然后查看 Lambda 函數的日志輸出，確認 sqlalchemy 的版本是否與 sqlalchemy_redshift 兼容。通常，sqlalchemy_redshift 會指定一個較低版本的 sqlalchemy 作為依賴。
示例代碼
以下是一個使用 sqlalchemy 和 redshift_connector 連接 Redshift 的示例代碼：
import pandas as pd import sqlalchemy as sq import os def lambda_handler(event, context): redshift_endpoint = os.environ['REDSHIFT_ENDPOINT'] redshift_db_user = os.environ['REDSHIFT_DB_USER'] redshift_db_password = os.environ['REDSHIFT_DB_PASSWORD'] url = sq.engine.url.URL.create( drivername='redshift+redshift_connector', host=redshift_endpoint, port=5439, database='dev', username=redshift_db_user, password=redshift_db_password ) print('Connection URL is', url) engine = sq.create_engine(url) try: cnn = engine.connect() print("Connection successful!") # 在這里執行你的數據庫操作 cnn.close() # 關閉連接 except Exception as e: print(f"Connection failed: {e}") return { 'statusCode': 200, 'body': 'Function executed successfully!' }
注意事項
- 確保你的 AWS Lambda 函數具有訪問 Redshift 集群的權限。
- 在 Lambda 函數的環境變量中配置 Redshift 連接所需的參數，例如主機名、端口、數據庫名稱、用戶名和密碼。
- 及時更新你的依賴包，以獲得最新的安全修復和性能改進。
總結
解決 “AttributeError: module ‘sqlalchemy.util’ has no attribute ‘text_type'” 錯誤的關鍵在于確保 sqlalchemy_redshift 和 sqlalchemy 之間的版本兼容性。通常，避免顯式安裝 sqlalchemy，而是讓 sqlalchemy_redshift 自動安裝其依賴項，可以有效解決此問題。如果問題仍然存在，請檢查已安裝的 sqlalchemy 版本，并確保其與 sqlalchemy_redshift 兼容。通過遵循這些步驟，你應該能夠成功地在 AWS Lambda 函數中使用 SQLAlchemy 連接 Redshift 數據庫。
