대부분 검색을 통해서 바이낸스 Candle 데이터를 REST API를 통해서 가져올 수 있다는 것을 알고 있을 것이다. 그런데 왜 지금까지 바이낸스 Historical Market Data 에서 zip 파일형태로 Candle 데이터를 다운 받아 1개의 CSV파일로 합치는 작업을 했던 것일까? 바이낸스 REST API로 선물(Futures)이나 현물(Spot) 캔들 데이터를 가져오는 경우 바이낸스 WAF(웹 방화벽)에 의해 IP단위로 API 호출 횟수 제한을 받게 된다. 현재 바이낸스 선물에 적용된 WAF 정책은 1분당 2,400의 가중치(Weight)를 허용하는데 API로 1000개씩의 캔들을 가져온다면 1분에 약 240번 정도 가져오는 것이 가능한 것으로 계산하면 된다. (1번 호출 = 가중치 10 소..
Python으로 바이낸스 3년간의 비트코인 선물 1분지표 Candle 데이터를 파일로 빠르게 다운받아 머신러닝에 필요한 데이터를 얻어 낼 수 있게 되었다. 하지만 zip 파일로 다운로드만 빠르게 되었을뿐, 다운로드 받은 zip파일들의 압축을 풀고 하나의 단일 csv파일로 만들어줘야 하는데 이 작업을 수동으로 매번 하는 것은 나의 취향과 맞지 않는다. 다운받은 Kines/Candle 데이터 파일들을 하나의 파일로 묶어 머신러닝에 필요한 큼직한 데이터 파일을 만들어 주도록 파이썬 프로그램을 만들어보자. 1. 다운로드를 자동화하고 1개의 CSV로 만들자 binance-public-data에 아래에 있는 download-kline.py파일을 실행해서 캔들 데이터를 다운로드 할때 아래와 같이 실행을 하고 있었다...
머신러닝에 필요한 만큼의 바이낸스 과거 Candlestick data를 API로 가져오려고 하는데... 헉! REST API 1회 호출로가져올수 있는 Candlestick은 최대 1,000개로 제한되어 있고 1일 최대로 호출할 수 있는 API호출 횟수도 제한 되어 있었다. (REST API가 비싸긴 하다지만... 살짝 기분이 상한다. 강제청산으로 뜯긴 내돈이 얼만데!! ㅠㅠ) 지나간 과거의 캔들 데이터를 API호출 제한에 상관 없이 받을 수 있는 "방법이 뭔가 있지 않을까?" 하고 뒤적뒤적 Binance 의 Github를 찾아 봤는데... 두둥! 보인다 보여! Binance Public data 다운로드 도구가! - 역시 전세계 1등 거래소인건가? - (다른 거래소는 아직 안 찾아봐서 모르겠음) 인터넷을..