#aiohttp

I got restricted by a third party API provider. It is supposed to be called 10 requests per second, but I have called 800 requests per second. I totally agree with my mistake.

I needed to resolve this problem. Controlling the speed of calling API was the main point in this situation. And also, in this case, the caller was implemented using asyncio. In summary, controlling the *concurrent* calling API was the main point.

I checked Primitive types on asyncio first because it supports built-in Lock and built-in Semaphore. It was easy to use them so I tried using that.

But, the real problem was the concurrent tasks were run on distributed environments. It was impossible to use Python built-in since I had to deal with multiple nodes.

Fortunately, I could find a library called aioredlock. It was the lock implementation for Redis. The abstraction was perfect so what I did was using the simple interfaces such as lock(), is_locked().

I was going to attach an example code myself but it would be good to check the example code on the repository yourself because it is so easy.

I locked it when an API call has been started and released it after the call is ended.

So,

최근에 한 서드파티 업체로부터 API 이용 제재를 받았다. 초당 10개씩만 호출해야하는데 초당 800개씩 호출해버렸으니 내가 봐도 제재를 받을만 했다.

의도한 건 아니었으나 대처를 하긴 해야했고, 문제의 본질은 asyncio를 이용한 비동기 작업들에 대한 속도 제어였다. 처음에 알아본 건 asyncio의 Primitive 타입들이었다.

asyncio는 Lock과 Semaphore를 제공한다. 굉장히 쉬운 인터페이스로 해당 기능들을 제공하고 있고 필자도 처음엔 그 기능을 사용했다.

문제는 비동기 작업들이 분산 환경에서 이루어진다는 것이었다. 분산 환경이라고 해봤자 EC2 2대였지만, 각 EC2에서도 프로세스를 여러개로 돌렸으니 대략 10개 이상의 환경에 대한 처리가 필요했다.

그래서 알아본게 분산 환경에서의 Lock 구현인데, 운 좋게도 aioredlock이라는 구현체를 접할 수 있었다.

“The redlock algorithm is a distributed lock implementation for Redis. This is the asyncio compatible implementation for python 3.5+.” by joanvila

쉽게 얘기하면 Redis에 Lock을 구현하는 알고리즘인 Redlock에 대한 Python 구현체였다. 추상화도 잘 되어있어서 사용자 입장에선 is_locked(), lock() 등의 최상위 인터페이스만 알고 있으면 되었다.

예시를 첨부하려했으나 사용법이 워낙 쉬워서 Repository 내에 examples을 보면 될 것 같다. 위에 적었던 문제는 API 호출 시에 Lock을 걸고 호출이 끝나면 Release 하는 방식으로 구현했다.

마무리

aiohttp에서 큰 파일을 업로드하는 법

파일 업로드는 보통 요청의 body에 인코딩된 파일 데이터를 넣어서 POST 요청으로 서버에 전달되는데, aiohttp에서는 다음과 같이 post를 처리하는 핸들러를 사용해서 이를 처리할 수 있다.

async def store_mp3_handler(request):   data = await request.post()   mp3 = data['mp3']   filename = mp3.filename   mp3_file = mp3.file   content = mp3_file.read()   return web.Response(body=content, headers=      MultiDict({ 'CONTENT-DISPOSITION': mp3_file}))

여기서 문제는 request.post()메소드가…