Stuck inside

技術的な備忘録とか...

DynamoDB テーブルの内容をキャパシティ消費なしで CSV に出力する方法

By msysh on 2021-04-08

レガシーなシステムとの連携のために DynamoDB テーブルの内容を CSV に出力したいという要件、まあまああるのではないかなと思います。そもそもその CSV 連携をやめてもっと効率の良いやり方で、、、と言いたくなるところではありますが、しがらみの多い世界だとそうもいきません。一方で、CSV 出力のために稼働中の DynamoDB テーブルに対して全件スキャンとかもキャパシティのことを考えるとしたくないものです。
2020年11月に DynamoDB テーブルデータを Amazon S3 のデータレイクにエクスポート する機能が発表されました。この機能を使って、キャパシティを消費することなく CSV 出力し、さらに Step Functions で自動化を実現する機会がありましたのでメモとして残しておきたいと思います。

#dynamodb #csv #athena #stepfunctions #sam

Read more

CDK で既存のタスク定義を参照する場合のリビジョン指定について

By msysh on 2020-12-23

AWS CDK (Cloud Development Kit) の小ネタです。

CDK で既存のタスク定義を参照したい場合、ecs.TaskDefinition.fromTaskDefinitionArn で arn からタスク定義がとってこれるわけですが、タスク定義の arn はマネジメントコンソールから確認できる JSON や CLI から参照すると末尾にリビジョン番号がついてきます。

#cdk #ecs #taskdefinition

Read more

describe で出力した ECS タスク定義をさくっと登録可能な形に整形する

By msysh on 2020-12-12

Amazon ECS (以下、ECS) のタスク定義は aws cli などの describe-task-definition で JSON 形式で出力することができますが、その JSON ファイルはそのままではタスク定義の登録や更新(register-task-definition)には使えなかったりします。
うまく整形してやれば、タスク定義の登録や更新に利用できるので jq などを駆使してさくっと整形する方法をメモっておきます。

#aws #ecs #jq #awscli

Read more

Raspberry Pi 上に mitmproxy を構築したメモ

By msysh on 2020-09-27

アプリの通信の cookie 内のセッションキーみたいなのを取得したくて mitmproxy などを使ったりするわけですが、気軽に取得できるようにしたいと思いまして、例えばスマホの Wi-Fi の SSID 切り替えてアプリ起動すればあとは裏で勝手に取得してくれる、みたいな。それを Raspberry Pi と mitmproxy を使って実践してみたので記録として残しておきたいと思います。

#raspberrypi #mitmproxy #hostapd #isc-dhcp-server #bind

Read more