地方エンジニアの学習日記

興味ある技術の雑なメモだったりを書いてくブログ。たまに日記とガジェット紹介。

2025-05-01から1ヶ月間の記事一覧

【Python】ElastiCache for RedisのFOに対応する

import redis r = redis.Redis(host='localhost', port=6379, db=0) r.set('mykey', 'Hello, Redis!') value = r.get('mykey') print(value.decode('utf-8')) # 出力: Hello, Redis! 何もしないとこんな感じのコードになる。exponential_backoff_retryを仕込…

【Azure】Azure SQLは30分でアイドルコネクションが閉じられる

techcommunity.microsoft.com Azure SQLの接続ポリシーをデフォルトで作るとそういった設定になる。TCP KeepAliveだけでは接続を維持できないのでコネクションをプールするならなんかしらのクエリを実行してあげる必要がある。または接続ポリシーをリダイレ…

【Python】タプルを作るのはカンマであり、丸括弧ではありません

docs.python.org 今日のハマり。15分くらい溶かした。 >>> t = (10) >>> type(t) <class 'int'> >>> t = (10,) >>> type(t) <class 'tuple'></class></class>

【Python】Parquetファイルを作ってパースして

これでcsvを変換する import pandas as pd import pyarrow as pa import pyarrow.parquet as pq df = pd.read_csv('test.csv') table = pa.Table.from_pandas(df) pq.write_table(table, 'test.parquet') パースする # parquetファイルのパースを行う import…

【eBPF】clone(2)のフラグとかPIDとかTIDとかを取りたい

どのPythonのコードの行で clone(2) が呼ばれたかをbpftraceで追えるんか...?— RyuichiWatanabe@gurasan (@ryuichi_1208) 2025年5月13日 というのをやりたかった過程で調べたメモ。これはちょっと便利そう。 bpftrace -e ' tracepoint:syscalls:sys_enter_cl…

【Python】非同期環境で同期IOを発行する方法

概要 Python × 非同期IOなアプリケーションで色々あったので調査メモ 本編 非同期IO環境で同期IOを発行する場合、asyncio.to_thread または loop.run_in_executor を使用することで、イベントループをブロックせずに同期処理を実行できます。asyncio.to_thre…

【Docker】cache-toで指定できるもの

docs.docker.com docker buildx build コマンドの --cache-to オプションは、ビルドキャッシュを保存する方法を指定します。 --cache-to: ビルドキャッシュを保存する場所を指定します。キャッシュはビルドプロセスの高速化に役立ちます。 キャッシュの保存…

【Python】async IOでセマフォ

httpリクエストの同時実行数制御しつつ色々やりたい時に便利 asyncio.create_task()+semaphore.acquire()/release() で明示的に並列数を制御 async_timeout を使い 5 秒でタイムアウト 例外が起きても最後まで走らせ、結果を URL ごとに保持 import asyncio…

【ポエム】エンジニアとして理想の職場ってなんだろう

なんだろう。今はとても楽しいし周りにも優秀なメンバーも多くて日々楽しい。それだけでもだいぶ理想的な職場な気がする。何かあるとしたら割り込みが増えてきていて今後も増え続けていくのが見えていてこのままだとまずいなみたいな感覚はある。 みたいなこ…

【AWS】CloudWatch Database Insightsが楽しい

docs.aws.amazon.com 楽しい。データベースのo11yって割と職人技的に色々テクニックありきでトラブルシュートが進みがちでOSのプロセスの状態とかスロークエリとかそういったものの組み合わせが必要だったりした。その中で登場したCloudWatch Database Insig…

【Python】キュー

PythonでQueueを実装するには、標準ライブラリのqueueモジュールを使うのが一般的です。queue.Queueはスレッドセーフなキューの実装です。 以下は、基本的な使い方の例です: import queue # Queueの作成(デフォルトではFIFO) q = queue.Queue() # アイテ…