地方エンジニアの学習日記

興味ある技術の雑なメモだったりを書いてくブログ。たまに日記とガジェット紹介。

【LLM】ChromaDBとは

www.trychroma.com ChromaDBは、ベクトルデータを効率的に保存し、検索するためのオープンソースのベクトルデータベースです。特に、機械学習モデルや自然言語処理(NLP)で生成される高次元ベクトルを扱うために最適化されています。ChromaDBは、ドキュメン…

【LLM】Embeddingとは

Embedding(エンベディング)とは、情報をコンパクトな数値ベクトル(多くの場合は高次元ベクトル)に変換する技術を指します。主に機械学習や自然言語処理の分野で使用され、文章や単語、画像、その他のデータを数値の形で表現することで、コンピュータがそ…

【LLM】RAGってなんだ?ってなったので調べた

最近よくきくRAGがなんなのかよくわかっていないので調べたメモ www.hicareer.jp 最初聞いた時はこっちを思い浮かべたがググっても全く出てこないので取り残されている 目次 目次 RAGとは RAGの仕組み RAGの特徴 メリデメ RAGの利点 RAGの欠点 実際の応用 RA…

【PostgreSQL】物理レプリケーションとは

www.fujitsu.com PostgreSQLの物理レプリケーションは、データベースの物理的なデータ(つまり、ディスク上のバイナリファイル)を基にデータベース全体を複製し、データベースの可用性やデータの冗長性を確保する方法です。これは、マスターサーバー(プラ…

【memcached】1.30が来ていた

github.com バグフィックスがメインとProxyモードの古い構文の削除あたり。機能追加が最近見ていても大きいものがない。Proxyモードもついに枯れてきてGAする感じになる流れだろうか?楽しみである。

【Redis】クラスターモードで使えるコマンド集

ローカルのメモがいっぱいになってきたのでブログに転記しておく。 # クラスタ全体の情報を取得 CLUSTER INFO # クラスタ内のすべてのノードのリストを取得 CLUSTER NODES # 新しいノードをクラスタに追加 CLUSTER MEET <ip> <port> # クラスタからノードを削除 CLUSTE</port></ip>…

【登壇】ゆるSRE勉強会 #7 怖い話をしてきた

yuru-sre.connpass.com 特に資料とかを公開する予定はないのでアレですがLTをやってきました。ある日知らないサーバーが出てきたという感じの話です。誰も知らないようなサーバーができてしまう可能性があるので手動で構築はやめてIaCとかしましょうねという…

【旅行記】沖縄旅行記

20連休が始まった(夏季休暇+結婚休暇)— RyuichiWatanabe@gurasan (@ryuichi_1208) 2024年8月7日 夏季休暇と結婚休暇を合わせてとって大連休を作りました。 沖縄1日目。 pic.twitter.com/XYDADsZEWr— RyuichiWatanabe@gurasan (@ryuichi_1208) 2024年8月19日 …

【SRE】SEV

Severity Levels SEV(Severity)は、システム障害やインシデントの重大度を表す指標です。主にインシデント対応や障害管理において、障害の深刻度を分類するために使用されます。SEVレベルを定義することで、障害の影響範囲や優先度に応じた迅速かつ適切な…

【Linux】pidfd_send_signal(2)とは

特定条件になったらpid書いてるファイル読んでkillして再起動するやつがpid一周したのか全く別のプロセスkillしたっぽくてあれ。— RyuichiWatanabe@gurasan (@ryuichi_1208) 2024年8月18日 今時はどうするんだろうと思ったりした。そもそもコンテナみたいに…

【MySQL】Redoログとは?

概要 mysql.connpass.com という勉強会があるのでその前にRedoログとは?みたいなのを復習しておこうと思ったので書きます より深く知るには以下の記事がとてもよかったので貼っておきます。 qiita.com 目次 概要 目次 Redoログとは? データベースにおけるR…

【TCP】MPTCPとは

MPTCP (Multipath TCP) は、従来のTCPプロトコルを拡張し、複数のネットワークパスを同時に活用することで、通信の信頼性や効率性を向上させる技術です。この記事では、MPTCP の基本的な仕組み、導入のメリット、および実際の使用例について解説します。 通…

【SRE】信頼性設計とかで出てくる用語の整理

概要 SRE界隈のスライドでよく見るけど実は曖昧な理解だっりする信頼性設計とかで出てくる用語の整理。(会話とかで出てくるといまだに脳内変換が必要だったりするw) ja.wikipedia.org 用語 フォールトアボイダンス(Fault Avoidance) システムやソフトウェ…

SRE NEXT 2024でスタッフをやった

SRE NEXT 2024 sre-next.dev 今年もやってきました。2023年で一回スタッフをやっているので今年で2回目です。 印象に残ったセッション 工学としてのSRE再訪 / Revisiting SRE as Engineering speakerdeck.com 「技芸」と「工学」の側面からで考えて進めてい…

【curl】8.9.0が来ていた

curl.se 変更点 curl: add --ip-tos (IP Type of Service / Traffic Class) curl: add --mptcp curl: add --vlan-priority curl: add -w '%{num_retries}' gnutls: support CA caching mbedtls: support CURLOPT_CERTINFO noproxy: patterns need to be comm…

【HIVE】入門する

はじめに:HIVEとは? HIVE(High-level Intermediate Virtual Engine)は、ビッグデータの処理や分析を容易にするためのデータウェアハウス・ソフトウェアです。Hadoop上で動作し、SQLライクなクエリ言語であるHiveQLを使ってデータを操作します。HIVEは、…

【RDS】Enhance database performance with Amazon RDS dedicated log volumes

aws.amazon.com 面白い機能が来ていた。データベースのデータファイルと別のストレージにトランザクションログを書き込むというやつで前者がランダムアクセスなのに対して後者がシーケンシャルな書き込みだけを行うのでIO競合を防ごうというやつ。Redoログを…

【Linux】LAMP環境を作る

デモ用 LAMP環境を構築する手順は以下の通りです。LAMPはLinux、Apache、MySQL(またはMariaDB)、PHPの頭文字を取ったもので、ウェブサーバー環境を構築するための代表的な組み合わせです。 Linuxのインストール LAMP環境の最初のステップは、Linuxオペレー…

【MySQL】innodb_log_writer_threadsの性能差

dimitrik.free.fr ログバッファからシステムバッファに redo ログレコードを書き込み、システムバッファを redo ログファイルにフラッシュするための専用のログライタースレッドを有効にします。 専用ログライタースレッドを使用すると、同時実行性の高いシ…

【Redis】7.4.0を見る

github.com Changes to new 7.4 features (compared to 7.4 RC2) #13391,#13438 Hash - expiration of individual fields: RDB file format changes #13372 Hash - expiration of individual fields: rename and fix counting of expired_subkeys metric #13…

【登壇】TechRAMEN 2024 Conferenceで登壇してきた

登壇してきた TechRAMEN 2024 Conferenceへ参加してきました。 人生初旭川 初旭川でした。駅前めっちゃ綺麗。30度超えではあったが7月とは思えないくらいの涼しさ techramenconf.net 1本目 speakerdeck.com オンコール対応とは?という内容について話してき…

【Linux】RHELのEOL早見表

Red Hat Enterprise Linux (RHEL) バージョン リリース日 現行ポイント 1つ前のポイント サポート終了日 サポート終了日(ELS) 4 2005-02-15 2011-02-16 2009-05-19 2012-02-29 2017-03-31 5 2007-03-15 2014-09-16 2013-10-01 2017-03-31 2020-11-30 6 2010-…

【イベント】Road to SRE NEXT@広島をやってきた

sre-lounge.connpass.com 7/20(土)にSRE NEXTのスタッフとしてサイボウズ様に場所をお借りして広島でやってきました!会場提供ありがとうございました! 半年ぶりの広島 ryuichi1208.hateblo.jp YAPC::Hiroshima 2024で広島に来ていたのでそれぶりでした。仙…

【SLA】早見表

SLA 週間ダウンタイム 月間ダウンタイム 年間ダウンタイム 99% 1.68 時間 7.2 時間 3.65 日 99.9% 10.1 分 43.2 分 8.76 時間 99.95% 5 分 21.6 分 4.38 時間 99.99% 1.01 分 4.32 分 52.56 分 99.999% 6 秒 25.9 秒 5.26 分

【Go】consulのカタログとmembersからノードを削除するツールを書いた

github.com こんにちは、皆さん!今回は、私が最近取り組んだプロジェクトについて共有したいと思います。それは、HashiCorp Consulのクラスタからノードを強制的に離脱させ、カタログから削除するツールです。 背景 Consulは、サービスディスカバリや構成管…

【MySQL】xtrabackupはGTIDがONかつMyISAMのテーブルがなければFTWRLを取らない

> バックアップ開始時のLSN以降にREDOログに記録された変更を、バックアップされたデータファイルに適用します。これすごいけどここからどうやってレプリカ構築してるんだ?となった。静止点はどこだ。https://t.co/753D0ei6Ez— RyuichiWatanabe@gurasan (@r…

【MySQL】–-redo-log-arch-dirとは?

MySQLでの --redo-log-arch-dir のオプションは、InnoDBのRedo Logをアーカイブするディレクトリを指定するためのものです。 Defines labeled directories where redo log archive files can be created. You can define multiple labeled directories in a …

開発合宿 in 沼津をやってきた

numazu.kkr.or.jp 会社の同じ部のメンバーで開発合宿(社員旅行)をやってきました。 やったこと それぞれのメンバーがテーマを持って個人でやったりチームでやったりみたいな感じでやっていました。私はOpenDKIMのなりすましに関する実装を進めていきました。…

【入門】ルートコーズ分析

ルートコーズ分析とは ルートコーズ分析(Root Cause Analysis, RCA)は、問題や故障の根本的な原因を特定し、それを解決するための方法論です。RCAは、問題の表面的な症状ではなく、根本的な原因に焦点を当てることで、再発を防止し、システムの信頼性を向…

【イベント】Road to SRE NEXT@京都をやってきた

sre-lounge.connpass.com 7/5(金)にSRE NEXTのスタッフとして京都でやってきました! 久々の京都 YAPC::Kyoto 2023ぶりの京都でした。あの時は春先でしたが判断ミスで半ズボンで行ってしまい寒くて仕方なかったという感じでしたが今回は暑くてやばい!という…