fmt.Errorf()とerrorsのセットとgolang.org/x/xerrorsは異なる

前回の記事でfmt.Errorf()がpkg/errors.Wrap()を殺すという話を書いた。これはもう少し雑に言えば、エラー時に位置情報を記録したいということだった。 そしてこれについて以下の様な発言をしつつ調べていたところ、かつてのpolyfilだと思っていたgolang.org…

fmt.Errorf(" : %w", ...)は、pkg/errors.Wrap()を殺す

go1.13以降、github.com/pkg/errorsから、標準ライブラリのerrorsとfmtを使う形への乗り換えが行われていたり行われていなかったりする1。 乗り換えの方法についてはerrors.Is()やerrors.As()の使い分けに終止している事が多い気がする。それ以外の変更点で…

goのerrors.As()でpanicしちゃう話

ドキュメントに書いてあることだけど、渡し方をミスるとerrors.As()はpanicしてしまう。 As panics if target is not a non-nil pointer to either a type that implements error, or to any interface type. errors.As()の使い方 その前に errors.As()の使…

go testのtest.testlogfileフラグが時々便利

test.testlogfileを付けてテストを実行すると、テスト中の以下が分かる。 os.Stat()したファイル os.Open()したファイル os.Getenvした環境変数 これは、例えば、net/http.FileSystemが使われた様なテストなどで苦しめられたときに便利に働くことがある。 例…

goでdeprecatedな関数の利用に対してwarningを出すlintの使い方のメモ

github.com 適切にDeprecated:という修飾を含んだコメントを追加すると、その関数を利用した際に、以下の様なwarning messageが出るようになる1。 main.go:8:2: greeting.Hello is deprecated: use HelloWithContext() (SA1019) これの使い方のメモ。 Deprec…

go-vcrを使ったSymmetric API Testingのメモ

github.com go-vcrを使おうとしてみたのでそのメモ。 Synmetric API Testing? Symmetric API Testingという言葉は、この記事が使っている言葉のよう。 https://blog.gopheracademy.com/advent-2015/symmetric-api-testing-in-go/ 単純に言えば、通常は何らか…

goでreflectを使ってunexported fieldの値を見る

テストなどのhelperを作るときに、特定のstructのunexported fieldにアクセスしたくなることがある。 その方法のメモ(あとでまじめに書くかもしれない書かないかもしれない)。 with exported field その前にreflect経由でのアクセスで考えてみる。以下の様…

PEP593のAnnotatedでwrapされた型ヒントからmetadataを取り出す

Annotated PEP593で型ヒントにmetadataを付けられる様になった。 例えば、関数の型ヒントを見てCLIのコマンドを生成するようなフレームワークがあったとして、コマンドラインオプションのヘルプメッセージ用の文字列も保持したい。以下のコード上での --name…

makeの:=と=を使い分けると便利

正直な話をすると今まで常に := だけを使っていて、= を使うことはあまりなかった。 使い分けると便利な状況が分かってきたのでここにメモしておく。 要約 ちょっとした実験用のタスクランナーとして使っていたMakefileの書き方が変わる1。 今まではこう書い…

pythonのslackclientで非同期タスクを実行したらValueErrorになった話

最近「ちょっとslack botでも書くか」と思う機会があった。そのときに色々思うことがあったのでメモ。 slack botを書く機会があった。どのライブラリを使うのが良い? 現状ではslack自身が出しているライブラリをそのまま使うのが良いのではないかと思う。 g…

スプレッドシートを設定ファイルとして使うライブラリを作ってみた

github.com slackやdiscordなどのbotを作るときに、ファイルを触れない人にも設定をいじってもらおうとしたら、スプレッドシートあたりが無難なのかなと思いました。そんなわけでスプレッドシートを設定ファイルとして使うライブラリを作ってみました。 イン…

pythonの型定義を使ってOpenAPI docを出力してみる。

今回は以前のprotobufの出力を試した記事のOpenAPI doc版。 pythonの型定義を使ってprotobufを出力してみる。 近年のOpenAPIの状況 近年では、openAPIとの付き合い方もだいぶ落ち着いてきて、夢を見た機能を実装し切るというような気持ちのところは減ってき…

goで手軽にencoding/json感覚でdotenvと環境変数を使う方法のメモ

以下2つのライブラリを使うと便利 github.com github.com joho/godotenvは、いわゆる.envファイルをいい感じに読み込んでくれるもの。 caarlos0/envは、encoding/json感覚で書いたstructのタグからいい感じに読み込んでくれるもの。 利用例 例えば、以下の…

コード生成中に、裏側でサービスを立ち上げて、通信してあげればN+1を防げる事に気づいた

github.com コード生成でのN+1? 以前に、コード生成でのN+1問題の発生というような記事を書いた。 コード生成におけるN+1問題とbulk actionとしてのegoist。あるいはMakefileについて この記事では、bulk action的な実行を解として説明をしていた。元々の問…

SQL中のtypoを何としてもコンパイラにチェックしてもらいたかった

github.com 以前に頭の中で考えたりしていたことだったのだけど。真面目に手を動かしてみることにしてみた。まだ作り途中。 考えていたこと 一番気にしたかったのはSELECT文の実行。SQLをそのまま書くのは、実際のqueryを把握しやすくて良いのだけれど、生の…

egoistでモジュールを分割できるようにした

github.com 定義が多くなってくると、1つのファイルで管理するのが厳しくなってくる。そんなわけで、moduleを分割することを考えてみた。似たような機構はいろいろなWAFにも存在する。例えばflaskならblueprint、fastAPIならAPIRouter。 Flask -- Modular A…

コード生成におけるN+1問題とbulk actionとしてのegoist。あるいはMakefileについて。

例えば以下の画像の様な依存関係でコード生成1が行われるとする。入力となるファイルが幾つかあり、例えばjinja2のテンプレートなどで出力先の表現が記述されていて、これによりちょっとしたgoのコードやopenAPI docの一部を生成するというようなタスク。 画…

サブコマンドをincludeで自由に追加できるようにした

github.com サブコマンドをincludeで自由に追加できるようにした。 デフォルトで利用できるサブコマンド 例えば egoist init clikit で生成されるdefinitions.pyは以下の様なサブコマンドを持っている。 describe generate scan usage: definitions.py [-h] …

-hや--helpでのヘルプメッセージの表示は一瞬で終わってほしいと言う話

egoistを作っていて、けっこう気にしているポイントなども記事にしてみることにする。個人的には-hや--helpに時間が掛かるCLIはあまり好きではない。 具体的には0.5sくらいでちょっとストレスを感じ、1.0sを越えると、使うたびに感じるストレスがそのツール…

pythonのクラス定義からUnmarshalJSON()でのvalidation付きのgoのstruct定義を生成する

github.com pythonのクラス定義からUnmarshalJSON()でのvalidation付きのgoのstruct定義を生成してみる。(より細かなバリエーションは https://github.com/podhmo/egoist/tree/master/examples/e2e/generate-structkit にある) なぜUnmarshalJSON()付きで…

egoistで生成するCLI定義のカスタマイズ方法について

github.com 作っていたミニフレームワークの最初のバージョンをリリースしたと言う話という記事を書きました。 goはランタイムというミニフレームワークのプロトタイプをpypiにアップロードした とはいえ、この記事だけだと何が何だか分からなかったので、作…

goはランタイムというミニフレームワークのプロトタイプをpypiにアップロードした

github.com 以下の記事のミニフレームワークのプロトタイプが動くようになったので、0.0.1をpypiにアップロードしました。 goはランタイムという発想のミニフレームワークを作り始めた このプロトタイプに含まれる機能はCLIの定義を手軽にすると言う部分です…

pythonの型定義を使ってprotobufを出力してみる。

この記事の作業の一環で、pythonの型定義の情報を使いprotobufを出力することを試してみた。 goはランタイムという発想のミニフレームワークを作り始めた 基本的にはアイデアスケッチのようなもので、ちょっとしたコード辺を書いてみて、上手く期待する機能…

errorをmapで保持する小さなerrorライブラリを作った

github.com errorをmapで保持するライブラリを作った。いわゆるmultierrorのような複数のエラーをsliceとしてまとめるライブラリは存在するのだけれど、意外とmapで保持するライブラリがなかったので。代わりのライブラリがあるならそちらを使いたい。 なぜ…

goで文字列ベースのenumの定義はこんな感じが良いかもしれない

文字列ベースのenumの定義で良さそうなコードができたのでメモ(iotaを使った数値がベースのものではない)。 文字列ベースのもの 個人的には、特に速度やメモリーなどのことを気にしない場合には、文字列ベースのもののほうが取り回しやすくて良いと思って…

goはランタイムという発想のミニフレームワークを作り始めた

goはランタイムという発想のミニフレームワークを作り始めた。まだ全然完成はしていないけれど、どういう方針で作っているかなどをメモをしておく。 github.com フレームワークと言いつつ、現状ではそこまでいろんなことをやってくれるという感じではない。…

goのflagパッケージは-xxxだけでなく--xxxにも対応していることを知った

-nameというオプションを持つようなコマンドを作ってみるとヘルプメッセージは以下の様になる。 $ go run main.go -h Usage of app: -name string name of person (default "foo") 素直にヘルプメッセージを読むと使えるのは、-name <value> と -name=<value> だけ。 実際</value></value>…

依存を可能な限り少なくして、irisデータセットの散布図を描きたい

グラフを描きたいと思ったときには以下の2つ場合がある 絵が描きたい データを分析したい(EDA) 今回は概ね前者の場合の話。ついでにnumpy,scipy,pandasなどに依存したくない。依存はこれだけ。 $ pip freeze pygal==2.4.0 vega-datasets==0.8.0 依存を可能…

Makefile上でprocess置換を使う方法

TL;DR makeはデフォルトでshが動く。bashなどにしないとprocess置換が使えない。 make中ではprocess置換が使えない? 何も考えずにprocess置換を使おうとするとエラーになってしまう。 $ make 02 python <(python -m prestring.python hello.py) /bin/sh: -c…

dictknifeにshrinkコマンドを追加した

github.com 発端 qiitaのAPIを実行してみるとあるユーザーのストックの情報が取れるらしい(実はストックは公開情報だったんですね)。 https://qiita.com/api/v2/docs#get-apiv2usersuser_idstocks GET /api/v2/users/:user_id/stocks 指定されたユーザがスト…