はじめに

---

10ANTZのエンジニアGM担当している＠mine-masahiroです。

10ANTZではクラウド環境としてGoogle Cloud Platform(GCP)を採用しています。

そして、マイクロサービスのデータベースとしてはGoogle Cloud Spannerを採用しています。

MySQLなどのデータベースのORMは多いですが、Cloud Spannerのgolang製ORMはなかなかありませんでしたので、今回SSORM(Simple Spanner ORM)を公開することにしました。

github

https://github.com/10antz-inc/ssorm

SSORMについて

---

Google Cloud Spannerのデータ操作言語（DML）とミューテーションは Cloud Spanner の 2 つの API が存在します。

ミューテーションとDMLの違いについて、DML とミューテーションの比較が参考になります。

簡単に説明すると

1. DML
   INSERT、UPDATE、DELETE の各ステートメントを使用してデータベース テーブル内のデータを操作できます。
2. ミューテーション
   データベース内のさまざまな行やテーブルに対して、Cloud Spanner によってアトミックに適用される一連の操作（挿入、更新、削除）を表します。

 

SSORMがサポートしているAPI

SSORMは下記の理由で現在DMLのみ対応しています。

同じトランザクションで DML とミューテーションを混在させない観点から、Mutation を使用して行った変更が、トランザクションを commit するまで後続のステートメントで参照できないため、トランザクションの最後にのみ書き込みをバッファリングするのが理想的なので、SSORMは現在DMLのみ対応しています。初期Mutation対応を行いましたが、実装するエンジニアが混乱しないようにMutationは外しました。

 

SSORMがサポートしている機能一覧

SSORMのtag一覧

• ssorm_key:”primary” //primary key
• ssorm_key:”delete_time”   //soft delete時に使用
• ssorm_key:”create_time”   //insert時に使用
• ssorm_key:”update_time” //update時に使用
• ssorm_key:”ignore_write” //insert、update対象から外す際に使用

サンプル

• Model
  
  Go

  type Singers struct { SingerId int64 `ssorm_key:"primary"` FirstName string `spanner:"FirstName"` LastName spanner.NullString TestTime spanner.NullTime `spanner:"TestTime"` //NULL を許容する場合必ず、spanner.NullTimeを指定すること TestSpannerTime spanner.NullTime `spanner:"TestSpannerTime"` TagIDs []spanner.NullString `spanner:"TagIds"` Numbers []int64 `spanner:"Numbers"` DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` CreateTime time.Time `spanner:"CreateTime" ssorm_key:"create_time"` UpdateTime time.Time `spanner:"UpdateTime" ssorm_key:"update_time"` }

  1 2 3 4 5 6 7 8 9 10 11 12

  type Singers struct { SingerId        int64  `ssorm_key:"primary"` FirstName       string `spanner:"FirstName"` LastName        spanner.NullString TestTime        spanner.NullTime     `spanner:"TestTime"` //NULL を許容する場合必ず、spanner.NullTimeを指定すること TestSpannerTime spanner.NullTime     `spanner:"TestSpannerTime"` TagIDs          []spanner.NullString `spanner:"TagIds"` Numbers         []int64              `spanner:"Numbers"` DeleteTime      spanner.NullTime     `spanner:"DeleteTime" ssorm_key:"delete_time"` CreateTime      time.Time            `spanner:"CreateTime" ssorm_key:"create_time"` UpdateTime      time.Time            `spanner:"UpdateTime" ssorm_key:"update_time"` }

• Insert
  • Model
    
    Go

    insert := Singers{} _, err = ssorm.Model(&insert).Insert(ctx, txn)

    1 2	insert := Singers{} _, err = ssorm.Model(&insert).Insert(ctx, txn)

• Update (Model and Columns and Params)
  • Model  (where ssorm_key:”primary”で更新を行う)
    
    Go

    update := Singers{} _, err = ssorm.Model(&update).Update(ctx, txn)

    1 2	update := Singers{} _, err = ssorm.Model(&update).Update(ctx, txn)

  • Columns
    
    Go

    update := Singers{} columns := []string{"LastName", "FirstName", "Numbers"} count, err := ssorm.Model(&update).UpdateColumns(ctx, txn, columns)

    1 2 3

    update := Singers{} columns := []string{"LastName", "FirstName", "Numbers"} count, err := ssorm.Model(&update).UpdateColumns(ctx, txn, columns)

  • Params
    
    Go

    update := Singers{} params := map[string]interface{}{"TagIds": []spanner.NullString{{StringVal: "a3eb54bd-0138-4c22-b858-41bbefc5c052", Valid: true}, {StringVal: "a3eb54bd-0138-4c22-b858-41bbefc5c053", Valid: true}}} count, err := ssorm.Model(&update).Where("SingerId > ?", 13).UpdateParams(ctx, txn, params)

    1 2 3

    update := Singers{} params := map[string]interface{}{"TagIds": []spanner.NullString{{StringVal: "a3eb54bd-0138-4c22-b858-41bbefc5c052", Valid: true}, {StringVal: "a3eb54bd-0138-4c22-b858-41bbefc5c053", Valid: true}}} count, err := ssorm.Model(&update).Where("SingerId > ?", 13).UpdateParams(ctx, txn, params)

• Find
  • Model
    
    Go

    var singers []*Singers err := ssorm.Model(&singers).Where("SingerId in (?)", []int{12, 13, 14}).Find(ctx, txn)

    1 2	var singers []*Singers err := ssorm.Model(&singers).Where("SingerId in (?)", []int{12, 13, 14}).Find(ctx, txn)

• First
  • Model
    
    Go

    singer := Singers{} err := ssorm.Model(&singer).First(ctx, txn)

    1 2	singer := Singers{} err := ssorm.Model(&singer).First(ctx, txn)

• Count
  • Model
    
    Go

    var ( singer *Singers count int64 ) err := ssorm.Model(singer).Count(ctx, txn, &count)

    1 2 3 4 5

    var ( singer *Singers count  int64 ) err := ssorm.Model(singer).Count(ctx, txn, &count)

• Delete (Model and Where)
  • Model  (where ssorm_key:”primary”で削除を行う)
    
    delete := Singers{} _, err = ssorm.Model(&delete).DeleteModel(ctx, txn)

    1 2	delete := Singers{} _, err = ssorm.Model(&delete).DeleteModel(ctx, txn)

  • Where
    
    delete := Singers{} _, err = ssorm.Model(&delete).Where("SingerId = ?", 23).DeleteWhere(ctx, txn)

    1 2	delete := Singers{} _, err = ssorm.Model(&delete).Where("SingerId = ?", 23).DeleteWhere(ctx, txn)

• SubQuery
  • Model
    
    Go

    type Singer struct { SingerId int64 `ssorm_key:"primary"` FirstName string LastName string Albums []*Albums Concerts []*Concerts DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` } type Albums struct { SingerId int64 AlbumId int64 Title string DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` } type Concerts struct { SingerId int64 ConcertId int64 Price int64 DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` } // First subSingers := Singer{} err := ssorm.Model(&subSingers).TableName("Singers").AddSub(Albums{}, "SingerId = ?", 12).AddSub(Concerts{}, "SingerId = ?", 12).First(ctx, txn) //Find var subSingers []*Singer err := ssorm.Model(&subSingers).Where("SingerId > ?", 12).TableName("Singers").AddSub(Albums{}, "").AddSub(Concerts{}, "SingerId > ?", 12).Find(ctx, txn)

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

    type Singer struct { SingerId   int64 `ssorm_key:"primary"` FirstName  string LastName   string Albums     []*Albums Concerts   []*Concerts DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` }   type Albums struct { SingerId   int64 AlbumId    int64 Title      string DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` } type Concerts struct { SingerId   int64 ConcertId  int64 Price      int64 DeleteTime spanner.NullTime `spanner:"DeleteTime" ssorm_key:"delete_time"` }       // First subSingers := Singer{} err := ssorm.Model(&subSingers).TableName("Singers").AddSub(Albums{}, "SingerId = ?", 12).AddSub(Concerts{}, "SingerId = ?", 12).First(ctx, txn)   //Find var subSingers []*Singer err := ssorm.Model(&subSingers).Where("SingerId > ?", 12).TableName("Singers").AddSub(Albums{}, "").AddSub(Concerts{}, "SingerId > ?", 12).Find(ctx, txn)

• SoftDelete
  • ssorm.SoftDeleteModelを使用して、Insert Update Find First Count Delete SubQueryを実行
    
    err := ssorm.SoftDeleteModel(&singers).Find(ctx, txn) err = ssorm.SoftDeleteModel(&subSingers).Where("SingerId > ?", 12).TableName("Singers").AddSub(Albums{}, "").AddSub(Concerts{}, "SingerId > ?", 12).Find(ctx, txn) err = ssorm.SoftDeleteModel(&singers).Where("SingerId = 13").Find(ctx, txn) err = ssorm.SoftDeleteModel(insert).Where("SingerId in (?)", []int{12, 13, 14, 15}).Count(ctx, txn, &count) _, err = ssorm.SoftDeleteModel(&insert).Insert(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).Update(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).DeleteModel(ctx, txn) err = ssorm.SoftDeleteModel(&singer).Where("SingerId = ?", 25).First(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).Where("SingerId = ?", 25).DeleteWhere(ctx, txn) _, err = ssorm.Model(&insert).DeleteModel(ctx, txn)

    1 2 3 4 5 6 7 8 9 10

    err := ssorm.SoftDeleteModel(&singers).Find(ctx, txn) err = ssorm.SoftDeleteModel(&subSingers).Where("SingerId > ?", 12).TableName("Singers").AddSub(Albums{}, "").AddSub(Concerts{}, "SingerId > ?", 12).Find(ctx, txn) err = ssorm.SoftDeleteModel(&singers).Where("SingerId = 13").Find(ctx, txn) err = ssorm.SoftDeleteModel(insert).Where("SingerId in (?)", []int{12, 13, 14, 15}).Count(ctx, txn, &count) _, err = ssorm.SoftDeleteModel(&insert).Insert(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).Update(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).DeleteModel(ctx, txn) err = ssorm.SoftDeleteModel(&singer).Where("SingerId = ?", 25).First(ctx, txn) _, err = ssorm.SoftDeleteModel(&insert).Where("SingerId = ?", 25).DeleteWhere(ctx, txn) _, err = ssorm.Model(&insert).DeleteModel(ctx, txn)

    
     

まとめ

---

SSORMはtagを指定することで、primary key、create_time、update_time、delete_timeを自動判断し、SoftDelete機能を実現しています。

現在はArray型を対応しており、Struct型は今後対応進めていきたいと思います。またtagの種類を追加することで、Indexなども対応していきたいと思います。

SubQueryを対応しており、テーブルJoinは対応していません、下記の理由で現時点では対応予定はありません。

cloud-spanner-でインターリーブテーブルを高速に取得する

何か要望などがあればぜひGitHubのIssueなどからお願いします。