<h1 id="hd0ce9b56c4">英語勉強の真っ只中で念願のISUCONに出場してみた</h1><p>お久しぶりです。<br>そして現在も絶賛英語の勉強を継続中です！！<br>けれど、今日の1日だけはエンジニアリングを試したい！そして楽しみたいと思う気持ちからISUCON12にインターン時代の友人たちと一緒に本日出場してきました！<br>その備忘録とやり残したことのまとめです🏆<br>（これは自分の知識内だけで書いているので間違いなどがあれば教えていただけると幸いです。）</p><h2 id="hfe1fd41872">そもそもISUCONとは</h2><p><a href="https://isucon.net/" target="_blank" rel="noopener noreferrer">公式サイトはこちらから！</a><br>とされていまして簡単に説明する</p><blockquote>SUCONとは、LINE株式会社が運営窓口となって開催している「お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトル」です。</blockquote><p>とされているらしいです。（自分も詳しくはわかっていません笑）<br>ただ本来の題名としては<span style="color:#4c4c4c">ISUCON（いい感じにスピードアップコンテスト）という略になっているらしくて年齢関係なくプログラミングに興味がある人は誰でも参加できる大会です。</span><br><span style="color:#4c4c4c">その文もちろんエントリーも激戦なのですが。。。。</span></p><h2 id="hd2c91c24e4">経緯</h2><p>前にインターンをしていた同期たちと共に「社員さんたちがISUCONに出場するらしい！」みたいなことを聞いて自分たちも出てみたいねなんか話していたらまさかのそのうちの一人が申し込んでくれといてくれました！！しかもガッツリと当選しているという。。。。<br>本当にその時応募してくれた方と一緒になって話を進めていただいた方、そして誘ってくれた２たりには感謝をしています！</p><h3 id="heac42bdc08">メンバー</h3><p>自分たちは最大人数である3人チームで出場しました。また、このご時世ということもあって当初は集まってやろうとも思っていたのですがそれぞれが個人のオンライン環境であるという形式にしました。正直自分は昨日まで英語にフルコミットしていてプログラミングするのも久しぶりでメソッドや概念や規約そのものを忘れていましたが他の2人が意味わからないぐらいアルゴリズム力がハンパないだけではなく地頭もいいので脳内で高速処理しているし、自分の意見や考えを尊重してくれてアドバイスをくれたり根っからのいい人たちので本当に支えていただきました。スコアの向上に関してもあまり自分は今回は関与することができなかったので自分にとっても悔しいですがせっかくのすごいいい経験だったので今後はもっとパフォーマンスのチューニングができるような技術力を英語の勉強が終わったら今まで以上にプログラミングに時間を費やしたいと思いモチベーションの向上につながったと思います💻</p><h3 id="h139225844a">Go言語の選定</h3><p>ISUCONは様々な言語で挑戦することができるようになっているような競技になっています！！<br>自分たちは過去のISUCONの実績や今のスキルセットなどを考慮した結果Go言語にしました。<br>自分の半年前ぐらいにはかなり記述していたのですが最近はもっぱらプログラミングそのものをやっていないというのもあって全然書くことができませんでしたが、Goのコンパイラがそもそも優秀っていうのもあるしフレームワークに関しても自分の経験のあるものでサーバーのバインディングをしていたのでとても取り組みやすく今になってはとてもいい技術選定だったと思います。そして他の方々もしっかりと使いこなしていたのでさすがだなと思ってました笑<br><br><img src="https://images.microcms-assets.io/assets/16519dbfe7054ef7b04d3143b8d55981/e52854691b68413981b4e29e916dac7d/alex-kotliarskyi-QBpZGqEMsKg-unsplash.webp" alt=""></p><h2 id="h1e4c2ff89c">備忘録</h2><p>まず第一に感じたのは今までのやってきたいわゆる実装という部分とはかけ離れているのかな？というところです。<br>自分の場合は個人のプロダクトなら尚更なのですがアーキテクチャーに時間をかけてどれだけわかりやすいコードを書いて機能を実装するかどうかという部分にフォーカスして集中しています。しかもパフォーマンスに関するところも自分がデーターベース周りに関わっていたことが多かったり技術的にやったことがあるものを使って使いまわせるといった課題というより0→1を自分で作っていくような感覚だったのですが、ISUCONに関してはどのようにパフォーマンスを上げられるかどうか？というところの一点に集中しているのでもちろんコードをきれいに書くことに越したことはないですがそれ以上にチューニングをしてスコアをとっていかなければいけない、さらに時間になって初めて課題を見ることができるような仕様なのでアプリケーション全体のイメージ感を掴むのにも時間がいるということもあってそこら辺はどちらかというと問題という表現の方が近かったような所感です。<br>全部紹介することはできませんのでかいつまんでになります。実際に他の2人は自分が把握していること以上のことをやっていたので理解できていない部分のあります。すいません笑</p><h3 id="h0ef859a5d4">環境構築</h3><p>これも大変な部分の一つだと思います。もちろんこの開発は一人で行うものではないのでDockerなどのコンテナの環境ですることもできるのですがサーバーを利用するために踏み台サーバーと本番サーバーなどを用意しておくことなどが求められます。これが普通に大変というか人数分に合わせて作成しなければいけないだけではなく、本番を想定して練習サーバーでもSSH接続をすることができるのかどうかなどやKeyの登録などやることがかなりあります。<br>これに関してはチームメンバーの方が事前に様々な設定をしてくれ、しかも当日にはMakefileなども作成して必要コマンドをAlias化してくれるような化け物っぷり。。。怖いと思いつつ全力で頼らせていただき、当日のインフラ環境及びサーバー関連に関しても全てやってくれたので本当に開発に集中することができました😇</p><h3 id="ha81c197958">データーベースチューニング</h3><p>これはまず必須だと思います。というのもインデックスを利用することで本の検索のようなものができるようになるようになりテーブルを処理するためのデータ構造を高速化することができるようになっています。なので、特定のカラムの検索をする場合に調べたい項目がわかり、検索を高速化できるという仕組みです。<br>詳しくは「SQL　INDEX」のように調べてみてください、記事が出てくると思います。<br>これに関してもデーターベースの理解やINDEXはしっかりと理解した上で利用しなければ逆にパフォーマンスが下がってしまうこともあったりするのでそこの部分も考慮しなくてはなりません。これに関してももう一人の友人が全てやってくれました。しかもそれでしっかりとスコアを向上させていく優秀さ、トラブルに関してもとても冷静に解決されていたので自分が見習うべきことがたくさんあるなと思った点とまだまだ理解が浅いなという点でした。</p><h3 id="hadc80dfb5f">接続データベースの切り分け</h3><p>デフォルトとして踏み台サーバーの方にデータベースサーバーとアプリケーションサーバーの両方が構築されており、データーのInitializeなども全てそのファイルに完結されるようになっているのでそこの部分をより高速化されたサーバーに切り替えるとINDEXが実装されたテーブルを利用することができると考え実行しました。これに関しては自分が担当しましたが想定よりも自分のイメージとの剥離があり、元々想定していたデーターベースなどでもなかったためかなり困難することができましたが依存変数などの定義などをみてみると答えが見えてくることなどもあってかなり汚く力技でしたが実装することができた？と思っています。しかし実際に完璧に動作検証することができたかというとそうではなく（もちろん時間内には厳しいことはわかっていたのですが）もっとここら辺のインフラ部分のアーキテクチャなども落ち着いたら勉強しなければいけないという自分に対するボトルネックを発見することができたとてもいい経験でした！！</p><h3 id="h0b83f5686f">N+1クエリ問題</h3><p>これに関しては以前インターンしていた企業でRubyを利用していた先に全ての大きいデータの部分でテーブルの構成をいじってどのような時にJoinさせるのかどうかということをよくやっていたので関連テーブルの扱いなども慣れていると思ったのですが、Go言語でどのように関連テーブルにアクセスするのか？そしてのどのように利用してパフォーマンスの向上につながるのか？ということを忘れていた反面、対策不足ということもありあまり実行できませんでした。多少の部分はもちろん実装できたのですがそれ以上に過去にかなりできたからってたかをくくっていたかもしれません。久しぶりにやることはしっかりと復習をしてから取り組むようにしたいです…<br><img src="https://images.microcms-assets.io/assets/16519dbfe7054ef7b04d3143b8d55981/581ec541828d46fdaecba71f5cdcd71e/kelly-sikkema-Oz_J_FXKvIs-unsplash.webp" alt=""></p><h2 id="h6e312b3deb">課題</h2><p>もちろんたくさんの学びの場でもありましたが、反省の場でもあります。<br>そして今まで自分にできなかったことや逃げてきたことが少しでも浮き彫りにあるようなことがたくさんあったのでそのこ部分もしっかりと復習できればと思ったとともに今でもわからないようならしっかりと学習を復習して進めておくべきだと改めて実感することができるようなとてもいい機会だったと思います。それにしてもここまでできないとは思ってなかったです笑</p><h3 id="h265673ccb1">キャッシュ問題</h3><p>これに正直自分が担当させていただき午後は時間を一番使って考えていたのですが、時間内までに解決することができませんでした。開発中に考えていたこととして時間内に実装できるライブラリや簡単なキャッシュ処理なら自前で実装なども視野に入れていて</p><ol><li>Redisなどのインメモリデータベースを用いたキャッシュ（以前のインターン先で経験済み）</li><li>データそのものにキャッシュ機能をかける（正しくはフレームワークそのものに利用）</li><li>サーバーに利用（これも同様にフレームワークサーバーにバインドして利用）</li></ol><p>の三つを考えていたのですが、これを実装して行ってみた結果、テストそのものがデータの一致から判断している部分の問題があってスコアそのものの前にベンチマークテストそのものを利用することができないという結果でした。よく考えてみるとキャッシュのデータの対象として1MBのデータをキャッシュするというものを利用していましたが毎度変更を感知するようなアルゴリズムが実装されていると現在考えておりキャッシュされたデータを優先的に利用される仕様になっていたため実際のテストデータとの差異が生まれてエラーが起こってしまったと考えております。この部分は本当に難しくデータベースというより低レイヤーの部分もたくさんと絡んでくると思うのでどっちにしろ勉強不足です。。。</p><h3 id="hd3382fa58f">トランザクション</h3><p>これは完全に忘れていたということでした。確かにコードを見るにデーターベースにアクセスしていて一つでも止まったらロールバックするような実装はされていなくもしあれでバグなどがあったらどうすることもできなかっただけではなくデバッグの際にも本当に役に立つと思うのでしっかりとここの部分は日頃から大切なデータだからこそ利用する価値があると改めて実感することができました。</p><h3 id="h3ad9878be4">リバースプロキシ</h3><p>これに関してはいまだに理解することができません。どちらかというとアプリケーション動向値うより外部のインターネットからサーバーへアクセスされる通信を中継する仕組みとなっておりフィールドプロキシと比較すると接続される方向が逆になる。。。となんとも難しい言葉を並べておりますが自分も理屈しか知らなくて実際にこのプロキシを利用したことがあるかというとそもそも普段から意識したこともなかったので勉強になりました。今後エンジニアとして成長していくには必要なことだなと感じました〜〜〜</p><h2 id="h8d78e14043">感想</h2><p>総評して心のこそから今回の大会には出れることができてまずよかったなと思っています。そして一緒に出場してくれた2人に本当に感謝をしたいと思っております。肝心の結果に関しても自分では絶対に達成することができないようなスコアを発揮することができたので本当に優秀なんだと思っています。2人のようなエンジニアリングを目指していけるようにしていきたいとともに自分にしかない強みもエンジニアとして何かしらはあると思っているので（ドキュメントを読んでその技術を取得するのがとんでもなく早いです笑）それをこれからどのように活かしていきたいのかを改めて考えていこうとおもいます。<br>そしてまた機会があれば出場したいと思います！！！！</p>

<h1 id="h14188bd7b7">I competed in ISUCON, which I had longed to do in the midst of my English studies.</h1><p>It has been a long time since I have been here.<br>And I'm still studying English to rave reviews!<br>But just for today, I want to try my hand at engineering! And out of a desire to have fun, I competed in ISUCON12 today with some friends from my internship!<br>Here's a reminder and a summary of what we left undone 🏆.<br>(This is written only to the best of my knowledge, so I would appreciate it if you could tell me if there are any mistakes.)</p><h2 id="h31979d0e51">What is ISUCON to begin with?</h2><p><a href="https://isucon.net/" target="_blank" rel="noopener noreferrer">Click here to visit the official website!</a><br>The following is a brief explanation.</p><blockquote>SUCON is a "Tuning Battle" in which the participants try to speed up a given web service to the limit within a set regulation, and is held under the management of LINE Corporation.</blockquote><p>(I don't know the details myself, lol). <br>The original title of the contest is ISUCON, which is an abbreviation for "speed-up contest", and anyone interested in programming can participate regardless of age.<br>Of course, the entry is very competitive, but you can find out more about it at 。。。。</p><h2 id="h8c1a16f7ea">Background</h2><p>I heard that some of my former interns and I were going to participate in ISUCON. We were talking about how we would like to participate in ISUCON, when one of them signed up for it! And he won the prize!<br>We are really grateful to the person who applied and to the two people who worked with us and invited us to participate!</p><h3 id="hbe835590ea">Members</h3><p>We competed as a team of three, which was the maximum number of people. In addition, due to the current climate, we had originally planned to gather together, but decided on a format where each person would be in his or her own private online environment.To be honest, I was fully committed to English until yesterday, and it had been so long since I had programmed that I had forgotten the methods, concepts, and conventions themselves. They respect my opinions and ideas and give me advice. It was a great experience for me, and I would like to spend more time on programming after my English study is over so that I can tune my performance more. I think it helped me to improve my motivation.</p><h3 id="he2f64c592e">Go Language Selection</h3><p>ISUCON has become such a competition that it's open to challenges in a variety of languages!<br>We chose Go language after considering our past ISUCON achievements and our current skill set.<br>I used to write a lot of code about half a year ago, but recently I have not been able to write much at all, partly because I have not been doing much programming. I think it was a very good choice of technology because it was very easy to work with and I had a lot of experience in the framework. And the other people were also using it well, so I thought it was as good as I expected.<br><img src="https://images.microcms-assets.io/assets/16519dbfe7054ef7b04d3143b8d55981/e52854691b68413981b4e29e916dac7d/alex-kotliarskyi-QBpZGqEMsKg-unsplash.webp" alt=""></p><h2 id="hf27e9dc322">Memorandum</h2><p>The first thing I felt was that this is a far cry from the so-called "implementation" that I have been doing up to now. I think it's even more important if it's an individual product.<br>In my case, I have been focusing on how much time I can spend on architecture and how much time I can spend on writing easy-to-understand code and implementing functions, which is even more important for an individual product. Moreover, I have been involved in many performance-related projects around databases, so it was more like creating a 0 → 1 project by myself rather than using something I had already done technically and being able to use it. I was more interested in how I could improve the performance of ISUCON. In ISUCON, the focus is on how to improve performance, so of course there is nothing better than writing clean code, but you have to do more than that, you have to tune the code and get a score. I can't introduce all of them, so I'd rather call them problems.<br>I can't introduce all of them, so I will just summarize. In fact, the other two were doing more than I could grasp, so there are parts that I don't understand. Sorry.</p><h3 id="h6de5824f35">Building the Environment</h3><p>This is one of the most difficult parts. Of course, since this development is not a one-person job, it can be done in a container environment such as Docker, but in order to use a server, it is necessary to prepare a standby server, a production server, and so on. This is usually quite a difficult task, not only do you have to create a server for each number of people, but you also have to check if SSH connections can be made on the practice server for the production server, and register the key.<br>The team members set up the various settings in advance, and on the day of the practice, they even created a Makefile and made the necessary commands into an Alias for us. I was scared, but I did my best to rely on them. They also took care of everything related to the infrastructure environment and servers on the day of the event, so I was able to really concentrate on development😇.</p><h3 id="h232c772a32">Database tuning</h3><p>I think this is a must. This is essential because indexes allow us to do things like book searches, which speeds up the data structure for processing tables. So, if you are searching for a specific column, you will know what you want to look up and can speed up your search.<br>For more information, please look up something like "SQL INDEX" and you will find the article.<br>This is also important to understand the database and INDEX, because if you don't use it with a clear understanding of the database, performance may be adversely affected. Another friend of mine did all of this for me. He was excellent in improving the score, and he solved the problems very calmly, which made me think that I have a lot to learn from him and that I still have a lot to learn from him.</p><h3 id="h426120897b">Separation of connection databases</h3><p>By default, the database server and the application server are both built on the base server, and all data initialization, etc., is completed in that file. I thought that if I switched to a faster server, I would be able to use INDEX-implemented tables. I was in charge of this, but there was more of a disconnect from my image than I had expected, and because it was not the database that I had originally envisioned, I was able to make it quite difficult. I think I was able to implement it. I think I was able to implement it, although it was quite dirty and forceful. However, it was not so much that I was able to verify the actual operation perfectly (of course I knew it would be difficult in time), but I was able to discover a bottleneck for myself that I need to study more about the architecture of this part of the infrastructure once I settle down. It was a great experience!</p><h3 id="h77b9a1c8e7">N+1 query problem</h3><p>I had been working with Ruby at a company where I had interned before, and I had been doing a lot of work with large data tables, trying to figure out how and when to join them, so I thought I was familiar with how to handle related tables, but how do you access related tables in Go? How do you access related tables? I thought I was familiar with how to access related tables and how to use them to improve performance. I thought I was used to dealing with related tables, but I was not able to do it because I forgot how to access related tables in Go language and how to use them to improve performance. Of course, I was able to implement some parts, but more than that, I may have underestimated the importance of what I had done in the past because I had done it so well. I would like to make sure that I review what I have not done for a long time before I start working on it...<br><img src="https://images.microcms-assets.io/assets/16519dbfe7054ef7b04d3143b8d55981/581ec541828d46fdaecba71f5cdcd71e/kelly-sikkema-Oz_J_FXKvIs-unsplash.webp" alt=""></p><h2 id="h1bf80b6e7a">Challenges</h2><p>Of course it was a learning experience, but it was also a time for reflection.<br>There were many things that I had not been able to do and things that I had been running away from that I wish I could have reviewed more thoroughly, and it was a very good opportunity for me to realize that if I still don't understand something, I should review my learning and make sure I do. I think it was a good opportunity for me. Still, I didn't expect to be able to do so much lol.</p><h3 id="hc562a1d758">Cache problem</h3><p>To be honest, I was in charge of this and spent most of the afternoon thinking about it, but I couldn't solve it by the end of the day. During development, I was thinking about libraries that could be implemented within the time frame, and if it was a simple cache process, I was considering implementing it on my own.</p><ol><li>Caching using an in-memory database such as Redis (I had already experienced this at a previous internship)</li><li>Caching on the data itself (or more correctly, on the framework itself)</li><li>Use it on the server (this is also used by binding it to the framework server)</li></ol><p>However, when I implemented and ran the test, I found that the benchmark test itself could not be used before the score itself due to a problem with the part of the test itself judging from the data match. When we thought about it, we used 1MB of cached data as the target of the cache data, but now we think that an algorithm that detects changes every time is implemented, and the cached data is preferentially used because it has become a specification. We believe that the error occurred due to a difference between the actual test data and the cached data. I think this part is really difficult and involves a lot of lower layers than the database, so I haven't studied it well enough anyway.</p><h3 id="ha5a68da6bb">Transaction</h3><p>I had completely forgotten about this. Looking at the code, it is true that there is no implementation that rolls back if one of the databases is stopped, and if there was a bug in the code, there was nothing we could do about it. I am now able to realize once again that it is worth using this part of the system because it is important data.</p><h3 id="h01e05fc4a2">Reverse Proxy</h3><p>I still don't understand this. It is more of a mechanism to relay the communication accessed from the external Internet to the server rather than the application trend value, and compared to a field proxy, the direction of connection is reversed. The most important thing to remember is that the field proxies are not only a way to access the server from the outside Internet, but also a way to relay the communication between the server and the application trend value. I felt that it is necessary for me to grow as an engineer in the future.</p><h2 id="h458e0d0ba6">Impressions</h2><p>Overall, from the bottom of my heart, I am very happy to have been able to participate in this year's tournament. I would also like to thank the two people who participated with me. I would like to aim to become an engineer like the two of them, and I believe that I have some strengths as an engineer that only I can have. I would like to try to become an engineer like the two of them, and I also think that I have some unique strengths as an engineer (I read documents and acquire the skills ridiculously fast lol).<br>And if I get another chance, I would like to compete again: ！！！！</p>

お久しぶりです。
このブログは本来エンジニアとしてのテックブログにしようと思っていたのですが
最近は英語が始まってしまい完全に日常でのブログと化してました笑
本日は自分自身では初の参加となるISUCONというエンジニアの大会に参加してきました。
まさか大学生のうちにこのような正式なエンジニアの大会に参加するなんて夢にも見てなかったです。✋
今回はその興奮と備忘録を残したいと思って書きます！！

Souta Tech Blog.

エンジニアまでの道のり

ISUCON12に出場してみた