今までsjisとかujisとかだったMySQLのデータベースをutf8mb4に変換しようとしていたときの話。キーの最大長という壁にぶつかったらしい。 http://d.hatena.ne.jp/takihiro/20080306/1219295452 MySQLのリファレンスを見ると、こんなことが書いてある。 プレフィックスは、最大1000バイト長(InnoDBテーブルに対しては767バイト)まで可能です。プレフィックスの最大長はバイトで評価されます。一方、CREATE TABLEステートメント内のプレフィックス長は文字数として解釈されます。プレフィックス長を、マルチバイトキャラクタセットを使用するカラムに対して指定するときこのことを考慮に入れなければいけません。 ここでは、直接的にはTEXT型やBLOB型について言っているのだが、VARCHAR型なども同様。 ということで、以下のようなC
環境： MySQL Server version: 5.6.19 Rails 4.1.5 iPhone の絵文字を MySQL に登録しようとしたらMysql2::Error: Incorrect string value:...というエラーが出た。3バイトに収まらない4バイトUTF-8を扱うには MySQL 5.5.3 以上でキャラクタセットをutf8mb4にする必要がある。 database.yml の encoding を utf8 から utf8mb4 に変更した。 config/database.yml 修正前： default: &default adapter: mysql2 encoding: utf8 pool: 5 username: root password: socket: /tmp/mysql.sock development: <<: *default dat
攻撃に利用された場合、root権限で任意のコードを実行され、サーバを制御される可能性が指摘されている。 米Oracle傘下のオープンソースデータベース「MySQL」に未解決の脆弱性が見つかったとして、セキュリティ研究者が9月12日に概略やコンセプト実証コードを公開した。サイバー攻撃に利用された場合、root権限で任意のコードを実行され、サーバを制御される可能性が指摘されている。 研究者のDawid Golunski氏が公開した情報によれば、MySQLの脆弱性は複数発見され、、中でも特に深刻な1件については、リモートの攻撃者がMySQLの設定ファイルに不正な内容を仕込むSQLインジェクション攻撃に利用される恐れがある。 この脆弱性は、MySQLの最新版を含む5.7系、5.6系、5.5系の全バージョンに、デフォルトの状態で存在する。現時点でOracle MySQLサーバの脆弱性修正パッチは存在
rowsが違うんですが・・・ テストしてて気付きました。 rowsを早く知りたくて show table status を使っていたのですが、実は適当な値だったのです。 膝から崩れ落ちそうになりました。 コンソール ※ 固有名などはマスクしています [root@hoge batch]# mysql -uroot -proot --database=my_work mysql> show table status; +-----------+--------+---------+------------+---------+----------------+-------------+-----------------+--------------+-----------+----------------+---------------------+-------------+-------
やりたいこと mysql では大抵エンジンは innodb を使うと思いますが、、、 show table status や schema_infomation.tablesのtable_rows の件数が概算値となりブレてよくわからなくなる時があります。 特にレコードを大量に消した時やレコードを追加した時に正確な値が取れない。。。 なぜそうなるのか、、、調べきれていないけどとりあえず件数が知りたい。。。 解決策 必要な分だけカウントを取るワンライナーを書けばいいんだということに辿り着いた。 以下のようなSQLを書くとイケる！！！！ サクッとSQLで書くと以下のようになる。各テーブルごとのcountをとって出力する。 mysql> SELECT (SELECT count(*) FROM table1) AS table1, (SELECT count(*) FROM table2) AS
今回はMySQLのストレージエンジンという重箱の隅をつつくようなネタをメモしておきます。 私はMySQLについてはよちよちレベルなので、込み入った内容には触れられません。初心者でも理解しやすい部分での違いを中心にまとめていこうと思います。 【復習】ストレージエンジンとは MySQLなどのデータベース管理システムが、データベースにデータを書き込んだり、読み込んだりするときに使われる基盤を「ストレージエンジン」と呼びます。初心者同士の会話の中で「MySQLを使ってデータを保存する」と表現することがありますが、実際にデータの保存処理を行っているのが、このストレージエンジンになります。MySQLの論理構造を図で載せます。 MySQLは「データベース管理システム」ですので、データベースを管理するために必要である様々な機能が搭載されています。その中の「データの読み書き」という部分を担当しているのがスト
さらにMySQLを高速化する7つの方法
MySQLを高速化する10の方法という記事がとても好評だったようである。記事を読んで頂いた皆さん、ありがとう。 この記事に対する便乗（？）でWeb屋のネタ帳: PostgreSQLを高速化する16のポイントという記事を書いて頂いたようだが、そちらの方もかなり人気だったようである。他人が作ったソフトウェアに改良を加えるというフリーソフトウェアやオープンソースソフトウェアの精神も基本は便乗であるので、便乗については大いに賛成したいというかむしろ取り上げてくれてありがとう！！と思うわけであるが、ここでさらに俺はこう考える。 と。 Web屋のネタ帳さんの記事では16のポイントが紹介されているが、漢（オトコ）のコンピュータ道の記事は10の方法だったのであと6つ足りない。オトコは数で勝負！！というわけで今日はネタを振り絞ってさらに7つのMySQL高速化テクニックを紹介しよう。 1. インテルコンパイラ
仕事でALTERぶん投げたときにワタワタしたので忘れない用にメモ。 ## 想定(実際の数字とは違う) - 1億件のデータ入ってるテーブルをどうしても変更する必要があったので、ALTER文を使って変更する - サービスのメンテナンス時間はある程度確保 - stagingである程度のテストは終わってるが、データ量が違いすぎるので予想しにくい ## 下準備 - MySQLでALTER TABLE文を投げても進捗がわからないと思っていたが、わかるらしい - MySQLでALTER TABLE文の進捗状況を確認する - そっからほとんどコピペしてシェルを作った - ALTER文投げる前に"SHOW GLOBAL STATUS LIKE 'Handler_write';"を実行して、数をとっておく - シェルが吐き出す数字と実行前に取った数字の差分がinsertされてる件数なので目安にする #!/bi
ロックを取得するには以下のようにする。 mysql> LOCK TABLES friends READ; READロックを取得 mysql> LOCK TABLES friends WRITE; WRITEロックを取得 mysql> LOCK TABLES table_a READ, table_b WRITE; 複数のテーブルを同時にロック テーブルのロックを解除する場合は、以下のようにする。 mysql> UNLOCK TABLES; 複数のテーブルをロックする場合にはLOCK TABLESにカンマで区切ってテーブルを並べる。LOCK TABLESを複数回呼び出して複数テーブルをロックすることはできない。(LOCK TABLESを実行するとすでに取っているロックは解除される) これは、複数のテーブルをロックする場合は、ロックの取得順はMySQLが管理し、どのスレッドも同じ順序でロックを
外部キー便利!!! MackerelではPostgreSQLで外部キーあり そのレコードがあることが保証される 各テーブルのidにアプリケーションレベル(Mackerelの場合Scala)で型付けをするとなお便利 MemberID型、MonitorID型 → idで誤ったテーブルを引くとかがない 本日のスキーマ CREATE TABLE `member` ( `id` INTEGER unsigned NOT NULL auto_increment, `earned_item_count` INTEGER unsigned NOT NULL DEFAULT 0, `name` VARCHAR(191) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARACTER SET utf8mb4; CREATE TABLE `item`
5〜6回は似たようなことで毎回数時間費やしている。とり頭過ぎる。メモしないとダメだ！。 サーバー側環境 Debian GNU/Linux wheezy インストール ＆ 設定 % sudo aptitude install mysql-serverログは /var/log/syslog に吐き出される。設定ファイルは/etc/mysql/my.cnf。データベースは /var/lib/mysql 以下。 外部からアクセスできるようにする。/etc/myusql/my.cnfのbind-addressを以下のようにする。 bind-address = 0.0.0.0/etc/hosts.allowにてmysqldをアクセスできるようにする。仮に hogehoge.co.jp をアクセス可能とする。 mysqld: hogehoge.co.jp LOCALmysqldを立ち上げ直す。 % su
気づいたらいつの間にか Docker Official な MySQL イメージ が公開されていたので、ちょうどとある製品の検証目的で使い捨てられる MySQL の環境が欲しかったついでに試してみたところ、ちょっとハマって数時間を無駄にしてしまったことにカッとして書き殴ったメモ。 (photo by Mark Interrante) 達成したいこと 達成したかったことは以下のとおり。 お手軽にポイ捨てできる MySQL 環境を構築・用意したい Dockerfile をシコシコつくるのは面倒だったので、既存の Docker イメージを利用したい boot2docker はあんまりいい思い出がなかったので、Vagrant で構築した VM 上に Docker 環境を構築したい やろうとしたこと やろうとしたことの具体的な手順は以下のとおり。 Ubuntu 14.04 の VM 環境を Vagr
コマンドラインから MySQL に接続する際に、接続するポート番号を指定することができます。 ポート番号を指定する場合には -P オプションを使用します。 mysql -P ポート番号 パスワードを送信するオプション -p は小文字ですが、ポート番号を指定するオプションは -P と大文字になります。 尚、MySQL のポート番号がデフォルトの 3306 で起動している場合、このオプションは不要です。 D:\MySQL\bin>mysql -u root -D test -p Enter password: *********** Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2 to server version: 4.1.19-community-nt Type '
MySQL 外部ホストからアクセスする 2010.06.09 MySQL root でログイン後、登録されているユーザを調べて、外部IPアドレスを追加登録する。 ■ユーザを調べる mysql> use mysql; mysql> select user, host from user; +---------+----------------------+ | user | host | +---------+----------------------+ | root | aaa-web.mydomain.com | | root | localhost | | kataoka | localhost | +---------+----------------------+ 5 rows in s
MySQLは広く使われているRDBMSです。速いし、レプリケーションのノウハウもあるし、Web上にたくさんの情報もあるからいざというときも安心、というのがその理由でしょう。 そんなMySQLの弱点の1つがデフォルトでは日本語で全文検索できないことです。でも、日本語で全文検索したいし。。。どうしよう。 そんなあなたに最近の日本語の全文検索事情を紹介します。Solr？Elasticsearch？Groonga？PostgreSQLはどうやっているの？Mroonga？Sphinx？ いろいろ考えると日本語で全文検索するときもMySQLを使うのがいいね！と思えてくるから不思議です。最近の日本語の全文検索事情を聞いて一緒に考えてみませんか？ Page: 1 いろいろ考えると 日本語の全文検索も MySQLがいいね！ 須藤功平 日本MySQLユーザ会 OSC2014 Tokyo/Fall 2014/1
仕事でMySQLのパフォーマンスチューニングをしていて、インデックスについて分かっていないことが多かったので調べたことをメモ。基本的なところから学習しなおした。 MySQLのインデックスは、カラムが特定の値をもつレコードの迅速な検索に使用される。インデックスを使用すれば、数百とか数億ものレコードが入っているテーブルから、一組のレコードを迅速に見つけて取り出すことが可能になる。 しかし、インデックスは速度を改善することもあるが、挿入の邪魔になって遅くなることもある。 インデックスを適切に使うために、まずはインデックスの基本概念をおさえる必要がある。 インデックスの概念 インデックスとは インデックスの仕組みを理解するには、まずMySQLがどのようにクエリに応答するかを知る必要がある。 例えば、 SELECT * FROM phone_book WHERE last_name = 'Hoge'
いつのものやつですね。 つい先日MySQL 5.6 GAが公開されたので、早速macにインストールしてみました。 DMG形式インストールしたので、インストールで躓くことはありませんでした。 .bash_profileにmysql/binのパスも通しました。 さて、起動です。 ( #^^) 「今日も平常運転ですねMySQLさん」 まあお約束ですね。起動しません。my.cnfの設定が悪いわけです。 my.cnfはMySQL5.1で使っていたものをそのまま使ってみました。 名前が変わったり廃止された設定が混在しており、修正にかなり手間がかかりました。 以下は私の環境で動かしているmy.cnfの設定です。 [client] port=3306 default-character-set = utf8mb4 [mysqld] port=3306 # wrong #default-character-
All of Percona’s open source software products, in one place, to download as much or as little as you need.
実践ハイパフォーマンスMySQL 第2版 作者: Baron Schwartz,Peter Zaitsev,Vadim Tkachenko,Jeremy D. Zawodny,Arjen Lentz,Derek J. Balling,伊藤直也(監訳),田中慎司(監訳),吉川英興(監訳),株式会社クイープ出版社/メーカー: オライリージャパン発売日: 2009/12/14メディア: 大型本購入: 17人 クリック: 373回この商品を含むブログ (46件) を見る 実践ハイパフォーマンスMySQLですがMySQL開発者にとっては誰もが目を通しておいた方が良いと推薦される本なので重要なポイントだけをまとめてみたいと思います。まだ前半しか読んでいませんがMySQLの細かいテクニックが載っていて感動です。全部で700ページ近くある本なので斜め読みをした結果を載せて行きます。内容としては実践的なもの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
