GREを勉強する時にまとめていたノートです 因みに数学は一発満点でした Integer 整数 consecutive integer 連続した整数 positive whole number 正の整数 negative whole number 負の整数 even/even integer 偶数 odd/odd integer 奇数 real number 実数 div…

Zookeeper-envに起動オプションを付け加えて再起動： -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=8989 -Djava.rmi.server.hostname…

Journal nodeのメトリクスモニタリングの為、AmbariのUI上でjournal nodeのリモートjmxを開きます が、datanode や namenodeと違い、journal nodeはあまり弄った事がないので起動オプションを何処で付け加えたらいいのかわかりませんでした。 hortonworksのH…

I wanna monitor the JMX metrics of Journal node, but cannot find a relative option in Ambari UI. From the Hadoop source code, we can find that: elif [ "$COMMAND" = "journalnode" ] ; then CLASS='org.apache.hadoop.hdfs.qjournal.server.Journa…

Jmx_exporterとは？ JMXのMBeansから、Prometheus用の形式に変換し、メトリクスを出力することができるExporterです。 どうやって使うの？ 普通のアプリケーションはもちろん、KafkaやHDFSなどのオープンソースでもJMX用のポートを開ける物であれば簡単にア…

新しいデスクトップをセットアップしてる時、ついうっかり最新のJavaをダウンロードしてしまった Gradleで昔のプロジェクトをビルドするとエラーが Could not determine java version from '12.0.1'. なんとJava 12が入っていた 普段は8を使っていたので、ダ…

流行りのReact nativeを勉強してみようと思ったのでインストール npm install -g expo-cli Result: ERR! sharp EACCES: permission denied, mkdir '/Users/***/.npm/_libvips' info sharp Attempting to build from source via node-gyp but this may fail d…

Nodejs をアップグレードしたが 旧バージョンでnode_moduleがインストールされている可能性が高い１回全部rmして、インストールし直すと大体治る

地味にめんどいNodeのアップグレード。 良さげの手順書見つけたのでめも npm内のキャッシュをクリア sudo npm cache clean -f n モジュールをインストール sudo npm install -g n 最新の安定バージョンNodejsをインストール sudo n stable nodeコマンドのリ…

インストール手順:1. 公式レポジトリを追加: ※自分のOSと希望のバージョンに合わせてください MySQL :: A Quick Guide to Using the MySQL Yum Repository $ sudo rpm -Uvh http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 2. mysql…

自分用メモ res=$(curl -X GET http://---- -H "Authorization: bearer _____") echo ${res}

大勢が夢見る海外留学。 しかしいざネットで情報を調べだすと必要な資料が多いと気づく。 GPA, トーフル、GRE, ボランティア経験等など。 しかし私自身、成績関連のものより苦労したのが推薦状です。 アメリカでは、多くの大学や大学院が推薦状を出してくだ…

公式ページからイメージをdownloadして来たつもりがzookeeperの起動時で怒られた 調べてみるとどうやらバイナリではなくソースコードをダウンロードしてきたようだ。kafka.apache.org↑からダウンロードするのだが、上の画像で、ソースコードと描かれている部…

オフィシャルページが割と分かりずらかったのでメモとりあえず公式ページからダウンロード：↓ Download Protocol Buffers | Protocol Buffers | Google Developers最新バージョンを使いたい場合はLatest Versionをクリック 現時点での最新バージョンは3.6.1…

プロトコルバッファーを使いログを流しているのですが、 protocol buffersで生成したファイルがコンパイル出来ないと怒られました。原因は原因はローカルにダウンロードしたprotocol buffersのバージョンが3.6.1で、 gradleに書いたバージョンが3.3.0だった…

自分用メモzookeeper-shell.sh localhost:2181 だよ

何かとややこしいkafkaの終了、綺麗にシャットダウンする為の方法です。起動したいサーバーのプロパティファイル config/server.properties の中に controlled.shutdown.enable=trueを追加します。終了したい時に bin/kafka-server-stop.shを叩けば綺麗に終…

正しく終了されてない/正しく起動されていないkafkaサーバーはプロセスが残り、起動する時に怒られます。 zookeeperに登録されたidを消すか、PIDをgrepして殺してしまいましょう $ ps aux | grep zookeeper $kill -9 <zookeeper.properties process>kafkaサーバーを終了してからzoo keeper</zookeeper.properties>…

ニュースでよく 中国はフィンテック先進国～ スマホ決済大国～ 等の記事を見ると必ずあるのが ”現金がまともに機能しない国じゃ～”、 ”日本は現金がすばらしいから～” 等のコメントですが、先日ついに某ネットニュースでもそのような発言が見られ、 そう言っ…

今までは、ビルドする度にテストサーバーに繋いでテストをしていたが、開発人数が増えた為衝突が起きる様になりました。 その衝突を避ける為にdockerを使ったテスト環境を作った話です。私のプロジェクトはgradleで動いています。なのでテスト環境の時のみ、…

最近Dockerを使い始めたのですが、一つ躓いたのでメモ。Dockerのコンテナを立上げる時、コンテナとは別に実は裏でボリュームと言う物も立ち上がっています。 （立上げる時に使うイメージによって違うかもしれませんがMysqlを立上げたら勝手に立ち上がるのは…

初心者用メモ最近あまり忙しくないのでGO言語を勉強したいと思います。（いまさら）早速公式チュートリアルで勉強A Tour of Go二章あたりに進めたら"math/rand"をインポートしてランダム整数を出力する練習があるのだが、 何回実行しても同じ数字が帰って来…

Gradleが新しい4.9を出したのでアップデート 主なアップデート： コマンドラインからgradleアップデート JavaExecがコマンドラインからの引数をサポート gradle自体の改善（レポート、ビルドチェックや速度等） 新しいtask API →不要なtaskの実行とビルドを…

すごく基礎的な事ですけどいつも忘れるのでメモSqlのSchemaをexportして新たに作りたい時、dumpしたデータをそのままimportすると ERROR 1215 (HY000) at line **: Cannot add foreign key constraint と怒られる。sqlのimportをする時は必ず頭に SET FOREIG…

gradleからscriptを起動させる際に、方法は幾つかありますが、 exec{} と .execute() の違いについてメモります。 exec{} : tasks.withType(Test) { exec { commandLine '/bin/sh', '-c', "./test.sh" } } .execute() : tasks.withType(Test) { "./test.sh".…

gradleからずっとwarningが出ていたのですが、手が空いたので対応。 原因は、元々pluginで用意されていたaptツールを使っていたのだが、 gradle2.2以上から標準搭載されたのでそちらを推薦している為warningが起きて居た。元々aptのplugin を使っていた方はa…

先週dockerを起動ランダムなportで起動 -> javaからアクセスと言うことをしていたのですが、 起動したportをgradleからjavaへ渡さなければなりません。（javaからの取得だとstreamとか開いて面倒い） と言う事でgradleから取得したport番号をjavaに渡して見…

自分用メモ テスト用にdockerを使っているので自動したい 毎回pullしても良いのだがゴミが溜まるし時間がかかる pullやstop、rm操作の前に事前確認したいとの事で以下で解決起動していたらそのまま使う： if [[ "$(docker images -q mysql:5.7)" == "" ]]; t…

docker で色々作業をしているのですが、昨日突然起動できなくなり、再起動しても治らない。 とりあえずログを見てみよう $ docker logs { コンテナID }中を見てみるとこうなっていた Initializing database 2018-08-14T01:23:13.466033Z 0 [Warning] TIMESTA…

Javaのクラスからdockerに接続しなければいけない事があり、 しかしそのdockerはランダムなportを使用していて、portを調べなければならないと言う。 一つの方法として、runtime execを使い、そのdockerのport番号をgrepする事だ。 最初に書いた実装が以下：…