welcom ! Handel home

2018年10月16日 星期二

Linux / CentOS 7 :安裝 Hadoop

Hadoop: 如何在 CentOS 7.1.1503 安裝 Hadoop 2.7.1 (Single-Node Cluster)


http://jasper-it.blogspot.tw/2015/08/hadoop-centos-711503-hadoop-271-single.html

張貼者： 沒有留言:
標籤： ,

MQTT mosquitto.conf 參數說明

Mosquitto MQTT 安裝

2016年8月17日
Tags :UbuntuMosquittoMQTT
  • MQTT 的全名為 Message Queuing Telemetry Transport，為 IBM 和 Eurotech 共同製定出來的協定，MQTT 是為了物聯網設計的協定，透過Publish/Subscribe 的方式來做訊息傳送。
  • Publish/Subscribe 有三種主要的組成元件，分別為Publisher、Subscriber 以及 Topic。
  • mosquitto 為 Eclipse 所開發的開源 MQTT broker 和給用戶端使用C語言的API介面，目前最新版本為 V1.4.9。

Prerequisites



sudo wget http://repo.mosquitto.org/debian/mosquitto-repo.gpg.key







sudo apt-key add mosquitto-repo.gpg.key







cd /etc/apt/sources.list.d/







sudo wget http://repo.mosquitto.org/debian/mosquitto-wheezy.list







sudo apt-get update

Install Mosquitto Broker



sudo apt-get install mosquitto

Install Mosquitto Client



sudo apt-get install mosquitto-clients

測試

開啟兩個終端機分別輸入
終端機1(Subscribe)


mosquitto_sub -d -t hello/world

-d :debug 模式 , -t :訂閱的主題名稱 , -h :Broker's IP , -p :Broker's port
終端機2(Publish)


mosquitto_pub -d -t hello/world -m "Hello from Terminal window 2!"

-m :發送的文字內容
當兩個command line 都輸入完後終端機分別會看到
終端機1(Subscribe)


Client mosqsub/83-MQTT1 sending CONNECT



Client mosqsub/83-MQTT1 received CONNACK



Client mosqsub/83-MQTT1 sending SUBSCRIBE (Mid: 1, Topic: hello/world, QoS: 0)



Client mosqsub/83-MQTT1 received SUBACK



Subscribed (mid: 1): 0



Client mosqsub/83-MQTT1 received PUBLISH (d0, q0, r0, m0, 'hello/world', ... (29 bytes))



Hello from Terminal window 2!

終端機2(Publish)


MQTT@MQTT:~$ mosquitto_pub -d -t hello/world -m "Hello from Terminal window 2!"



Client mosqpub/82-MQTT sending CONNECT



Client mosqpub/82-MQTT received CONNACK



Client mosqpub/82-MQTT sending PUBLISH (d0, q0, r0, m1, 'hello/world', ... (29 bytes))



Client mosqpub/82-MQTT sending DISCONNECT

mosquitto.conf 參數說明

設定檔設置於 /etc/mosquitto/mosquitto.conf
詳細的參數說明如下：






# ================================================= ================



# General configuration



# ================================================= ================



  



# 客戶端心跳的間隔時間



#retry_interval 20



  



# 系統狀態的刷新時間



#sys_interval 10



  



# 系統資源的回收時間，0表示盡快處理



#store_clean_interval 10



  



# 服務進程的PID



#pid_file /var/run/mosquitto.pid



  



# 服務進程的系統用戶



#user mosquitto



  



# 客戶端心跳消息的最大並發數



#max_inflight_messages 10



  



# 客戶端心跳消息緩存隊列



#max_queued_messages 100



  



# 用於設置客戶端長連接的過期時間，默認永不過期



#persistent_client_expiration



  



# ================================================= ================



# Default listener



# ================================================= ================



  



# 服務綁定的IP地址



#bind_address



  



# 服務綁定的端口號



#port 1883



  



# 允許的最大連接數，-1表示沒有限制



#max_connections -1



  



# cafile：CA證書文件



# capath：CA證書目錄



# certfile：PEM證書文件



# keyfile：PEM密鑰文件



#cafile



#capath



#certfile



#keyfile



  



# 必須提供證書以保證數據安全性



#require_certificate false



  



# 若require_certificate值為true，use_identity_as_username也必須為true



#use_identity_as_username false



  



# 啟用PSK（Pre-shared-key）支持



#psk_hint



  



# SSL/TSL加密算法，可以使用"openssl ciphers"命令獲取



# as the output of that command.



#ciphers



  



# ================================================= ================



# Persistence



# ================================================= ================



  



# 消息自動保存的間隔時間



#autosave_interval 1800



  



# 消息自動保存功能的開關



#autosave_on_changes false



  



# 持久化功能的開關



persistence true



  



# 持久化DB文件



#persistence_file mosquitto.db



  



# 持久化DB文件目錄



#persistence_location /var/lib/mosquitto/



  



# ================================================= ================



# Logging



# ================================================= ================



  



# 4種日誌模式：stdout、stderr、syslog、topic



# none 則表示不記日誌，此配置可以提升些許性能



log_dest none



  



# 選擇日誌的級別（可設置多項）



#log_type error



#log_type warning



#log_type notice



#log_type information



  



# 是否記錄客戶端連接信息



#connection_messages true



  



# 是否記錄日誌時間



#log_timestamp true



  



# ================================================= ================



# Security



# ================================================= ================



  



# 客戶端ID的前綴限制，可用於保證安全性



#clientid_prefixes



  



# 允許匿名用戶



#allow_anonymous true



  



# 用戶/密碼文件，默認格式：username:password



#password_file



  



# PSK格式密碼文件，默認格式：identity:key



#psk_file



  



# pattern write sensor/%u/data



# ACL權限配置，常用語法如下：



# 用戶限制：user 



# 話題限制：topic [read|write] 



# 正則限制：pattern write sensor/%u/data



#acl_file



  



# ================================================= ================



# Bridges



# ================================================= ================



  



# 允許服務之間使用"橋接"模式（可用於分佈式部署）



#connection 



#address [:]



#topic  [[[out | in | both] qos-level] local-prefix remote-prefix]



  



# 設置橋接的客戶端ID



#clientid



  



# 橋接斷開時，是否清除遠程服務器中的消息



#cleansession false



  



# 是否發布橋接的狀態信息



#notifications true



  



# 設置橋接模式下，消息將會發佈到的話題地址



# $SYS/broker/connection//state



#notification_topic



  



# 設置橋接的keepalive數值



#keepalive_interval 60



  



# 橋接模式，目前有三種：automatic、lazy、once



#start_type automatic



  



# 橋接模式automatic的超時時間



#restart_timeout 30



  



# 橋接模式lazy的超時時間



#idle_timeout 60



  



# 橋接客戶端的用戶名



#username



  



# 橋接客戶端的密碼



#password



  



# bridge_cafile：橋接客戶端的CA證書文件



# bridge_capath：橋接客戶端的CA證書目錄



# bridge_certfile：橋接客戶端的PEM證書文件



# bridge_keyfile：橋接客戶端的PEM密鑰文件



#bridge_cafile



#bridge_capath



#bridge_certfile



#bridge_keyfile



  



# 自己的配置可以放到以下目錄中



include_dir /etc/mosquitto/conf.d

參考來源 :
  1. Mosquitto簡要教程（安裝/使用/測試）
  2. Tutorial: IOT / Installing and Testing Mosquitto MQTT on the Raspberry Pi
認證方式
Broker的認證方式，Mosquitto端提供了四種認證方法分別為
  • 無認證
  • 帳號/密碼
  • 預先共享密鑰(Pre-shared Key)加密
  • 憑證加密

無認證

要打開 /etc/mosquitto/mosquitto.conf 設定檔將allow_anonymous設定為true即可。此時我們可以利用mosquitto_sub來測試
Subscribe


mosquitto_sub -h "" -v -t ""

Publish


mosquitto_pub -h "" -v -t "" -m ""

-t :訂閱的主題，-v :連主題名稱也列印在銀幕上。

帳號/密碼

  • 新增帳號密碼
    使用此方式需利用上述的 mosquitto_passwd 產生密碼，並將密碼檔案名稱設定到password_file此欄位。
    
mosquitto_passwd -c "" ""
    如果passwordfile檔案已經存在，則下次新增使用者則不需要加 -c
    下列命令將新產生一個密碼檔案/etc/mosquitto/passwd，並建立一個帳號名稱為easy，使用者輸入密碼後即可建立帳號與密碼
    
sudo mosquitto_passwd -c /etc/mosquitto/passwd easy
    

    
Password: xxxx
    

    
Reenter password: xxxx
  • 設定ACL(Access Control List)
    Path : /etc/mosquitto/acl 內容如下:
    
# 用戶easy 對於主題hello/world 能夠進行寫入
    

    
user easy  
    

    
topic write hello/world
    

    

    

    
# 用戶easy 對於主題hello/world 能夠進行讀取
    

    
user easy  
    

    
topic read hello/world
  • 最後更改 /etc/mosquitto/mosquitto.conf 設定檔
    
allow_anonymous false  #不允許匿名傳輸
    

    

    

    
password_file /etc/mosquitto/passwd #配置用戶(username)密碼
    

    

    

    
acl_file /etc/mosquitto/acl #設置用戶與主題(topic)存取權限
  • 測試
    Subscribe
    
mosquitto_sub -h "" -v -d -t "" -u "" -P ""
    Publish
    
mosquitto_pub -h "" -v -t "" -m "" -u "" -P ""

預先共享密鑰(Pre-shared Key)加密

這個認證方式需要使用到OpenSSL中的預先共享密鑰加密方式，而在OpenBSD開發的LibreSSL專案中，因為SSL/TLS安全性的問題，預先共享密鑰加密方式暫時被移除了。
未移除之前的修改方式如下：
  • 設定PSK(Pre-Shared Key)
    Path : /etc/mosquitto/psk 內容如下:
    每一行有兩個欄位以':'隔開，第一個欄位為帳號而第二個欄位即為密鑰
    
#帳號:密鑰
    

    
easy:b7ecaa34a9dbd7bfb8e9ee707427176d04d19eb3
  • 修改 /etc/mosquitto/mosquitto.conf 設定檔
    
#不允許匿名傳輸
    

    
allow_anonymous false  
    

    

    

    
# 取消 MQTT username for access
    

    
require_certificate true    
    

    

    

    
# 開啟 pre-shared-key based encryption
    

    
use_identity_as_username true  
    

    

    

    
# 設置 psk_file
    

    
psk_file /mosquitto/psk
  • 測試
    Subscribe
    
mosquitto_sub -h "" -v -d  -t "" --psk-identity "" -psk ""
    Publish
    
mosquitto_pub -h "" -v -t "" --psk-identity "" -psk "" -m ""

憑證加密

TLS是非常成熟的安全協議，在握手的時候便可以創建安全連接，使得駭客無法竊聽或者篡改內容。使用TLS的時候有以下注意點：
  1. 盡可能使用高版本的TLS。
  2. 驗證X509憑證連結防止中間人攻擊。
  3. 儘量使用有CA發佈的證書。
產生憑證的方法可以參考如下
  • 產生憑證
    建立CA(Certificate Authority)所需的證書及密鑰
    
openssl req -new -x509 -days 365 -extensions v3_ca -keyout ca.key -out ca.crt
    系統端的憑證
    
# 產生不加密的金鑰
    

    
openssl genrsa -out server.key 2048
    

    

    

    
# 產生憑證簽發請求檔案(Certificate Signing Request)
    

    
openssl req -new -key server.key -out server.csr
    

    

    

    
# 憑證簽發
    

    
openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out server.crt -days 365
  • 修改 /etc/mosquitto/mosquitto.conf 設定檔
    
listener 8883
    

    

    

    
cafile /etc/mosquitto/ca.crt
    

    

    

    
certfile /etc/mosquitto/server.crt
    

    

    

    
keyfile /etc/mosquitto/server.key
  • 測試
    Subscribe
    
mosquitto_sub -d -h "" -p 8883 -t topic --cafile ca.crt
    Publish
    
mosquitto_pub -d -h "" -p 8883 -t topic -m "Hello World!" --cafile ca.crt
參考來源:
  1. Mosquitto - an Open Source MQTT broker
  2. mosquitto介紹 · MQTT and mosquitto
張貼者： 沒有留言:
標籤： , ,

Redis資料結構簡介 :TRING（字串）、LIST（清單）、SET（集合）、HASH（散列）和ZSET（有序集合）

edis資料結構簡介
Redis可以存儲鍵與5種不同資料結構類型之間的映射，這5種資料結構類型分別為
STRING（字串）、LIST（清單）、SET（集合）、HASH（散列）和ZSET（有序集合）


1. STRING（字串）:
字串命令: 
命令        行為
GET  獲取存儲在給定鍵中的值
SET  設置存儲在給定鍵中的值
DEL  刪除存儲在給定鍵中的值（這個命令可以用於所有類型）
代碼清單1-1 SET、GET和DEL的使用示例

$ redis-cli                                 # 啟動redis-cli 用戶端
redis 127.0.0.1:6379> set hello world       # 將鍵 hello 的值設置為 world 。
OK                                          # SET 命令在執行成功時返回 OK ，Python 用戶端會將這個 OK 轉換成 True
redis 127.0.0.1:6379> get hello             # 獲取儲存在鍵 hello 中的值。
"world"                                     # 鍵的值仍然是 world ，跟我們剛才設置的一樣。
redis 127.0.0.1:6379> del hello             # 刪除這個鍵值對。
(integer) 1                                 # 在對值進行刪除的時候，DEL 命令將返回被成功刪除的值的數量。
redis 127.0.0.1:6379> get hello             # 因為鍵的值已經不存在，所以嘗試獲取鍵的值將得到一個 nil ，
(nil)                                       # Python 用戶端會將這個 nil 轉換成 None。
redis 127.0.0.1:6379>

2. LIST（列表）:
列表命令 
命令        行為
RPUSH     將給定值推入到列表的右端
LRANGE   獲取列表在給定範圍上的所有值
LINDEX    獲取清單在給定位置上的單個元素
LPOP        從列表的左端彈出一個值，並返回被彈出的值
代碼清單1-2 RPUSH、LRANGE、LINDEX和LPOP的使用示例

redis 127.0.0.1:6379> rpush list-key item   # 在向清單推入新元素之後，該命令會返回列表的當前長度。
(integer) 1                                 #
redis 127.0.0.1:6379> rpush list-key item2  #
(integer) 2                                 #
redis 127.0.0.1:6379> rpush list-key item   #
(integer) 3                                 #
redis 127.0.0.1:6379> lrange list-key 0 -1  # 使用0為範圍的起始索引，-1為範圍的結束索引，
1) "item"                                   # 可以取出清單包含的所有元素。
2) "item2"                                  #
3) "item"                                   #
redis 127.0.0.1:6379> lindex list-key 1     # 使用LINDEX可以從清單裡面取出單個元素。
"item2"                                     #
redis 127.0.0.1:6379> lpop list-key         # 從清單裡面彈出一個元素，被彈出的元素不再存在於清單。
"item"                                      #
redis 127.0.0.1:6379> lrange list-key 0 -1  #
1) "item2"                                  #
2) "item"                                   #
redis 127.0.0.1:6379>

3. SET（集合）:
集合命令 
命令        行為
SADD       將給定元素添加到集合
SMEMBERS     返回集合包含的所有元素
SISMEMBER    檢查給定元素是否存在于集合中
SREM       如果給定的元素存在于集合中，那麼移除這個元素
代碼清單1-3 SADD、SMEMBERS、SISMEMBER和SREM的使用示例

redis 127.0.0.1:6379> sadd set-key item     # 在嘗試將一個元素添加到集合的時候，
(integer) 1                                 # 命令返回1表示這個元素被成功地添加到了集合裡面，
redis 127.0.0.1:6379> sadd set-key item2    # 而返回0則表示這個元素已經存在于集合中。
(integer) 1                                 #
redis 127.0.0.1:6379> sadd set-key item3    #
(integer) 1                                 #
redis 127.0.0.1:6379> sadd set-key item     #
(integer) 0                                 #
redis 127.0.0.1:6379> smembers set-key      # 獲取集合包含的所有元素將得到一個由元素組成的序列，
1) "item"                                   # Python用戶端會將這個序列轉換成Python集合。
2) "item2"                                  #
3) "item3"                                  #
redis 127.0.0.1:6379> sismember set-key item4   # 檢查一個元素是否存在于集合中，
(integer) 0                                     # Python用戶端會返回一個布林值來表示檢查結果。
redis 127.0.0.1:6379> sismember set-key item    #
(integer) 1                                     #
redis 127.0.0.1:6379> srem set-key item2    # 在使用命令移除集合中的元素時，命令會返回被移除的元素數量。
(integer) 1                                 #
redis 127.0.0.1:6379> srem set-key item2    #
(integer) 0                                 #
redis 127.0.0.1:6379>  smembers set-key
1) "item"
2) "item3"
redis 127.0.0.1:6379>

4. HASH（散列）:
散列命令 
命令        行為
HSET        在散列裡面關聯起給定的鍵值對
HGET       獲取指定散列鍵的值
HGETALL  獲取散列包含的所有鍵值對
HDEL       如果給定鍵存在於散列裡面，那麼移除這個鍵
代碼清單1-4 HSET、HGET、HGETALL和HDEL的使用示例

redis 127.0.0.1:6379> hset hash-key sub-key1 value1 # 在嘗試添加鍵值對到散列的時候，
(integer) 1                                         # 命令會返回一個值來表示給定的鍵是否已經存在於散列裡面。
redis 127.0.0.1:6379> hset hash-key sub-key2 value2 #
(integer) 1                                         #
redis 127.0.0.1:6379> hset hash-key sub-key1 value1 #
(integer) 0                                         #
redis 127.0.0.1:6379> hgetall hash-key              # 獲取散列包含的所有鍵值對，
1) "sub-key1"                                       # Python用戶端會將這些鍵值對轉換為Python字典。
2) "value1"                                         #
3) "sub-key2"                                       #
4) "value2"                                         #
redis 127.0.0.1:6379> hdel hash-key sub-key2        # 在刪除鍵值對的時候，
(integer) 1                                         # 命令會返回一個值來表示給定的鍵在移除之前是否存在於散列裡面。
redis 127.0.0.1:6379> hdel hash-key sub-key2        #
(integer) 0                                         #
redis 127.0.0.1:6379> hget hash-key sub-key1        # 從散列裡面單獨取出一個域。
"value1"                                            #
redis 127.0.0.1:6379> hgetall hash-key
1) "sub-key1"
2) "value1"

5. ZSET（有序集合）:
有序集合命令 
命令        行為
ZADD       將一個帶有給定分值的成員添加到有序集合裡面
ZRANGE   根據分值的排序順序，獲取有序集合在給定位置範圍內的所有元素
ZRANGEBYSCORE   獲取有序集合在給定分值範圍內的所有元素
ZREM      如果給定成員存在于有序集合，那麼移除這個成員
代碼清單1-5 ZADD、ZRANGE、ZRANGEBYSCORE和ZREM的使用示例

redis 127.0.0.1:6379> zadd zset-key 728 member1     # 在嘗試向有序集合添加元素的時候，
(integer) 1                                         # 命令會返回新添加元素的數量。
redis 127.0.0.1:6379> zadd zset-key 982 member0     #
(integer) 1                                         #
redis 127.0.0.1:6379> zadd zset-key 982 member0     #
(integer) 0                                         #
redis 127.0.0.1:6379> zrange zset-key 0 -1 withscores   # 獲取有序集合包含的所有元素，
1) "member1"                                            # 這些元素會按照分值進行排序，
2) "728"                                                # Python用戶端會將這些分值轉換成浮點數。
3) "member0"                                            #
4) "982"                                                #
redis 127.0.0.1:6379> zrangebyscore zset-key 0 800 withscores   # 也可以根據分值來獲取有序集合的其中一部分元素。
1) "member1"                                                    #
2) "728"                                                        #
redis 127.0.0.1:6379> zrem zset-key member1     # 在移除有序集合元素的時候，
(integer) 1                                     # 命令會返回被移除元素的數量。
redis 127.0.0.1:6379> zrem zset-key member1     #
(integer) 0                                     #
redis 127.0.0.1:6379> zrange zset-key 0 -1 withscores
1) "member0"
2) "982"



link from => http://redisinaction.com/preview/chapter1.html
張貼者： 沒有留言:
標籤： , ,
訂閱： 文章 (Atom)